IPTV QoE测试指标概述

IPTV QoE的测试主要包括两个指标，准确的频道切换时河(I-Frame Join Latency) 计算和主客观的视频质量的评定。本文着重介绍了视频质量评定指标MDI, MOS_V和 PEVQ的定义和计算方法，最后对Ixia端到端QoE测试方案进行了总结。1引言IPTV的未来发展目前是业界关注的焦点话题。据MRG市场研究公司的统计，全球IPTV 用户将由2004年的200万增加至2010年的2000万,预计全球IPTV市场20052010 年的复合增长率为102%。在国内，IPTV产业仍然处于试验阶段，中国电信、中国网通在各 地积极开展IPTV试验，并在部分地区投入商用。所以对IPTV设备和网络的性能评估在部 署前后的测试就显得非常重要。QoE是Quality of Experience的简称，是从普通用户体验的角度评定设备或网络的 性能，而不是采用业界通常使用的各种专业指标，比如时延、丢包率和抖动等。由于其良好 的结果直观性，并容易被非专业人士理解，所以QoE的各种指标得到了广泛认可和应用。2 IPTV QoE测试指标介绍目前，国内外已经有很多设备厂家提供IPTV系统平台和设备，业界公认IPTV业务包 含两种基本业务：TV直播和VoD点播。TV直播采用的Multicast技术(见图1)。图1 TV直播示意VoD点播采用的是Unicast技术(见图2)。图2 VoD点播示意从用户QoE角度来看，IPTV相关测试主要关心两个方面，即频道切换时间和视频质 量评定。(1)频道切换时间(Channel Change time or Channel Zapping Time):通常 意义的频道切换时间等于Join Latency + CSD,但是这种评定方式是不准确的。最为精 确的频道切换时间为I-Frame Join Latencyo因为只有当从用户端发出观看某一频道的请 求到收到I Frame时，才表示频道加入成功并有视频流到用户端。(2)视频质量评定主要有3个指标：MDI (RFC 4445, Media Deliver Index), MOS_V (Mean Opinion Score for Video)和视频质屋的全参考质量评定指标 PEVQ(Perceptual Evaluation of Video Quality)在介绍相关指标之前，首先简单说明 影响视频质屋的特性：视频内容(视频片源本身或编码器造成的)和网络传输特性所造成的 损伤。网络传输特性往往归纳为3个指标：延迟，抖动和去包；和特定码流类型有关的可以 归纳为两个指标：码流类型和码流速率。延迟：在视频传输应用中，恒定的延迟表现为视频观看时间的推迟。为了避免网络抖 动而产生视频播放效杲恶化，网络节点和视频解码器往往需要对视频流进行缓冲。实验数据 表明，视频播放延迟不影响视频观看的质量。抖动：抖动产生有多种原因：视频解码器/服务器性能变化，网络线路出现拥挤，网络 设备性能变化都可以导致视频流的抖动变化。观测视频流的抖动变化可以提前发现视频传输 质量恶化的趋势。丢包：丢包对视频播放质量有直接的影响。试验表明，无论视频丢包的类型(I，B, P帧)，在没有适当的视频解码补偿或者丢包重传机制卜，视频播放质量都会出现不同程度 的下降。码流类型：不同的码流类型由于压缩算法的不同，视频的质量也有些不同，目前认为 H.264的压缩效率最高，MPEG4-2次之，MPEG2较差。码流速率：在相同的码流类型下，码流速率越高，视频质量越好。3频道切换时间相关指标定义和频道切换时间相关的指标还有多个，比如离开频道的时间，切换时两个频道之间的间 隔时间和重叠时间等，图3表示了各个指标之间的关系。图3频道切换时间相关指标定义与之间的关系4视频质量评定指标介绍4.1 MDI介绍MDI是2006年4月正式发布的RFC 4445规范，对IP视频流的传输质量标识为:DF： MLR。(1) Delay Factor (延迟因素，简称DF)：该数值表明被测试视频流的延迟和抖动 状况。DF的单位是亳秒(ms)。DF将视频流抖动的变化换算为对视频传输和解码设备缓 冲的需求。被测试视频流抖动越人，DF值越人。在采样周期中，DF首先计算在测量点每 个IP视频数据包到达时间变化。然后与预期的视频流速度对比得出。采样周期默认为Is。 DF的数值在每次周期完成后更新。与一般的二、三层抖动(InterArrivalTime)计算相比，DF指标是专门针对媒体流 的，他的计算因子是媒体流速率，而不是一般的物理传输速率。因此它可以很好地被用来评 估视频的传输和播放质量。(2) Media Loss Rate (媒体丢包速率，简称MLR) ： MLR的单位是每秒的媒体数 据包丢失数屋。该数值表明被测试视频的传输丢包速率。由于视频信息的数据包去失将直接 影响视频播放质屋，理想情况卞的IP视频流传输要求MLR的数值为零。因为具体的视频 播放设备对丢包可以通过视频解码中进行补偿或者丢包重传，在实际测试中MLR的阈值町 以相应调整。MLR=媒体数据包丢失总数/采样周期，默认采样周期为Is。MPEG-2 TS数据包格式 是指有效的MPEG数据包(不包括填充MPEG Frame)。由于MDI指标具有卞面的特点，并且是正式的RFC标准，所以被标准评测机构、运营 商和IPTV设备制造商普遍认可，是目前应用最广泛的视频质量评定指标之一。扩展性好，方便评估上百个Channel,上千个用户的视频流质量。直接表现出和视频质量有关的网络问题。不关心上层传输的媒体流类型，与编码类型无关。适合实时的视频流质量评估。4.2 MOS_V 介绍MOS_V是客观的视频质量评定指标(Objective Assessment Factor)。该指标目 前是ITU FOCUS GROUP on IPTV推荐的重要QoE指标。提到MOS_V,不能不提的是另外两个重要的指标VSPQ和VSTQ。VSPQ(Video Service Picture Quality)是一种和编码类型相关的主观视频质量计算方法，计分范闱从 0-100o VSPQ根据编码类型码流速率经过复杂的理论计算处理得到初始值，该视频流经 过网络传送造成的损伤后(丢包和抖动)得到最终的VSPQ值。VSTQ(Video Service Transmission Quality)是一种和编码类型无关、评定RTP通道支持可靠视频流质量能力、 计分范围也是0100的视频质量评定方法。MOS_V (Mean Opinion Score for Video)是将图像质量划分为05的等级来评 定图像质量的好坏，是以用户感知的角度来评价视频质量。评定视频质量时综合考虑丢包率,抖动和编码类型等多种因素。其是以VSPQ因子为基础得到的视频评定指标。图4是IXIA 公司在实验室得到VSxQ与MOS_V之间关系的例子。图4 IXIA在实验室得到的VSxQ与MOS-V之间关系由于MOS_V指标的直观性，并且可以同时评估成T上万条视频流的质量，所以特别 适合运营商在网络建设验收测试时使用。4.3 PEVQ 介绍视频质量的评定方法可以分为3类：全参考型(Full Reference),部分参考型(Reduced Reference)和无参考型(No Reference)。MDI 和 MOS_V 都属于无参考 型的视频质屋评定方式。PEVQ(Perceptual Evaluation of Video Quality)有知觉的视频 质量评定，是一种全参考型(Full Reference).插入式(Intrusive)的视频质量评定方 法。它采用类似语音质量测试中人家熟悉的MOS (MeanOpinion Score)计量方式评定 视频流通过网络之后，根据多个关键性能指标KPIs (Key Performance Indicators)结 合人的视觉系统来测试和验证视频流的质量。图5是全参考型视频质量评定方法的图示。图5全参考型视频质量评定方法对于视频内容本身影响的视频质量，主要采用卞面3个指标： Blockiness：由于低码流速率和片源的低质量造成的损伤； Bluriness：由于片源编码压缩降低了分辨率而造成的损伤；Jerkiness：由于网络损伤和采样频率偏人造成的损伤。对于网络传输对视频质量的影响，主要有4个方面： Frame freeze/skips：由于视频数据(MPEG Frame)丢失造成的损伤: Noise：由于传输和随机噪声造成的损伤； Loss：由于严重的数据包丢失而造成视频质量的下降；Jitter：由于数据包发送和接收顺序不一致而引起错序或错误而造成的损伤。图6清楚地显示了上述各个因素指标对视频质量直观影响的对比。图6各因素对视频质量的直观影响对比IXIA PEVQ评定视频质量和其他评定方式相比，最显著优势就是可以把视频内容和网 络传输结合起来，全面评估视频流的质量。主要输出指标有： PEVQ MOS：该指标对视频质量从15进行打分，1为最差，5为最好。该指标最 为清楚直观，最容易被人家理解和接受，是PEVQ中最重要指标，其他指标都是为该指标 服务的； Distortion Indicators：该指标从亮度(Luminance) 色度(Chrominance)和 时间域(TempoE Domain)等方面深入分析各种因素对视频流的影响； Delay：接收端视频流数据帧和源视频帧的时间差； Brightness：接收端视频流和源视频流的亮度值；Contrast：接收端视频流数据帧和源视频帧的顺序比较值； PSNR： PeakSignal-to-Noise Ratio,用于分析接收端视频流的质量，PSNR分为 PSNRY, PSNRCb和PSNRCr； PSNR Y主要评估YCbCr视频颜色图谱的照和白(Black and White)部分；PSNR Cb主要评估YCbC视频颜色图谱的蓝色(Chroma blue)部 分；PSNR Cr主要评估YCbCr视频颜色图谱的红色(Chroma red)部分；Jerkiness：主要在接收端评估视频流传输时由于受到较低的抽样频率 (Down-Sampling)、编码过程的分辨率精度处理(Coding Processes)和受到干扰的 传输(Perturbed Transmissions)的影响的平滑度(Smoothness)指标； Blur：主要评估视频图像轮廓清晰度和立体空间精度的失真指标； Blockiness：通常是由于较低的码流速率和粗糙的视频图像量子化指标造成的损伤； Frame Skips和Freezes：通常是网络过载引起的视频停滞或丢包等损伤； Effective Frame Rate：由于视频流在采样时会造成一些信息的丢失，该指标主要 就是用定量的方法评估有效的视频包发送速率；Temporal and Spacial Activity：根据ITU-T P.910的建议,该指标主要采用定量 的方法计算视频内容中Activity和Movement的数量。由于PEVQ采用的是帧对帧(Frame by Frame)的视频比较，所以适合于研究机构对 视频流质量做深入分析时使用。5 Ixia端到端QoE建议值和测试方案总结由于网络的复杂性，有些QoE指标在国际上并没有统一规定，建议的频道切换时间、 MDI阈值和MOS_V只能通过相应标准的参考或者通过实验室测试得到。因为网络结构设 计、视频压缩标准、视频码率、并发视频流数目、机顶盒缓冲人小等都影响相应指标设定。 根据IXIA的经验： Frame Join Latency 值应在 2s 以内； MDI： DF的最人值应该避免和平均值偏离超过50%。比如，平均MDI： DF为100ms。 当MDI： DF出现最人值为200ms时候，这意味着视频流会出现明显的抖动变化。如果 MDI： DF Minimum 和 MDI： DF Maximum 在 50ms 和 150ms 范I制内，认为视频质量 是好的。IXIAMDI： DF建议值为1050ms： MDI： MLR值为0是最好的，也就是不允许有丢包，但是极少量的丢包可以通过STB 的Buffer来补偿，IXIA建议MDI： MLR = 4个媒体包/s； MOS_V的最低值在3.6以上，最好为4.0以上。如果低于3.6,则不能被接受，高 于4.0,则认为比较好的视频质量； PEVQ MOS值最低为3.6以上，低于3.6,则不能接受。IXIA目前的IPTV QoE测试特点包扌舌：频道切换时间测试，I-Fame Join Latency测试；基于每个视频流质量测试：MDI和MOS_V：视频质量的Full-Reference分析：PEVQ：视频质量的主观与客观结合的评定方式：在得到上述指标的同时，线速实时地将视频 流输出到终端上； MPEG2/MPEG4/H.264/AVC-1 Over MPEG2 TS Over RTP/UDP； MPEG2/MPEG4/H.264/AVC-1 Over RTP/UDP； Microso仕IPTV(MSTV)标准的频道切换时间测试和A, D, V服务器的仿真与测试。6结束语做为全球IP测试方案的领导者，Ixia继续提供领先的IPTV QoE端到端测试方案，覆 盖机顶盒(STB), Cable Modem, IP DSLAM,组播交换机和路由器,视频服务器以及IPTV 承载网的完整测试方案。