MPEG运动补偿算法

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,MTI,XIDIAN,国际视频压缩标准简介,多媒体技术,第七讲,1,主要内容,视频压缩标准发展历史,H.26X,系列压缩标准简介,MPEG,系列压缩标准简介,2,视频压缩标准发展历史,ITU:,ISO/IEC:,H.261,H.262,H.263,H.263+,H.264,MPEG1,MPEG2,MPEG4,(Part2),MPEG7,MPEG21,MPEG4,(Part10),3,视频压缩标准对比,H.261,p,64kb/s,视频编码标准,时间,1990年12月,输入,176144(,QCIF) 352,288,(,CIF,),帧速率可变H.263MPEG2,压缩算法,运动补偿帧间预测（单双向预测）,DCT,局部算法改进 可伸缩性,应用,通用电话交换网、局域网的视频通信,7,视频压缩标准对比（续）,MPEG4(Part 2),MPEG4 Visual,甚低码率活动图像及其伴音编码标准,时间,1999年,输入,176,144的多种分辨率格式,输出,4.6Kb/s64Kb/s,压缩率,100,压缩算法,基于对象的新一代编码技术，注重交互性，即可包含自然对象，又可包含人工合成对象,应用,可应用范围很广、目前多用于因特网视频传输、流媒体应用,8,视频压缩标准对比（续）,H.264,MPEG4(Part10),MPEG4 AVC,时间,2003年5月,输入,多种分辨率格式,输出,压缩率,压缩率最高的视频压缩标准，比,MPEG4 Visual,节约50的码率,压缩算法,基于传统框架的混合编码系统，只是做了局部优化。更注重编码效率和可靠性,应用,视频广播、视频通信和存储媒体（,CD DVD）,等多种应用,9,MPEG-1,视频压缩标准,MPEG-1,标准号为,ISO/IEC 11172，,它由五部分组成：,MPEG-1,系统（,MPEG-1 Systems,）：规定视频数据、声音数据及其他相关数据的同步合成技术,MPEG-1,视频编码标准（,MPEG-1 Video）,MPEG-1,音频编码标准（,MPEG-1 Audio）,MPEG-1,一致性测试：详细说明如何测试比特数据流和解码器是否满足,MPEG-1,前3个部分(,Part1，2,和3)中所规定的要求。,MPEG-1,软件模拟：一个技术报告，给出了软件执行,MPEG1,前3个部分的运行结果。,10,MPEG-1,视频压缩标准,输入、输出指标：,MPEG,视频,编码器,3522882581.5,3522403081.5,30,Mb/s,1.15Mb/s,26 : 1,11,MPEG1,视频压缩算法,运动补偿帧间预测(,temporal) DCT(spatial),12,Frame 1,13,Frame 2,14,Residual Frame,15,象素运动轨迹,16,Block-based Motion Estimation and Compensation,17,Block-based Motion Estimation and Compensation,18,1616 Block Size,19,88 Block Size,20,44 Block Size,21,Subpixel,Motion Estimation and Compensation,子像素运动估值与补偿,22,Subpixel,Motion Estimation and Compensation,23,MPEG1,视频编码器框架,24,MPEG1,视频编码器框架,分块,25,MPEG1,视频压缩算法,运动图像序列,图片组（,GOP）,I,B,B,P,B,B,P,图片,条（,Slice）,宏块,Macro Block,16,16,块（,Block）,8,8,分割：,26,MPEG1,视频压缩算法,GOP,的组成：,一个内帧是一个随机访问点。,B,图像不能作为其它图像的参考帧。,I：,内帧,P：,单向预测帧,B：,双向预测帧,27,MPEG1,视频压缩算法,视频类型,I,P,B,平均,MPEG-1 CIF,150000,b,50000,b,20000,b,38000,b,MPEG-2 601,400000,b,200000,b,80000,b,130000,b,为了在图像质量和数据速率之间作出调整，,MPEG,编码器允许（1）选择内帧,I,的频率和位置，（2）选择,I,和,P,之间双向预测帧,B,的数目。,28,MPEG1,视频压缩算法,运动补偿技术在宏块一级工作。宏块分为四类：,帧内宏块，简称,I,块,前向预测宏块，简称,F,块,后向预测宏块，简称,B,块,平均宏块，简称,A,块,I,图像只包含,I,块，,P,图像只包含,I,块和,F,块，,B,图像可以包含4种类型的宏块。,29,MPEG1,视频压缩算法,I,图像帧的压缩算法：,在空间方向上（内帧），,MPEG1,压缩采用,JPEG,压缩算法来去掉冗余信息。,30,MPEG1,视频压缩算法,P,图像帧的压缩算法：,对于,P,宏块，,MPEG1,采用运动补偿帧间预测算法来去掉时间轴上的冗余信息。,31,MPEG1,视频压缩算法,运动矢量的概念,32,MPEG1,视频压缩算法,基于块的运动矢量估值算法块匹配法,33,MPEG1,视频编码算法,块匹配法（,Block Matching Algorithm）,需要解决两个关键问题：,（1）匹配准则,（2）搜索算法,34,MPEG1,视频编码算法,BMA,中常用的匹配准则：,绝对值：,均方误差：,平均绝对帧差：,35,MPEG1,视频编码算法,BMA,常用搜索算法二维对数搜索法：,36,MPEG1,视频编码算法,BMA,常用搜索算法三步搜索法：,37,MPEG1,视频编码算法,BMA,常用搜索算法对偶搜索法：,38,MPEG1,视频编码算法,B,图像帧的压缩算法：,39,40,MPEG-1,音频压缩标准,输入、输出指标：,MPEG,音频,编码器,32,kHz, 44.1kHz, 48kHz,16,位,PCM,32kb/s,384,kb/s,层次,压缩率,数据速率,kb/s,延迟（,ms）,1,4 : 1,384,19/50,2,6:1 8:1,192 256,35/100,3,10:1 12:1,112 128,59/150,41,MPEG-1,音频压缩算法,听觉系统的感知特性：,听阈频率曲线,42,MPEG-1,音频压缩算法,听觉系统的感知特性：,一个强纯音会掩蔽在其附近同时发声的弱纯音，这种特性称为,频域掩蔽,，也称同时掩蔽,43,MPEG-1,音频压缩算法,听觉系统的感知特性：,一个强纯音会掩蔽在其附近同时发声的弱纯音，这种特性称为频域掩蔽，也称同时掩蔽,在时间上相邻的声音之间也有掩蔽现象，称为,时域掩蔽,。时域掩蔽又分为超前掩蔽和滞后掩蔽。,44,MPEG-1,音频压缩算法,感知子带压缩算法,算法以心理声学模型为基础，主要利用了听觉阈值和听觉掩蔽特性,45,MPEG-1,音频压缩算法,感知子带压缩算法,1、将音频信号用滤波器组分成32个子带；,2、用,FFT,将子带变换到频率域,3、根据心理声学模型估计各个子带的感知阈值,4、根据对感知阈值的估计对各个子带进行比特分配和量化。,MP3,采用了与,MP1、MP2,不同的滤波器和心理声学模型。,46,MPEG-1,音频压缩算法,MPEG-1 Audio,层1和层2编码器和解码器的结构,47,MPEG-1,音频压缩算法,MPEG-1 Audio,层3编码器和解码器的结构,48,H.261,概述,H.261,也称,P64，,这是,ITU-T（,前身为,CCITT）,最早制定的关于视频编码的国际标准。考虑到,ISDN,的传输码率以64,kbps,为单位，因此以,p64kbps（p130）,作为为,H.261,的标准码率。,H.261,标准主要用于电视电话和电视会议。它支持,QCIF（p=1、2,）、,CIF（p2）,两种图像输入格式。,49,H.261,解决的问题,第一是编码算法问题。,确立了一种合理的、保证图像质量且为各国图像编码专家所公认的统一的算法。算法必须能够实时操作，解码延时要短。,第二是与,PCM,标准兼容的问题。,编解码器以641920,kbs,的工作速率去覆盖,N-ISDN,或,PCM,一次群的通道。,第三，解决电视制式不同的问题。,为了使同一标准既能用于,PAL（625）,和,NTSC（525）,两种电视制式系统，源编码基于中间格式,CIF,格式，所以输入输必须 经转换到,CIF,或,QCIF,格式再进行源编码。,50,视频编码图像格式一览表,51,H.261,的信源编码框架,52,H.261,的信源编码算法,一、将预测误差或输入图像划分成为8*8的象素块。进一步，将4个亮度像块和两个在空间位置上与之重叠的色差像块符合成一个16*16的宏块（,MB）。,二、对于帧序列中的第一副图像或景物变换后的第一副图像，采用帧内变换编码：利用8*8的,DCT,实现。各,DCT,系数经过线性量化、变长编码后进入缓冲器，根据缓冲器的上溢和下溢，来反馈调节量化器的量化步长，以控制视频编码位流使之与信倒速率相匹配。,53,H.261,的信源编码算法,帧间预测采用混合方法：利用运动补偿预测，当预测误差超过某个门限后，对误差做,DCT、,视觉加权量化及熵编码。运动矢量信息编码后也送到缓冲器中。,DCT,去除空间冗余度，而使用有运动补偿的帧间预测来去除时间上的冗余。这是一个典型的帧内帧间自适应预测加,DCT,变换的混合算法。,54,H.261,的图像复用编码,H.261,源编码后进行图像复用编码， 实际上是把比特流分成图像(,Picture)，,像块组 (,GOB：Group of blocks)，,宏块(,MB：,Macroblock,),和像块(,Block)，,并附加相应的信息。按照,CIF,格式，每帧,CIF,图像包含12个,GOB，,每个,GOB,包含33个,MB，,每个,MB,包含4个亮度数据块和各1个,Cb,、Cr,色度块，每个,B,包含8*8象素。,55,H.261,的图像复用编码,H.261,数据流结构,56,H.261,视频压缩算法,利用二维,DCT,减少图像的空间域的冗余度；,利用运动补偿预测减少图像的时间域冗余度；,利用视觉加权量化减少图像灰度域的冗余度；,利用熵编码来减少图像的频率域的冗余度。,57,H.261,与,MPEG-1,的对比,58,MPEG-2,通用视频压缩标准,MPEG-2,的标准号为,ISO/IEC 13818，,它主要由以下几部分组成：,MPEG-2,系统（,MPEG-1 Systems,）,MPEG-2,视频编码标准（,MPEG-2 Video）,MPEG-2,音频编码标准（,MPEG-2 Audio）,MPEG-2,高级音频编码标准（,MPEG-2 AAC）,与,MPEG-1,一样，,MPEG-2,只规定了码流结构和解码器算法规则，而把实际编码器模型向设计者开放，以提供更多的选择性和自由度。,59,MPEG-2 Video,MPEG-2 Video,与,MPEG-1,的基本编码算法相同，只是增加了如下功能：,（1）能够在很宽的范围内对不同分辨率和不同输出比特率的图像信号有效的进行压缩。,（2）处理隔行扫描的视频信号的能力。,（3）多样化的取样模式：4:2:0，4:2:2，4:4:4,（4）可伸缩（,Scalable）,的视频编码模式：,编码时可以在图像质量和数据速率之间作出调整,解码时只对码流的一部分进行解码和对码流的全部进行解码能够分别获得不同质量的重建图像。,60,可伸缩性编码模式,（,1）信噪比伸缩性（,Signal-to-Noise Scalability）,（2）,空间分辨率伸缩性（,Spatial Scalability）,（3）,时间分辨率伸缩性（,Temporal Scalability）,61,MPEG-2 Video,为了适应不同应用的需要，,MPEG-2,引入了配置（,profiles）,和等级（,levels）,的概念，每种配置定义一套新的算法，而每一个等级指定一套参数范围(如图像大小、帧速率和位速率)。,62,MPEG-2 Video,MPEG-2,的配置,配置（,profile）,特征,简单(,Simple),4:2:0取样，仅用,I、P,帧，支持随机存取，不支持可伸缩性,基本(,Main),以上参数，加上支持,B,帧,信噪比可变,以上参数，加上信噪比可变性,空间分辨率可变,以上参数，加上空间分辨率可变性,高档(,High),以上参数，4:2:2采样方式,63,MPEG-2 Video,MPEG-2,的等级,等级（,level）,特征,低级（,Low）,352288，30帧/,s，1.2Mb/s,基本级（,Main）,720576，30帧/,s，415Mb/s,高级（,High）1440,14401152，60帧/,s，60Mb/s,高级（,High）,19201152，60帧/,s，80Mb/s,64,MPEG-2 Video,MPEG-2,的配置与等级的组合,配置,Profile,等级,低,中,高1440,高1920,简单,基本,信噪比,空间,高,65,MPEG-2 Audio,MPEG-2,标准委员会定义了两种声音数据压缩格式：,（1）,MPEG-2 Audio，,或者称为,MPEG-2,多通道(,Multichannel,),声音，它与,MPEG-1 Audio,是兼容的，所以又称为,MPEG-2 BC (,B,ackward,C,ompatible)。,（2）,另一种称为,MPEG-2 AAC (,A,dvanced,A,udio,C,oding)，,因为它与,MPEG-1,声音格式不兼容，因此通常称为非后向兼容,MPEG-2 NBC(,N,on-,B,ackward-,C,ompatible),标准。,66,MPEG-2 BC Audio,(1)增加了16,kHz, 22.05 kHz,和24,kHz,采样频率,(2)扩展了编码器的输出速率范围，由32384,kb/s,扩展到8640,kb/s,(3)增加了声道数，支持5.1声道和7.1声道的环绕声。,(4)MPEG-2,还支持,Linear PCM(,线性,PCM),和,Dolby AC-3(Audio Code Number 3),编码,MPEG-2 BC Audio,和,MPEG-1 Audio,标准都使用相同种类的编译码器，层-1, -2和-3的结构也相同。,MPEG-2,声音标准与,MPEG-1,标准相比，,MPEG-2,做了如下扩充：,67,MPEG-2 AAC,AAC,支持的采用频率可从8,kHz,到96,kHz，AAC,编码器的音源可以是单声道的、立体声的和多声道的声音。,AAC,标准可支持48个主声道、16个低频音效加强通道,LFE (low frequency effects)、16,个配音声道(,overdub channel),或者叫做多语言声道(,multilingual channel),和16个数据流。,MPEG-2 AAC,在压缩比为11:1，即每个声道的数据率为(44.116 )/11=64,kb/s，,而5个声道的总数据率为320,kb/s,的情况下，很难区分还原后的声音与原始声音之间的差别。与,MPEG,的层2相比，,MPEG-2 AAC,的压缩率可提高1倍，而且质量更高，与,MPEG,的层3相比，在质量相同的条件下数据率是它的70。,68,H.262,标准,ITU-T,于1990年成立了“,ATM,视频编码专家组”，负责制定适用于,B-ISDN,信道,ATM,编码传输标准。该专家组于1993年11月与,ISO,的,MPEG,专家组联合提出了,H.262,建议草案（,MPEG-2），,用于数字存储介质和数字视频通信中图像信息的编码表示和解码规定。该标准向下兼容，能够在很宽的范围内对不同分辨率和不同输出比特的图像信号有效的进行压缩。,69,H.263/H.263+/H.264,这些标准的编解码框架与,H.261,和,MPEG-1,类似，也是基于混合编码的方案，只是做了如下改进以大幅度降低码率：,1、先进的帧内编码技术,2、灵活的运动补偿技术：,（1）匹配块尺寸可变（1616、 168、 816、,88、 84、 48、 44 ）,（2）运动矢量可精确到1/2或者1/4象素,（3）多参考帧预测,（4）无约束运动矢量,3、先进的去块滤波技术,4、整数,DCT,变换,。,70,MPEG-4,视频压缩标准,MPEG-4,从1994年开始工作，目标是为视听(,audio-visual),数据的编码和交互播放开发算法和工具，它是一个数据速率很低的多媒体通信标准。,MPEG-4,算法的核心是支持基于内容的(,content-based),的编码和解码功能，也就是对场景中使用分割算法抽取的单独的物理对象进行编码和解码。,71,MPEG-4,视频压缩标准,72,MPEG-4,视频压缩标准,73,MTI,XIDIAN,结束,74,