清华大学讲义视频编码基础课件

Digital Video Coding Overview Video Compression Techniques 率失真基础2.1 视频编码基础 五道口生活网 五道口论坛 统计冗余空间冗余规则物体的物理相关性时间冗余视频与动画画面间以及音频帧间的相关性信息熵冗余编码冗余数据与携带的信息结构冗余纹理冗余规则纹理、相互重叠的结构表面视/听觉冗余视觉、听觉敏感度和非线性感觉知识冗余凭借经验识别1011 0001 11001011 0001 11001011 0001 11001011 0001 11000101 1010 10100101 1010 10101011 11001011 11000101 1111 10100101 1111 10102 22424色色色色2 28 8色色色色多媒体数据压缩的可能性多媒体数据压缩的可能性五道口生活网 五道口论坛 Digital Video Coding Overview五道口生活网 五道口论坛 五道口生活网 五道口论坛 基于波形的编码：基于数据统计，去掉的是数据冗余，尽可能准确地表示各个象素的颜色值，而不考虑一组象素可以表示一个物体。基于内容的编码：把视频帧分成对应于不同物体的区域，并分别编码这些物体，去掉的是内容冗余。其中基于对象(Object-Based)方法称为中层压缩编码方法；而基于语义(Syntax-Based)方法称为高层压缩编码方法。按编码方法分类：按编码方法分类：五道口生活网 五道口论坛 按编码方法分类：按编码方法分类：分析量化二进制编码合成逆量化二进制解码信道信源模型量化参数参数统计噪声有损无损编码器解码器五道口生活网 五道口论坛 基于波形的编码方法：基于波形的编码方法：1.1.假设象素统计独立的信源模型假设象素统计独立的信源模型 PCM PCM2.2.考虑邻近象素的统计相关性：考虑邻近象素的统计相关性：空间相关性：变换编码方法空间相关性：变换编码方法 时间相关性：预测编码方法时间相关性：预测编码方法3.3.数据的统计相关性：熵编码数据的统计相关性：熵编码五道口生活网 五道口论坛 基于内容的编码方法基于内容的编码方法:(1)(1)基于物体的分析与合成编码基于物体的分析与合成编码 物体分割、形状、运动、纹理物体分割、形状、运动、纹理(2)(2)基于知识的编码基于知识的编码 物体模型物体模型(3)(3)语义编码语义编码 行为、参数、轨迹行为、参数、轨迹五道口生活网 五道口论坛 视频压缩的性能指标视频压缩的性能指标衡量压缩算法的三个主要性能指标（1）压缩比；（2）压缩质量（失真）；（3）压缩与解压缩的速度。不能兼得时，要综合考虑。压缩质量评价主观评价：平均意见得分（MOS）、五分制（优良中差劣）客观评价：均方误差、加权均方误差、信噪比、峰值信噪比（图像）、分段信噪比（音频）、似然比、谱失真测度五道口生活网 五道口论坛 客观指标与主观感知的差异峰值信噪比=6.24峰值信噪比=5.98一般认为：峰值信噪比与图像质量近似成正比关系。峰值信噪比度量与人的视觉感知并不完全一致！五道口生活网 五道口论坛 Digital Video Coding Overview Video Compression Techniques 率失真基础2.1 视频编码基础 五道口生活网 五道口论坛 基于块的混合编码五道口生活网 五道口论坛 图象视频编码系统的组成：图象视频编码系统的组成：分析变换/预测量化二进制编码合成逆量化二进制解码信道信源模型量化参数参数统计噪声有损无损编码器解码器五道口生活网 五道口论坛 变换编码的原理 变换编码是进行一种函数变换，映射变换从信号域变换到另一个信号域。例：有两个相邻采样值X1和X2，每一采样值用3bit编码，因此有8个幅度等级，两个为：8*8=64种。y2x2y1x1五道口生活网 五道口论坛 变换编码的原理 在变换编码时，初始数据要从初始空间或时间域进在变换编码时，初始数据要从初始空间或时间域进行数学变换，变换为一个更适于压缩的抽象域。该过行数学变换，变换为一个更适于压缩的抽象域。该过程是可逆的；即使用反变换可恢复原始数据。如将时程是可逆的；即使用反变换可恢复原始数据。如将时域信号变换到频域，因为声音、图像大部分信号都是域信号变换到频域，因为声音、图像大部分信号都是低频信号，在频域中信号的能量较集中，再进行采样、低频信号，在频域中信号的能量较集中，再进行采样、编码就可以压缩数据。编码就可以压缩数据。五道口生活网 五道口论坛 变换编码的原理变换编码的原理五道口生活网 五道口论坛 变换编码的系统构成变换编码的系统构成信源序列变换变换域采样量化编码存储和传输译码逆量化反变换再现序列变换设计准则变换设计准则 变换编码器的性能取决于所用的基函数。一个好的变换应该满足(1)对欲量化的信号去相关，以便可以对各个值有效地使用标量量化而不会损失过多编码效率。(2)将原始象素块的能量尽量压缩到少数几个系数。五道口生活网 五道口论坛 数据压缩主要是去除信源的相关性。若考虑到信数据压缩主要是去除信源的相关性。若考虑到信号存在于无限区间上，而变换区域又是有限的，那号存在于无限区间上，而变换区域又是有限的，那么表征相关性的统计特性就是协方差矩阵。么表征相关性的统计特性就是协方差矩阵。当协方差矩阵中除对角线上元素之外的各元素都当协方差矩阵中除对角线上元素之外的各元素都为零时，就等效于相关性为零。所以，为了有效地为零时，就等效于相关性为零。所以，为了有效地进行数据压缩，常常希望变换后的协方差矩阵为一进行数据压缩，常常希望变换后的协方差矩阵为一对角矩阵，同时也希望主对角线上各元素随，对角矩阵，同时也希望主对角线上各元素随，的增加很快衰减。因此，变换编码的关键在于：在的增加很快衰减。因此，变换编码的关键在于：在已知的条件下，根据它的协方差矩阵去寻找一种已知的条件下，根据它的协方差矩阵去寻找一种正交变换，使变换后的协方差矩阵满足或接近为正交变换，使变换后的协方差矩阵满足或接近为一对角矩阵。一对角矩阵。K-L变换变换五道口生活网 五道口论坛 离散余弦变换离散余弦变换(DCT(DCT变换变换)如如果果变变换换后后的的协协方方差差矩矩阵阵接接近近对对角角矩矩阵阵，该该类类变变换换称称准准最最佳佳变变换换，典典型型的的有有DCT、DFT、WHT、HrT等等。其其中中，最最常常用用的的变变换换是是离离散散余余弦变换弦变换DCT。DCT是是从从DFT引引出出的的。DFT可可以以得得到到近近似似于于最最佳佳变变换换的的性性能能，但但DFT的的运运算算次次数数太太多多，且且需需要要复复数数运运算算。DCT从从DFT中中取取实实部部，并并可可用用快快速速余余弦弦变变换换算算法法，因因此此大大大大加加快快了了运运算算。同同时时其其压压缩缩性性能能十十分分逼逼近近最最佳佳变变换换的的压压缩缩性性能能。所所以以，DCT在图像压缩中得到了广泛的应用。在图像压缩中得到了广泛的应用。五道口生活网 五道口论坛 五道口生活网 五道口论坛 五道口生活网 五道口论坛 五道口生活网 五道口论坛 运动估计运动估计 近几年运动估计技术近几年运动估计技术(Motion Estimation)十十分活跃。在分活跃。在H.26X，MPEG标准编码中都用到标准编码中都用到这个技术。这个技术。关键问题：关键问题：运动表示：怎样将运动场参数化运动表示：怎样将运动场参数化运动估计准则：用什么样的准则来估计上述参数运动估计准则：用什么样的准则来估计上述参数优化方法：怎样搜索到最优参数优化方法：怎样搜索到最优参数五道口生活网 五道口论坛 Frame 1五道口生活网 五道口论坛 Frame 2五道口生活网 五道口论坛 Residual Frame五道口生活网 五道口论坛 运动的表示运动的表示整体参数模型整体参数模型由摄像机或物体运动产生的运动场用很少几个参数描述。象素参数模型象素参数模型为每个象素指定运动参数（运动矢量）。区域参数模型区域参数模型将图象分成多个区域，每个区域的运动用一个参数化模型描述。块参数模型块参数模型将图象固定分成方块，每块用一个简单的模型表征，且独立地进行估计。五道口生活网 五道口论坛 运动矢量的概念运动矢量的概念五道口生活网 五道口论坛 运动预测运动估计帧间估计：寻找当前编码帧图像和前一帧参考图像中的最佳匹配关系，获得运动向量信息（Motion Vectors）块匹配：找到和当前编码的块最佳匹配的参考图像的块。最佳匹配度量：最小均方误差（MSE）和绝对误差和（SAD）运动补偿五道口生活网 五道口论坛 运动估计过程对于当前需要编码的块（Block）：在参考图像中该块所在位置周围一定范围内搜索最佳匹配的参考块。搜索参考图像中一定范围内的每一个点计算当前块和该点位中心的块之间的MSE或者SAD选择MSE或者SAD最小的点位中心的块为最佳匹配块计算当前块和最佳匹配块之间的运动向量（位移）。计算当前块和最佳匹配块之间的残差，将块的残差作为下一步进行DCT及量化的数据进行编码。五道口生活网 五道口论坛 基于块的运动矢量估值算法基于块的运动矢量估值算法块匹配法块匹配法五道口生活网 五道口论坛 预测方式图像组(GOP)图像组：由一系列图像组成图像组：由一系列图像组成,这些图像可以这些图像可以从运动序列中随机抽取。从运动序列中随机抽取。I：内帧P：单向预测帧B：双向预测帧五道口生活网 五道口论坛 I I图像帧的压缩方法：图像帧的压缩方法：在空间方向上（内帧），MPEG1压缩采用JPEG压缩算法来去掉冗余信息。五道口生活网 五道口论坛 P P图像帧的压缩算法：图像帧的压缩算法：对于P宏块，MPEG1采用运动补偿帧间预测算法来去掉时间轴上的冗余信息。P P图像（图像（P帧）由最近的）由最近的I I帧或帧或P P帧经过预测编码得帧经过预测编码得到到,称为前向预测，可以作为下一个称为前向预测，可以作为下一个B B或或P P的参考帧。的参考帧。五道口生活网 五道口论坛 B B图像帧的压缩算法：图像帧的压缩算法：B B图像（图像（B帧，双向预测双向预测）可以使用前一个和后一个可以使用前一个和后一个图像作参考图像，也可以使用前后两个参考图像。图像作参考图像，也可以使用前后两个参考图像。五道口生活网 五道口论坛 运动图像的显示顺序与传输顺序不同运动图像的显示顺序与传输顺序不同1 5 2 3 4 9 6 7 8五道口生活网 五道口论坛 运动补偿过程解码进行反量化和反DCT后得到的残差块：根据解码得到的运动向量（MV）找到当前块位移指向的参考帧图像中的对应块。将参考块和残差块数据叠加作为当前块的重构数据。五道口生活网 五道口论坛 量化原理将采样样本的幅度按照量化级别决定其取值的过程。目的是将采样样本的幅度值离散化。量化之前需要规定量化级，比如8级，16级等。量化是一个多对一的映射。五道口生活网 五道口论坛 对数字化后的数据或PCM数据（样本值）一个一个地进行量化，称为标量量化。参数：量化级别量化区间划分量化区间输出值量化映射函数标量量化五道口生活网 五道口论坛 矢量量化 矢量量化编码是近年来图像、语音信号编码技术中颇为流行的一种新型量化编码方法。对数据分组，每组K个符号构成一个K维矢量，然后以矢量为单元，逐个矢量进行量化，称矢量量化。矢量量化是标量量化的多维扩展。矢量量化是标量量化的多维扩展。矢量量化是基于语义编码，其矢量量化是基于语义编码，其基本思想是采用非线性量化器，基本思想是采用非线性量化器，即对空间频率及能量分布较大即对空间频率及能量分布较大的系数分配较多比特数；反之的系数分配较多比特数；反之分配较少的比特数，从而达到分配较少的比特数，从而达到压缩的目的。压缩的目的。五道口生活网 五道口论坛 a1 0.20 01a2 0.19 00a3 0.18 111a4 0.17 110a5 0.15 101a6 0.10 1001a7 0.01 1000 10111000.3900.35 10.2600.1100.611熵编码熵编码哈夫曼编码哈夫曼编码算术编码算术编码信息熵：指一个信源所提供的平均信息量信息熵：指一个信源所提供的平均信息量（entropy）五道口生活网 五道口论坛 混合视频编码流程五道口生活网 五道口论坛 视频码流数据流结构视频码流数据流结构运动图像序列图片组（GOP）IBBPBBP图片条（Slice）宏块Macro Block1616块（Block）88五道口生活网 五道口论坛 Digital Video Coding Overview Video Compression Techniques 率失真基础率失真基础2.1 视频编码基础 五道口生活网 五道口论坛 率失真函数 在假定信源给定的情况下，在用户可以容忍的失真度内再现信源消息所必需获得的最小平均信息量。它反映的是信源可压缩的程度，是信源特性的参量。率失真五道口生活网 五道口论坛 写在最后写在最后成功的基成功的基础在于好的学在于好的学习习惯The foundation of success lies in good habits46谢谢大家荣幸这一路，与你同行ItS An Honor To Walk With You All The Way讲师：XXXXXX XX年XX月XX日