多描述图像与视频编码课件

多描述图像与视频编码 陈婧 1专题讲座专题讲座自适应网络传输的多描述编码技术简介自适应网络传输的多描述编码技术简介多描述图像与视频编码 陈婧 2相关课题相关课题在研：在研：侨办课题：高效的多视点视频编码容错技术的研究。侨办课题：高效的多视点视频编码容错技术的研究。已结题：已结题：国家自然科学基金项目国家自然科学基金项目(60772164)：网络自适应多描述视频编：网络自适应多描述视频编码的研究码的研究 国家自然科学基金项目国家自然科学基金项目(60472106)：基于系数结构一致性的多：基于系数结构一致性的多描述视频分层编码描述视频分层编码 福建省自然科学基金项目福建省自然科学基金项目(A0710009)：网络自适应多描述视频：网络自适应多描述视频编码编码 福建省自然科学基金项目福建省自然科学基金项目(A0410018)：基于系数结构一致性的：基于系数结构一致性的多描述视频编码多描述视频编码 华侨大学自然科学基金项目华侨大学自然科学基金项目(06HZR27):多描述多描述3D提升小波视频提升小波视频编码编码 多描述图像与视频编码 陈婧 3纲纲 要要视频编码技术的回顾视频编码技术的回顾问题的提出问题的提出现有的传输差错控制技术现有的传输差错控制技术多描述编码技术简介多描述编码技术简介 多描述图像编码方案多描述图像编码方案多描述视频编码方案多描述视频编码方案多描述图像与视频编码 陈婧 4视频编码技术回顾视频编码技术回顾衡量视频编解码器好坏的标准衡量视频编解码器好坏的标准 压缩效率压缩效率 计算复杂度计算复杂度 抗误码的能力抗误码的能力基本的编码思路基本的编码思路 通过帧间预测编码减少时间冗余通过帧间预测编码减少时间冗余 通过帧内变换编码减少空间冗余通过帧内变换编码减少空间冗余视频编码国际标准视频编码国际标准 ISO/IEC：MPEG-1，MPEG-2，MPEG-4，MPEG-7 ITU-T：H.261，H.263，H.264我国的音视频编码标准我国的音视频编码标准 AVS多描述图像与视频编码 陈婧 51.人们对图像和视频实时传输的需求日益增大。人们对图像和视频实时传输的需求日益增大。2.然而，互联网和无线通信网络的传输信道并不可靠。然而，互联网和无线通信网络的传输信道并不可靠。3.3.解决方案：解决方案：研究具有差错控制特性的图像、视频编解码方案。研究具有差错控制特性的图像、视频编解码方案。4.如何实现？如何实现？问题的提出问题的提出数据错误数据错误分组丢失分组丢失图像或视频重建图像或视频重建质量严重下降质量严重下降信道干扰信道干扰 网络拥塞网络拥塞 路由选择延迟路由选择延迟多描述图像与视频编码 陈婧 6一、现有的传输差错控制技术一、现有的传输差错控制技术多描述图像与视频编码 陈婧 71、基于传输层的差错控制、基于传输层的差错控制自动重复请求自动重复请求ARQ(Automatic Repeat Request)重新发送丢失的分组，因此发送器需要知道丢失分组的序号重新发送丢失的分组，因此发送器需要知道丢失分组的序号 不适合实时和多点传送的应用不适合实时和多点传送的应用前向差错修正前向差错修正FEC(Forward Error Correction)基于奇偶校验码基于奇偶校验码(parity code)，发送器只需知道分组丢失的概，发送器只需知道分组丢失的概率而不必知道它们的序号。率而不必知道它们的序号。运用残余的相关信息进行重建的性能受所接收信息数量的影响，运用残余的相关信息进行重建的性能受所接收信息数量的影响，不能用于独立等密度分布的无记忆信源。不能用于独立等密度分布的无记忆信源。混合混合FEC/ARQ技术和不平等差错保护技术和不平等差错保护 不平等差错保护是根据比特流中二进制比特的非同等重要性，不平等差错保护是根据比特流中二进制比特的非同等重要性，对重要比特进行重点保护以降低其误码率的一种传输层控制方对重要比特进行重点保护以降低其误码率的一种传输层控制方法。法。多描述图像与视频编码 陈婧 82、基于信源的差错恢复编码、基于信源的差错恢复编码错误恢复（错误恢复（Error Resilient）：）：在信源端采用对传输误码具有健壮在信源端采用对传输误码具有健壮性的比特流信源编码，性的比特流信源编码，引入冗余量引入冗余量，增加编码器输出的比特数，增加编码器输出的比特数，使在比特流传输错误时提高信号的重建质量。使在比特流传输错误时提高信号的重建质量。1.通过周期性地插入重同步标记和数据分割进行通过周期性地插入重同步标记和数据分割进行错误隔离错误隔离，把错，把错误的影响隔离在一个有限的区域内；误的影响隔离在一个有限的区域内；2.直接直接修改二进制编码方法修改二进制编码方法，如可逆变长编码（，如可逆变长编码（RVLC）或差错）或差错恢复熵编码（恢复熵编码（EREC），以使比特流更具健壮性；），以使比特流更具健壮性；3.通过插入帧内块或帧，建立通过插入帧内块或帧，建立分段预测分段预测，减轻由于时间预测引起，减轻由于时间预测引起的传输差错；的传输差错；4.设计具有不平等差错保护的设计具有不平等差错保护的分层编码方法分层编码方法（LC）；）；5.设计设计多描述编码多描述编码（MDC）方案；）方案；6.联合信源和信道编码（联合信源和信道编码（JSCC）。）。多描述图像与视频编码 陈婧 93、基于解码端的差错隐藏、基于解码端的差错隐藏错误隐藏（错误隐藏（Error Concealment）：）：尽管传输时的数据可能被损坏尽管传输时的数据可能被损坏或丢失，但解码器可根据到达比特流中的冗余信息进行错误隐藏。或丢失，但解码器可根据到达比特流中的冗余信息进行错误隐藏。在解码器中以一定程度的编码效率和复杂度为代价，抑制差错的影在解码器中以一定程度的编码效率和复杂度为代价，抑制差错的影响。响。错误隐藏一般采用错误隐藏一般采用时间插值时间插值和和空间插值空间插值两种基本方法。两种基本方法。时间插值：用先前帧的数据来重构丢失数据，适用于帧间编码。时间插值：用先前帧的数据来重构丢失数据，适用于帧间编码。空间插值：用相邻空间的信息来重构，适用于帧内编码。空间插值：用相邻空间的信息来重构，适用于帧内编码。频率域插值频率域插值 最大平滑恢复最大平滑恢复 基于模型的恢复基于模型的恢复 基于语法的恢复基于语法的恢复多描述图像与视频编码 陈婧 104、基于编解码交互控制的差错控制、基于编解码交互控制的差错控制利用解码器到编码器的后向信道，让发送端和接收端利用解码器到编码器的后向信道，让发送端和接收端协同工作协同工作，进，进行差错控制。行差错控制。参考帧选择性编码参考帧选择性编码 信源编码器根据解码器反馈的信息修改编码参数（如量化步长，信源编码器根据解码器反馈的信息修改编码参数（如量化步长，编码模式，插入同步标志的频率等），使码率适应信道带宽及编码模式，插入同步标志的频率等），使码率适应信道带宽及传输速率等网络状态。传输速率等网络状态。着眼点不是出现误码如何解救，而是侧重如何使后继的视频能正确着眼点不是出现误码如何解救，而是侧重如何使后继的视频能正确接收并解码。接收并解码。多描述图像与视频编码 陈婧 11我们的选择我们的选择多描述编码多描述编码多描述编码技术研究现状多描述编码技术研究现状 国际上主要从国际上主要从1999年开始研究，目前尚处于初步阶段。年开始研究，目前尚处于初步阶段。国内目前只有极少数关于多描述视频编码的研究成果。国内目前只有极少数关于多描述视频编码的研究成果。引入冗余量，对信息进行一定程度的保护引入冗余量，对信息进行一定程度的保护重建质量重建质量编码效率编码效率如何实现？如何实现？多描述图像与视频编码 陈婧 12二、多描述编码技术简介二、多描述编码技术简介多描述图像与视频编码 陈婧 131、基本思想、基本思想当前的信源编码基本上都是采用当前的信源编码基本上都是采用递进编码递进编码，并通过可控，并通过可控制丢失分组重传的制丢失分组重传的TCP协议传输。而传输机制是假设接协议传输。而传输机制是假设接收端需要所有的分组，增加的分组只有在前面分组都接收端需要所有的分组，增加的分组只有在前面分组都接收到的情况下才有用。收到的情况下才有用。问题：问题：我们是否需要所有分组？我们是否需要所有分组？为了提高一点点的图像质量而等待重传是否必要？为了提高一点点的图像质量而等待重传是否必要？如何尽量让接收到的分组发挥作用，从严格的分组顺如何尽量让接收到的分组发挥作用，从严格的分组顺序和分组重传机制的制约中解脱出来呢？序和分组重传机制的制约中解脱出来呢？多描述图像与视频编码 陈婧 142、多描述体系结构、多描述体系结构 将一个信源分成多个码流（描述），经不同的信道传输。将一个信源分成多个码流（描述），经不同的信道传输。每个描述的重要性一致。每个描述的重要性一致。MDC编码器：产生多个描述，编码器：产生多个描述，每一个描述既包含自身的重要信每一个描述既包含自身的重要信息，又包含其他描述的保护信息。息，又包含其他描述的保护信息。接收到所有的描述时：信号可以获得高质量的重建效果。接收到所有的描述时：信号可以获得高质量的重建效果。只接收到一部分的描述时：信号仍可获得一定的重建效果。只接收到一部分的描述时：信号仍可获得一定的重建效果。多描述图像与视频编码 陈婧 153、多描述评价机制、多描述评价机制速率失真函数：反映了图像质量随着码率大小而变化的情况。速率失真函数：反映了图像质量随着码率大小而变化的情况。多描述多描述冗余率失真函数冗余率失真函数基本速率基本速率 冗余量：冗余量：冗余信息为零，描述间互相冗余信息为零，描述间互相独立独立，回到一般的单描述编码，对信道，回到一般的单描述编码，对信道要求高，对不可靠信道不能进行差错恢复；要求高，对不可靠信道不能进行差错恢复；冗余率达到最高值，描述间冗余率达到最高值，描述间相关相关性太强，相当于将单描述通过不同性太强，相当于将单描述通过不同信道传输两次，各描述间没有相互独立的信息，无法达到互补增强，信道传输两次，各描述间没有相互独立的信息，无法达到互补增强，中心解码相当于只用一个描述的边缘解码效果。中心解码相当于只用一个描述的边缘解码效果。因此，协调描述间的独立性和相关性是多描述编码的关键。因此，协调描述间的独立性和相关性是多描述编码的关键。)(021DRRR)(0DRr 多描述图像与视频编码 陈婧 16三、多描述图像编码方案三、多描述图像编码方案多描述图像与视频编码 陈婧 171、传统的多描述图像编码方案、传统的多描述图像编码方案 多描述标量量化（多描述标量量化（MDSQ）将多描述编码分为两个步骤，一个是标量量化过程，一个是索将多描述编码分为两个步骤，一个是标量量化过程，一个是索引分配过程引分配过程。MD网格矢量量化（网格矢量量化（MDLVQ）将多描述标量量化不加修改地运用到矢量量化（将多描述标量量化不加修改地运用到矢量量化（VQ）中。）中。多描述变换编码（多描述变换编码（MDTC）包含两个变换过程，信源先经去相关变换（如包含两个变换过程，信源先经去相关变换（如DCT），然后将），然后将变换系数进行线性变换以引入相关。变换系数进行线性变换以引入相关。缺点：这些方法采用的是缺点：这些方法采用的是DCT变换编码，低比特编码时受块效应和变换编码，低比特编码时受块效应和纹噪声影响，效果不好。纹噪声影响，效果不好。多描述图像与视频编码 陈婧 182、基于小波变换的多描述编码（、基于小波变换的多描述编码（1）小波变换的小波变换的特点特点：能描述出时域和频域的局部特性，较：能描述出时域和频域的局部特性，较DCT有更高有更高的编码效率。的编码效率。小波变换的小波变换的实质实质：把信号分解为低分辨率的平滑近似和高频细节两：把信号分解为低分辨率的平滑近似和高频细节两部分。部分。Mallat塔式分解算法塔式分解算法实现快速的离散小波变换：每次只对低频信号实现快速的离散小波变换：每次只对低频信号进行分解，既减少对高频信号分解的计算量，又可以把精力集中在进行分解，既减少对高频信号分解的计算量，又可以把精力集中在对信号质量影响较大的低频信号上。对信号质量影响较大的低频信号上。图 Mallat 塔式分解示意图kjc,1kjc,kjd,kjc,1kjd,1多描述图像与视频编码 陈婧 192、基于小波变换的多描述编码（、基于小波变换的多描述编码（2）图像的频率特征：大多数的图像是平滑的，反映在频率域中就是图图像的频率特征：大多数的图像是平滑的，反映在频率域中就是图像的能量集中于低频部分像的能量集中于低频部分,而高频成分的系数较小。而高频成分的系数较小。因此很适合把小波变换运用到图像编码中。因此很适合把小波变换运用到图像编码中。把塔式分解过程反映到图像中：把塔式分解过程反映到图像中：图像的小波分解示意图(a)原始图像(b)一级分解(c)二级分解(d)三级分解LL1LH1HL1HH1HH1HH2LH2HL2HL1LH1LL2多描述图像与视频编码 陈婧 202、基于小波变换的多描述编码（、基于小波变换的多描述编码（3）小波变换具有空频局域性的特点，在不同尺度上描述相同空间位小波变换具有空频局域性的特点，在不同尺度上描述相同空间位置的小波变换系数之间具有相似性，称为尺度之间的自相似性。置的小波变换系数之间具有相似性，称为尺度之间的自相似性。图像变换系数的树结构表示和编码（零树结构、图像变换系数的树结构表示和编码（零树结构、X树结构、树结构、SPIHT）四叉树示意图 零树扫描示意图多描述图像与视频编码 陈婧 212、基于小波变换的多描述编码（、基于小波变换的多描述编码（4）几种经典的基于小波变换的多描述编码几种经典的基于小波变换的多描述编码多相变换选择量化的多描述编码（多相变换选择量化的多描述编码（PTSQ）分块编码，偶数块和奇数块作为两个相；分块编码，偶数块和奇数块作为两个相；采用细量化步长生成主信息，粗量化步长生成冗余信息；采用细量化步长生成主信息，粗量化步长生成冗余信息；每个描述包含自身主信息和另一个描述的冗余信息。每个描述包含自身主信息和另一个描述的冗余信息。各描述具有相等重要性，是一种平衡多描述编码。各描述具有相等重要性，是一种平衡多描述编码。多描述多描述SPIHT（MD-SPIHT）根据根据SPIHT小波系数树结构和节点信息关键性不同的特点小波系数树结构和节点信息关键性不同的特点对重要信息加强保护，对次要信息次要保护对重要信息加强保护，对次要信息次要保护多描述标量量化子带编码多描述标量量化子带编码将图像经小波变换后分配到各个子带中，将图像经小波变换后分配到各个子带中，对每一个子带系数通过标量量化器进行量化，低频的数据对每一个子带系数通过标量量化器进行量化，低频的数据较重要，采用高冗余度的量化矩阵；较高频的数据则采用较重要，采用高冗余度的量化矩阵；较高频的数据则采用低冗余度的量化矩阵。低冗余度的量化矩阵。多描述图像与视频编码 陈婧 222、基于小波变换的多描述编码（、基于小波变换的多描述编码（5）我们的研究内容我们的研究内容1.结合小波变换，解决图像的多描述分解问题。结合小波变换，解决图像的多描述分解问题。2.提出有效的分组方案，适应网络分组传输。提出有效的分组方案，适应网络分组传输。3.实现多描述的非平衡丢失保护实现多描述的非平衡丢失保护4.调整冗余率，平衡编码效率和重建质量。调整冗余率，平衡编码效率和重建质量。5.根据网络情况自适应地调整码率（包括冗余率），以适应不同根据网络情况自适应地调整码率（包括冗余率），以适应不同网络客户的需求。网络客户的需求。我们提出的多描述图像编码方案我们提出的多描述图像编码方案1.基于结构一致性的基于结构一致性的X树多描述分组编码树多描述分组编码 2.非平衡丢失保护的多描述分组编码非平衡丢失保护的多描述分组编码 3.基于分级树的多描述编码基于分级树的多描述编码 多描述图像与视频编码 陈婧 23四、多描述视频编码方案四、多描述视频编码方案多描述图像与视频编码 陈婧 241、技术难点（、技术难点（1）从图像编码到视频编码必须解决的几个问题从图像编码到视频编码必须解决的几个问题 从二维到三维：多描述视频编码的框架？从二维到三维：多描述视频编码的框架？如何编码运动量：采用何种方法进行运动估计，精度如何？如何编码运动量：采用何种方法进行运动估计，精度如何？冗余量的产生和分配：如何合理构建冗余量，保护运动信息。冗余量的产生和分配：如何合理构建冗余量，保护运动信息。1、多描述视频编码框架、多描述视频编码框架(a)先运动补偿，后小波变换小波变换量化反量化运动补偿帧间预测运动矢量估计预测误差输入运动矢量编码输出多描述图像与视频编码 陈婧 251、技术难点（、技术难点（2）量化反量化运动矢量估计运动补偿帧间预测量化反量化运动补偿帧间预测运动矢量估计小波变换低频带预测误差编码输出运动矢量输入某高频带预测误差编码输出运动矢量.(b)先小波变换，后运动补偿多描述图像与视频编码 陈婧 261、技术难点（、技术难点（3）2、如何编码运动量？、如何编码运动量？传统的运动估计传统的运动估计 运动表示运动表示全局运动全局运动基于像素的运动估计基于像素的运动估计基于块的运动估计基于块的运动估计（穷尽块匹配、梯度下降法、分数精（穷尽块匹配、梯度下降法、分数精度搜索、二维对数搜索、三步搜索等快速算法度搜索、二维对数搜索、三步搜索等快速算法）基于可变形块的运动估计基于可变形块的运动估计基于网格的运动估计基于网格的运动估计基于区域基于区域/对象的运动估计对象的运动估计 运动估计准则运动估计准则 优化方法寻找最优参数优化方法寻找最优参数 三维提升小波变换三维提升小波变换3、冗余量的生成和分配、冗余量的生成和分配 当运动量较小时：将运动向量编入每个描述，加强保护。当运动量较小时：将运动向量编入每个描述，加强保护。当运动量较大时：是否能先确定运动方向？当运动量较大时：是否能先确定运动方向？多描述图像与视频编码 陈婧 272、我们的方法、我们的方法1、从二维到三维：采用先运动估计后小波变换的编码框架、从二维到三维：采用先运动估计后小波变换的编码框架2、如何编码运动量：采用、如何编码运动量：采用3D提升小波编码提升小波编码 每一级提升小波变换由三个步骤组成，每一级分解为：每一级提升小波变换由三个步骤组成，每一级分解为：预测过程取出变化分量，相当于对信号进行高通滤波。预测过程取出变化分量，相当于对信号进行高通滤波。更新过程是为了满足均值不变而引入的运算，可看成低通滤波。更新过程是为了满足均值不变而引入的运算，可看成低通滤波。3、冗余量的产生和分配：、冗余量的产生和分配：按照多描述图像编码先分解成两个描述按照多描述图像编码先分解成两个描述 每个描述加入运动量，对运动量进行重点保护，以保证视频的每个描述加入运动量，对运动量进行重点保护，以保证视频的运动信息。运动信息。i)()()(,11111111iiiiiiiiihUlllPhhlsplithl),()()(11111111iiiiiiiiihlJoinllPhhhUll）(7.5)反变化为：反变化为：多描述图像与视频编码 陈婧 28欢迎提出宝贵意见！欢迎提出宝贵意见！欢迎同学们加入我们的课题组！欢迎同学们加入我们的课题组！多描述图像与视频编码 陈婧 291、基于结构一致性的、基于结构一致性的X树多描述分组编码树多描述分组编码基本思想：基本思想：对图像进行小波变换对图像进行小波变换 将小波系数按位下采样，分别产生奇数相和偶数相将小波系数按位下采样，分别产生奇数相和偶数相 描述描述1：奇数相的主信息：奇数相的主信息+偶数相的冗余信息偶数相的冗余信息 描述描述2：偶数相的主信息：偶数相的主信息+奇数相的冗余信息奇数相的冗余信息主编码器1合成分解合成分解1XX2X1X2XX主编码器2冗余编码器1冗余编码器2主解码器1冗余解码器1冗余解码器2主解码器2按位下采样信道1信道2)(11RX)(11X)(22X)(22RX多描述图像与视频编码 陈婧 301、基于结构一致性的、基于结构一致性的X树多描述分组编码树多描述分组编码创新点创新点 小波系数的奇数相和偶数相具有相同的非零系数分布特征，因小波系数的奇数相和偶数相具有相同的非零系数分布特征，因此，奇偶两相的结构信息一致。此，奇偶两相的结构信息一致。根据结构的一致性，则可省去对每个描述中冗余部分结构信息根据结构的一致性，则可省去对每个描述中冗余部分结构信息的编码，从而提高了编码效率。的编码，从而提高了编码效率。在编码速率一致时，本方法既简单，又可以得到较好的重建效在编码速率一致时，本方法既简单，又可以得到较好的重建效果。果。多描述图像与视频编码 陈婧 311、基于结构一致性的、基于结构一致性的X树多描述分组编码树多描述分组编码多描述分组方案多描述分组方案：为了适应分组传输：为了适应分组传输(a)(a)三层小波变换三层小波变换(b)16(b)161616的小波块的小波块1）变换图像小波块重构）变换图像小波块重构2）重构图像的棋盘格分解）重构图像的棋盘格分解3）多描述分组编码的形成）多描述分组编码的形成 (a)(a)水平分割水平分割 (b)(b)垂直分割垂直分割 (c)(c)行列交叉行列交叉C11 C12 C13 C14 C15 C16 C17 C18R21 R22 R23 R24 R25 R26 R27 R28C11 C12C13 C14 C15 C16 C17 C18R21 R22 R23 R24 R25 R26 R27 R282个描述个描述 行描述行描述 列描述列描述：行分组主信息：行分组主信息+列分组冗余保护信息列分组冗余保护信息：列分组主信息：列分组主信息+行分组冗余保护信息行分组冗余保护信息 16个分组个分组8个行分组个行分组8个列分组个列分组多描述图像与视频编码 陈婧 321、基于结构一致性的、基于结构一致性的X树多描述分组编码树多描述分组编码实验仿真结果实验仿真结果创新点：创新点：针对交叉分组丢失情况，减小同一子图像重要信息同时丢失的概率针对交叉分组丢失情况，减小同一子图像重要信息同时丢失的概率 利用低频子带插值利用低频子带插值，有效提高交叉分组丢失时的重建效果，有效提高交叉分组丢失时的重建效果多描述图像与视频编码 陈婧 332、非平衡丢失保护的多描述分组编码、非平衡丢失保护的多描述分组编码非平衡丢失保护（非平衡丢失保护（ULP）编码的思想）编码的思想 关键信息进行重点保护，使它们以低得多的误码率传输关键信息进行重点保护，使它们以低得多的误码率传输 普通信息只需提供一般保护普通信息只需提供一般保护 小波系数可分为两个部分：小波系数可分为两个部分：结构信息：关键信息结构信息：关键信息 非零系数：普通信息非零系数：普通信息基本思想：基本思想：将结构信息复制到所有描述，其冗余量根据信道的情况和具体将结构信息复制到所有描述，其冗余量根据信道的情况和具体要求进行调整要求进行调整 非零系数的残余部分用多描述标量量化器（非零系数的残余部分用多描述标量量化器（MDSQ）映射为一）映射为一对索引，分别放入不同描述进行传输。对索引，分别放入不同描述进行传输。多描述图像与视频编码 陈婧 342、非平衡丢失保护的多描述分组编码、非平衡丢失保护的多描述分组编码创新点创新点 结合小波变换系数的特点分离出关键信息和细节信息，视重要结合小波变换系数的特点分离出关键信息和细节信息，视重要程度采取不同保护措施。程度采取不同保护措施。即使只收到部分描述，也可以从获得的图像关键信息和细节信即使只收到部分描述，也可以从获得的图像关键信息和细节信息进行一定质量的图像重建。息进行一定质量的图像重建。实验分析实验分析 比特率比特率=1.0时，编码效果明显优于时，编码效果明显优于MDSQ，与，与PTSQ效果相当效果相当 比特率比特率=0.25时，效果优于时，效果优于PTSQ。多描述图像与视频编码 陈婧 352、非平衡丢失保护的多描述分组编码、非平衡丢失保护的多描述分组编码多描述分组方案多描述分组方案 把原始小波变换系数分别按行、按列分解为多个子图像把原始小波变换系数分别按行、按列分解为多个子图像 将非平衡丢失保护多描述编码运用到每个子图像上将非平衡丢失保护多描述编码运用到每个子图像上 采用前面介绍过的行列分组方法采用前面介绍过的行列分组方法实验结果实验结果 总体上优于总体上优于PTSQ，在分组丢失数较少时优于，在分组丢失数较少时优于MD-SPIHT。比前一种方法效果好，说明非平衡保护的意义。比前一种方法效果好，说明非平衡保护的意义。多描述图像与视频编码 陈婧 363、基于分级树的多描述编码、基于分级树的多描述编码目的：在前面研究的基础上，根据信息的重要性提供目的：在前面研究的基础上，根据信息的重要性提供 的保护的保护措施。措施。基本思想：基本思想：对小波系数进行对小波系数进行 并编码形成图像的基本层。并编码形成图像的基本层。小波系数与粗量化系数的反量化之差（称为剩余系数）经小波系数与粗量化系数的反量化之差（称为剩余系数）经 产生图像的增强层。产生图像的增强层。增强层系数经增强层系数经 和和 ，形成，形成 k 个子增强层。个子增强层。基本层分别和这基本层分别和这 k 个子增强层结合，产生个子增强层结合，产生 k 个描述。个描述。灵活灵活DWTCQCQ-1CFQZ-(k-1)kk MUXMUXCC.输入图像输出描述粗量化粗量化细量化细量化移位移位 下采样下采样多描述图像与视频编码 陈婧 373、基于分级树的多描述编码、基于分级树的多描述编码创新性创新性 充分利用了可分级分层的思想，自系数高位到低位形成多个描述。充分利用了可分级分层的思想，自系数高位到低位形成多个描述。可灵活调整分层数和每层的采样次数可灵活调整分层数和每层的采样次数 分级树的形式也可以根据用户需要进行调整，即可以对各级节点根据分级树的形式也可以根据用户需要进行调整，即可以对各级节点根据其重要性提供不同的保护措施。其重要性提供不同的保护措施。在提高抗干扰能力的基础上，更增强了非平衡丢失保护机制的灵活性。在提高抗干扰能力的基础上，更增强了非平衡丢失保护机制的灵活性。多描述图像与视频编码 陈婧 383、基于分级树的多描述编码、基于分级树的多描述编码实验结果实验结果PSNRPSNR值下降得较慢：说明具有更好的抗击分组丢失和网络错误的能力。值下降得较慢：说明具有更好的抗击分组丢失和网络错误的能力。当丢失分组数量较少时，当丢失分组数量较少时，LSMDC2结果最好。结果最好。当丢失分组数量增多时，当丢失分组数量增多时，LSMDC1结果最好，因其基层受到了更多的保护。结果最好，因其基层受到了更多的保护。多描述图像与视频编码 陈婧 394、基于运动补偿的、基于运动补偿的3D提升小波多描述视频编码提升小波多描述视频编码如何编码运动量：采用如何编码运动量：采用3D提升小波编码提升小波编码第一步：分裂。将数据集合第一步：分裂。将数据集合 分解成两个较小的数据子集分解成两个较小的数据子集 和和 。第二步：预测。目的是用第二步：预测。目的是用 预测预测 。：预测算子：预测算子第三步：更新。为了还原某一全局性质，如系数均值第三步：更新。为了还原某一全局性质，如系数均值)(111hUll)(111lPhh1l1h1l1hP0l多描述图像与视频编码 陈婧 404、基于运动补偿的、基于运动补偿的3D提升小波多描述视频编码提升小波多描述视频编码创新点创新点 根据带运动估计的根据带运动估计的3D提升小波，采用先运动估计后小波变换的提升小波，采用先运动估计后小波变换的t+2D方方法，结合多描述编码思想，设计了一种新的多描述视频编码方案。法，结合多描述编码思想，设计了一种新的多描述视频编码方案。将运动量编码入每个描述，加强了对这一重要信息的保护。将运动量编码入每个描述，加强了对这一重要信息的保护。编码效率高，抗分组丢失能力强。编码效率高，抗分组丢失能力强。实验结果实验结果 在速率为在速率为500kbps时，本算法和其他方法的比较时，本算法和其他方法的比较 序列序列(352(352*240240）无小波变换无小波变换PSNR(dB)PSNR(dB)无运动补偿的无运动补偿的5/35/3小波小波PSNR(dB)PSNR(dB)本算法本算法5/35/3小波小波 PSNR(dB)PSNR(dB)单描述单描述多描述多描述1 1多描述多描述2 2FlowerFlower19.1919.1920.3320.3323.5223.5219.5519.5521.1721.17TennisTennis25.9125.9127.8627.8629.8329.8326.6426.6426.426.4