多描述图像与视频编码课件

,适应于网络状况的多描述编码（纵横制）,多描述图像与视频编码 陈婧,Klicken Sie, um die Formate des Vorlagentextes zu bearbeiten,Zweite Ebene,Dritte Ebene,Vierte Ebene,Fnfte Ebene,40,专题讲座自适应网络传输的多描述编码技术简介,专题讲座自适应网络传输的多描述编码技术简介,相关课题,在研：,侨办课题：高效的多视点视频编码容错技术的研究。,已结题：,国家自然科学基金项目(60772164)：网络自适应多描述视频编码的研究,国家自然科学基金项目(60472106)：基于系数结构一致性的多描述视频分层编码,福建省自然科学基金项目(A0710009 )：网络自适应多描述视频编码,福建省自然科学基金项目(A0410018)：基于系数结构一致性的多描述视频编码,华侨大学自然科学基金项目(06HZR27):多描述3D提升小波视频编码,相关课题在研：,纲 要,视频编码技术的回顾,问题的提出,现有的传输差错控制技术,多描述编码技术简介,多描述图像编码方案,多描述视频编码方案,纲 要视频编码技术的回顾,视频编码技术回顾,衡量视频编解码器好坏的标准,压缩效率,计算复杂度,抗误码的能力,基本的编码思路,通过帧间预测编码减少时间冗余,通过帧内变换编码减少空间冗余,视频编码国际标准,ISO/IEC：MPEG-1，MPEG-2，MPEG-4，MPEG-7,ITU-T：H.261，H.263，H.264,我国的音视频编码标准,AVS,视频编码技术回顾衡量视频编解码器好坏的标准,人们对图像和视频实时传输的需求日益增大。,然而，互联网和无线通信网络的传输信道并不可靠。,解决方案：研究具有差错控制特性的图像、视频编解码方案。,如何实现？,问题的提出,数据错误,分组丢失,图像或视频重建,质量严重下降,信道干扰,网络拥塞,路由选择延迟,人们对图像和视频实时传输的需求日益增大。问题的提出数据错误图,一、现有的传输差错控制技术,一、现有的传输差错控制技术,1、基于传输层的差错控制,自动重复请求ARQ(Automatic Repeat Request),重新发送丢失的分组，因此发送器需要知道丢失分组的序号,不适合实时和多点传送的应用,前向差错修正FEC(Forward Error Correction),基于奇偶校验码 (parity code)，发送器只需知道分组丢失的概率而不必知道它们的序号。,运用残余的相关信息进行重建的性能受所接收信息数量的影响，不能用于独立等密度分布的无记忆信源。,混合FEC / ARQ技术和不平等差错保护,不平等差错保护是根据比特流中二进制比特的非同等重要性，对重要比特进行重点保护以降低其误码率的一种传输层控制方法。,1、基于传输层的差错控制自动重复请求ARQ(Automati,2、基于信源的差错恢复编码,错误恢复（Error Resilient）：,在信源端采用对传输误码具有健壮性的比特流信源编码，,引入冗余量,，增加编码器输出的比特数，使在比特流传输错误时提高信号的重建质量。,通过周期性地插入重同步标记和数据分割进行,错误隔离,，把错误的影响隔离在一个有限的区域内；,直接,修改二进制编码方法,，如可逆变长编码（RVLC）或差错恢复熵编码（EREC），以使比特流更具健壮性；,通过插入帧内块或帧，建立,分段预测,，减轻由于时间预测引起的传输差错；,设计具有不平等差错保护的,分层编码方法,（LC）；,设计,多描述编码,（MDC）方案；,联合信源和信道编码（JSCC）。,2、基于信源的差错恢复编码错误恢复（Error Resili,3、基于解码端的差错隐藏,错误隐藏（Error Concealment）：,尽管传输时的数据可能被损坏或丢失，但解码器可根据到达比特流中的冗余信息进行错误隐藏。在解码器中以一定程度的编码效率和复杂度为代价，抑制差错的影响。,错误隐藏一般采用,时间插值,和,空间插值,两种基本方法。,时间插值：用先前帧的数据来重构丢失数据，适用于帧间编码。,空间插值：用相邻空间的信息来重构，适用于帧内编码。,频率域插值,最大平滑恢复,基于模型的恢复,基于语法的恢复,3、基于解码端的差错隐藏错误隐藏（Error Conceal,4、基于编解码交互控制的差错控制,利用解码器到编码器的后向信道，让发送端和接收端,协同工作,，进行差错控制。,参考帧选择性编码,信源编码器根据解码器反馈的信息修改编码参数（如量化步长，编码模式，插入同步标志的频率等），使码率适应信道带宽及传输速率等网络状态。,着眼点不是出现误码如何解救，而是侧重如何使后继的视频能正确接收并解码。,4、基于编解码交互控制的差错控制利用解码器到编码器的后向信道,我们的选择,多描述编码,多描述编码技术研究现状,国际上主要从1999年开始研究，目前尚处于初步阶段。,国内目前只有极少数关于多描述视频编码的研究成果。,引入冗余量，对信息进行一定程度的保护,重建质量,编码效率,如何实现？,我们的选择多描述编码引入冗余量，对信息进行一定程度的保护重建,二、多描述编码技术简介,二、多描述编码技术简介,1、基本思想,当前的信源编码基本上都是采用,递进编码,，并通过可控制丢失分组重传的TCP协议传输。而传输机制是假设接收端需要所有的分组，增加的分组只有在前面分组都接收到的情况下才有用。,问题：,我们是否需要所有分组？,为了提高一点点的图像质量而等待重传是否必要？,如何尽量让接收到的分组发挥作用，从严格的分组顺序和分组重传机制的制约中解脱出来呢？,1、基本思想当前的信源编码基本上都是采用递进编码，并通过可控,2、多描述体系结构,将一个信源分成多个码流（描述），经不同的信道传输。,每个描述的重要性一致。,MDC编码器：产生多个描述，,每一个描述既包含自身的重要信息，又包含其他描述的保护信息。,接收到所有的描述时：信号可以获得高质量的重建效果。,只接收到一部分的描述时：信号仍可获得一定的重建效果。,2、多描述体系结构,3、多描述评价机制,速率失真函数：反映了图像质量随着码率大小而变化的情况。,多描述,冗余率失真函数,基本速率 冗余量：,冗余信息为零，描述间互相,独立,，回到一般的单描述编码，对信道要求高，对不可靠信道不能进行差错恢复；,冗余率达到最高值，描述间,相关,性太强，相当于将单描述通过不同信道传输两次，各描述间没有相互独立的信息，无法达到互补增强，中心解码相当于只用一个描述的边缘解码效果。,因此，协调描述间的独立性和相关性是多描述编码的关键。,3、多描述评价机制速率失真函数：反映了图像质量随着码率大小而,三、多描述图像编码方案,三、多描述图像编码方案,1、传统的多描述图像编码方案,多描述标量量化（MDSQ）,将多描述编码分为两个步骤，一个是标量量化过程，一个是索引分配过程 。,MD网格矢量量化（MDLVQ）,将多描述标量量化不加修改地运用到矢量量化（VQ）中。,多描述变换编码（MDTC）,包含两个变换过程，信源先经去相关变换（如DCT），然后将变换系数进行线性变换以引入相关。,缺点：这些方法采用的是DCT变换编码，低比特编码时受块效应和纹噪声影响，效果不好。,1、传统的多描述图像编码方案 多描述标量量化（MDSQ）,2、基于小波变换的多描述编码（1）,小波变换的,特点,：能描述出时域和频域的局部特性，较DCT有更高的编码效率。,小波变换的,实质,：把信号分解为低分辨率的平滑近似和高频细节两部分。,Mallat塔式分解算法,实现快速的离散小波变换：每次只对低频信号进行分解，既减少对高频信号分解的计算量，又可以把精力集中在对信号质量影响较大的低频信号上。,图 Mallat 塔式分解示意图,2、基于小波变换的多描述编码（1）小波变换的特点：能描述出时,2、基于小波变换的多描述编码（2）,图像的频率特征：大多数的图像是平滑的，反映在频率域中就是图像的能量集中于低频部分,而高频成分的系数较小。,因此很适合把小波变换运用到图像编码中。,把塔式分解过程反映到图像中：,图像的小波分解示意图,2、基于小波变换的多描述编码（2）图像的频率特征：大多数的图,2、基于小波变换的多描述编码（3）,小波变换具有空频局域性的特点，在不同尺度上描述相同空间位置的小波变换系数之间具有相似性，称为尺度之间的自相似性。,图像变换系数的树结构表示和编码（零树结构、X树结构、SPIHT）,四叉树示意图,零树扫描示意,图,2、基于小波变换的多描述编码（3）小波变换具有空频局域性的特,2、基于小波变换的多描述编码（4）,几种经典的基于小波变换的多描述编码,多相变换选择量化的多描述编码（PTSQ）,分块编码，偶数块和奇数块作为两个相；,采用细量化步长生成主信息，粗量化步长生成冗余信息；,每个描述包含自身主信息和另一个描述的冗余信息。,各描述具有相等重要性，是一种平衡多描述编码。,多描述SPIHT（MD-SPIHT）,根据SPIHT小波系数树结构和节点信息关键性不同的特点,对重要信息加强保护，对次要信息次要保护,多描述标量量化子带编码,将图像经小波变换后分配到各个子带中，,对每一个子带系数通过标量量化器进行量化，低频的数据较重要，采用高冗余度的量化矩阵；较高频的数据则采用低冗余度的量化矩阵。,2、基于小波变换的多描述编码（4）几种经典的基于小波变换的多,2、基于小波变换的多描述编码（5）,我们的研究内容,结合小波变换，解决图像的多描述分解问题。,提出有效的分组方案，适应网络分组传输。,实现多描述的非平衡丢失保护,调整冗余率，平衡编码效率和重建质量。,根据网络情况自适应地调整码率（包括冗余率），以适应不同网络客户的需求。,我们提出的多描述图像编码方案,基于结构一致性的X树多描述分组编码,非平衡丢失保护的多描述分组编码,基于分级树的多描述编码,2、基于小波变换的多描述编码（5）我们的研究内容,四、多描述视频编码方案,四、多描述视频编码方案,1、技术难点（1）,从图像编码到视频编码必须解决的几个问题,从二维到三维：多描述视频编码的框架？,如何编码运动量：采用何种方法进行运动估计，精度如何？,冗余量的产生和分配：如何合理构建冗余量，保护运动信息。,1、多描述视频编码框架,(a)先运动补偿，后小波变换,1、技术难点（1）从图像编码到视频编码必须解决的几个问题(a,1、技术难点（2）,(b)先小波变换，后运动补偿,1、技术难点（2） (b)先小波变换，后运动补偿,1、技术难点（3）,2、如何编码运动量？,传统的运动估计,运动表示,全局运动,基于像素的运动估计,基于块的运动估计,（穷尽块匹配、梯度下降法、分数精度搜索、二维对数搜索、三步搜索等快速算法,）,基于可变形块的运动估计,基于网格的运动估计,基于区域/对象的运动估计,运动估计准则,优化方法寻找最优参数,三维提升小波变换,3、冗余量的生成和分配,当运动量较小时：将运动向量编入每个描述，加强保护。,当运动量较大时：是否能先确定运动方向？,1、技术难点（3）2、如何编码运动量？,2、我们的方法,1、从二维到三维：采用先运动估计后小波变换的编码框架,2、如何编码运动量：采用3D提升小波编码,每一级提升小波变换由三个步骤组成，每一级分解为：,预测过程取出变化分量，相当于对信号进行高通滤波。,更新过程是为了满足均值不变而引入的运算，可看成低通滤波。,3、冗余量的产生和分配：,按照多描述图像编码先分解成两个描述,每个描述加入运动量，对运动量进行重点保护，以保证视频的运动信息。,）,(7.5),反变化为：,2、我们的方法1、从二维到三维：采用先运动估计后小波变换的编,欢迎提出宝贵意见！欢迎同学们加入我们的课题组！,欢迎提出宝贵意见！欢迎同学们加入我们的课题组！,1、基于结构一致性的X树多描述分组编码,基本思想：,对图像进行小波变换,将小波系数按位下采样，分别产生奇数相和偶数相,描述1：奇数相的主信息+偶数相的冗余信息,描述2：偶数相的主信息+奇数相的冗余信息,1、基于结构一致性的X树多描述分组编码基本思想：,1、基于结构一致性的X树多描述分组编码,创新点,小波系数的奇数相和偶数相具有相同的非零系数分布特征，因此，奇偶两相的结构信息一致。,根据结构的一致性，则可省去对每个描述中冗余部分结构信息的编码，从而提高了编码效率。,在编码速率一致时，本方法既简单，又可以得到较好的重建效果。,1、基于结构一致性的X树多描述分组编码创新点,1、基于结构一致性的X树多描述分组编码,多描述分组方案 ：为了适应分组传输,(a) 三层小波变换,(b) 1616的小波块,1）变换图像小波块重构,2）重构图像的棋盘格分解,3）多描述分组编码的形成,(a) 水平分割 (b) 垂直分割 (c) 行列交叉,2个描述,行描述,列描述,：行分组主信息+列分组冗余保护信息,：列分组主信息+行分组冗余保护信息,16个分组,8个行分组,8个列分组,1、基于结构一致性的X树多描述分组编码多描述分组方案 ：为了,1、基于结构一致性的X树多描述分组编码,实验仿真结果,创新点：,针对交叉分组丢失情况，减小同一子图像重要信息同时丢失的概率,利用低频子带插值 ，有效提高交叉分组丢失时的重建效果,1、基于结构一致性的X树多描述分组编码实验仿真结果,2、非平衡丢失保护的多描述分组编码,非平衡丢失保护（ULP）编码的思想,关键信息进行重点保护，使它们以低得多的误码率传输,普通信息只需提供一般保护,小波系数可分为两个部分：,结构信息：关键信息,非零系数：普通信息,基本思想：,将结构信息复制到所有描述，其冗余量根据信道的情况和具体要求进行调整,非零系数的残余部分用多描述标量量化器（MDSQ）映射为一对索引，分别放入不同描述进行传输。,2、非平衡丢失保护的多描述分组编码非平衡丢失保护（ULP）编,2、非平衡丢失保护的多描述分组编码,创新点,结合小波变换系数的特点分离出关键信息和细节信息，视重要程度采取不同保护措施。,即使只收到部分描述，也可以从获得的图像关键信息和细节信息进行一定质量的图像重建。,实验分析,比特率=1.0时，编码效果明显优于MDSQ，与PTSQ效果相当,比特率=0.25时，效果优于PTSQ。,2、非平衡丢失保护的多描述分组编码创新点,2、非平衡丢失保护的多描述分组编码,多描述分组方案,把原始小波变换系数分别按行、按列分解为多个子图像,将非平衡丢失保护多描述编码运用到每个子图像上,采用前面介绍过的行列分组方法,实验结果,总体上优于PTSQ，在分组丢失数较少时优于MD-SPIHT。,比前一种方法效果好，说明非平衡保护的意义。,2、非平衡丢失保护的多描述分组编码多描述分组方案,3、基于分级树的多描述编码,目的：在前面研究的基础上，根据信息的重要性提供 的保护措施。,基本思想：,对小波系数进行 并编码形成图像的基本层。,小波系数与粗量化系数的反量化之差（称为剩余系数）经,产生图像的增强层。,增强层系数经,和 ，形成 k 个子增强层。,基本层分别和这 k 个子增强层结合，产生 k 个描述。,灵活,粗量化,细量化,移位,下采样,3、基于分级树的多描述编码目的：在前面研究的基础上，根据信息,3、基于分级树的多描述编码,创新性,充分利用了可分级分层的思想，自系数高位到低位形成多个描述。,可灵活调整分层数和每层的采样次数,分级树的形式也可以根据用户需要进行调整，即可以对各级节点根据其重要性提供不同的保护措施。,在提高抗干扰能力的基础上，更增强了非平衡丢失保护机制的灵活性。,3、基于分级树的多描述编码创新性,3、基于分级树的多描述编码,实验结果,PSNR值下降得较慢：说明具有更好的抗击分组丢失和网络错误的能力。,当丢失分组数量较少时，,LSMDC2结果最好。,当丢失分组数量增多时，LSMDC1结果最好，因其基层受到了更多的保护。,3、基于分级树的多描述编码实验结果,4、基于运动补偿的3D提升小波多描述视频编码,如何编码运动量：采用3D提升小波编码,第一步：分裂。将数据集合 分解成两个较小的数据子集 和 。,第二步：预测。目的是用 预测 。 ：预测算子,第三步：更新。为了还原某一全局性质，如系数均值,4、基于运动补偿的3D提升小波多描述视频编码如何编码运动量：,4、基于运动补偿的3D提升小波多描述视频编码,创新点,根据带运动估计的3D提升小波，采用先运动估计后小波变换的t+2D方法，结合多描述编码思想，设计了一种新的多描述视频编码方案。,将运动量编码入每个描述，加强了对这一重要信息的保护。,编码效率高，抗分组丢失能力强。,实验结果,在速率为500kbps时，本算法和其他方法的比较,序列,(352*240）,无小波变换,PSNR(dB),无运动补偿的,5/3小波PSNR(dB),本算法5/3小波 PSNR(dB),单描述,多描述1,多描述2,Flower,19.19,20.33,23.52,19.55,21.17,Tennis,25.91,27.86,29.83,26.64,26.4,4、基于运动补偿的3D提升小波多描述视频编码创新点序列无小波,