《光电图像处理》06－图像编码

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,光电图像处理,（六）图像编码,电子工程学院光电子技术系,1,6.1,图像编码概述,6.2,哈夫曼编码,6.3,香农,-,范诺编码,6.4,行程编码,6.5,LZW,编码,6.6,算术编码,6.7,预测编码,6.8,图像编码的国际标准,主 要 内 容,2,6.1,图像编码概述,6.2,哈夫曼编码,6.3,香农,-,范诺编码,6.4,行程编码,6.5,LZW,编码,6.6,算术编码,6.7,预测编码,6.8,图像编码的国际标准,主 要 内 容,3,6.1,图像编码概述,6.1.1,图像编码技术的研究背景,6.1.2,图像编码基本原理,6.1.3,图像编码的方法,6.1.4,图像编码新技术,6.1.5,图像编码评价,4,6.1.1,图像编码技术的研究背景,通信方式的改变,文字,+,语音,图像,+,文字,+,语音,通信对象的改变,人与人人与机器，机器与机器,1.,信息传输方式发生了很大的改变,5,(a),彩色视频信息,对于电视画面的分辨率,640,480,的彩色图像，每秒,30,帧，则一秒钟的数据量为：,640,480,24,30 = 221.12Mbit,所以播放时，需要,221Mbps,的通信回路。,参考数据：宽带网为,512K,电话线为,56K,。,存储时，,1,张,CD,可存,640M,，,则仅可以存放,2.89,秒的数据。,2.,图像传输与存储需要的信息量空间,6,(b),传真数据,如果只传送,2,值图像，以,200dpi,的分辨率传输，一张,A4,稿纸的内容的数据量为：,3888768bit,按目前,14.4K,的电话线传输速率，需要传送的时间是：,270,秒（,4.5,分）,按每分钟,4,元计算：,18,元,由于通信方式和通信对象的改变带来的最大问题是：,传输带宽、速度、存储器容量的限制。,给我们带来的一个难题，也给了我们一个机会：,如何用软件的手段来解决硬件上的物理极限。,7,图像信息源,图像预处理,图像信源编码,信道编码,调制,信道传输,解调,信道解码,图像信源解码,显示图像,图像通信系统模型,8,1.,数字图像的冗余的概念,6.1.2,图像编码基本原理,你的妻子,，,Helen,，,将于明天晚上,6,点零,5,分在上海的虹桥机场接你。,(,23,2+10=56,个半角字符,),你的妻子将于明天晚上,6,点零,5,分在虹桥机场接你。,(20,2+3=43,个半角字符）,Helen,将于明晚,6,点在虹桥接你。,(10,2+7=27,个半角字符）,结论：,只要接收端不会产生误解，就可以减少承载信息的数据量。,9,描述语言,(1),“,这是一幅,2,2,的图像，图像的第一个像素是红的，第二个像素是红的，第三个像素是红的，第四个像素是红的,”,。,(,2),“,这是一幅,2,2,的图像，整幅图都是红色,”,。,由此我们知道，整理图,像的描述方法可以达到,压缩的目的。,10,图像冗余无损压缩的原理,RGB,RGB,RGB,RGB,RGB,RGB,RGB,RGB,RGB,RGB,RGB,RGB,RGB,RGB,RGB,RGB,16,RGB,从,原来的,16,3,8=384bits,压缩为,:(,1+3),8=32bits,11,图像冗余有损压缩的原理,36,35,34,34,34,34,34,32,34,34,33,37,30,34,34,34,34,34,34,34,34,35,34,34,31,34,34,34,34,34,34,34,34,34,34,34,34,34,34,34,34,34,34,34,34,34,34,34,34,34,25,34,12,空间冗余,：图像内部相邻像素之间存在较强的相关性,所造成的冗余。,时间冗余,： 视频图像序列中的不同帧之间的相关性,所造成的冗余。,视觉冗余,： 是指人眼不能感知或不敏感的那部分图,像信息。,2.,数字图像冗余的分类,13,信息熵冗余：,也称编码冗余，如果图像中平均每个像素使用 的比特数大于该图像的信息熵，则图像中存在冗余，这种冗余称为信息熵冗余。,结构冗余：,是指图像中存在很强的纹理结构或自相似性。,知识冗余：,是指在有些图像中还包含与某些先验知识有关的信 息。,图像编码的目的：,充分利用图像中存在的各种冗余信息，特别是空间冗余、时间冗余以及视觉冗余，以尽量少的比特数来表示图像。,14,有损压缩：,存在信息损耗，不能精确重建原始图像，存在一定程度的失真。包括哈夫曼编码、行程编码和算术编码,无损压缩：,不存在信息损失，解压缩时能够从压缩数据精确地恢复原始图像。包括预测编码、变换编码等等。,6.1.3,图像编码的方法,1.,根据编码过程,是否存在信息损耗,15,熵编码：,基于信号统计特性的编码技术，无损编码。基本原理是给,出现概率较大,的符号赋予一个短码字，而给,出现概率较小,的符号赋予一个长码字，从而使得最终的平均码长很小。包括行程编码（,Run Length Encoding,）、,哈夫曼编码和算术编码等。,预测编码：,基于图像数据的空间或时间冗余特性，用相邻的已知像素（或像素块）来预测当前像素（或像素块）的取值，然后再对预测误差进行量化和编码。可分为帧内预测和帧间预测，常用的预测编码有差分脉码调制（,Differential Pulse Code Modulation,，,DPCM,）,和运动补偿法。,2.,根据编码原理,16,变换编码：,是将空间域上的图像经过正交变换映射到另一变换域上，使变换后的系数之间的相关性降低。,图像变换本身,并不能压缩数据，但变换后图像的大部分能量只集中到少数几个变换系数上，采用适当的量化和熵编码就可以有效地压缩图像。,混合编码：,混合编码是指综合了熵编码、变换编码或预测编码的编码方法，如,JPEG,标准和,MPEG,标准。,17,信息保持编码,： 也称无失真编码， 它要求在编解码过程中保证图像信息不丢失，从而可以完整地重建图像。,保真度编码,：利用人眼的视觉特性，在允许的失真（,Lossy,）,条件下或一定的保真度准则下，最大限度地压缩图像。,特征提取,： 在图像识别、分析和分类等技术中，往往并不需要全部图像信息，而只要对感兴趣的部分特征信息进行编码即可压缩数据。,3.,根据对压缩编码后的图像进行重建的准确程度,18,6.1.4,图像编码新技术,分形编码,（,Fractal Coding,）,:,最大限度地利用了图像在空间域上的自相似性（即局部与整体之间存在某种相似性），通过消除图像的几何冗余来压缩数据。,小波编码,（,Wavelet Coding,）：经过小波变换后的图像，具有良好的空间方向选择性，而且是多分辨率的，能够保持原图像在各种分辨率下的精细结构，与人的视觉特性十分吻合。,模型编码,（,Model Based Coding,),：,在编、解码两端分别建立起相同的模型，编码时利用先验模型抽取图像中的主要信息并用模型参数的形式表示，解码时则利用所接收的模型参数重建图像。,19,6.1.5,图像编码评价,1.,算法的编码效率,2.,编码图像的质量,3.,算法的适用范围,4.,算法的复杂程度,一般来说，评价图像压缩算法的优劣主要有以下,4,个参数：,20,R,平均码字长度,r,图像的压缩比（,rate,）,bps,每秒钟所需的传输比特数（,bits per second,）,图像熵与平均码长之比,1.,算法的编码效率,21,设一幅灰度级为,N,的图像，图像中第,k,级灰度出现的概率为,P,k,，,图像大小为,N,x,N,y,，,每个像素用,d,比特表示，每两帧图像间隔,t,。,对于一种图像编码方法，设第,k,级灰度的码字长度为,B,k,，,则该,图像的平均码字长度,R,为：,则按信息论中信息熵的定义，则数字图像的熵,H,为：,由此可见，图像熵,H,表示各灰度级比特数的统计平均值。,22,编码效率,为：,每秒钟所需的传输比特数,bps,为 ：,压缩比,r,为：,由于同一压缩算法对不同图像的编码效率会有所不同，因此常需定义一些,“,标准图像,”,，一般通过测量不同压缩算法对同一组,“,标准图像,”,的编码性能来评价各图像压缩算法的编码效率。,23,2.,编码图像的质量,图像质量评价可分为：客观质量评价和主观质量评价。,最常用的客观质量评价指标是：均方误差（,MSE,）,和峰值信噪比（,PSNR,）。,24,主观质量评价,是指：由一批观察者对编码图像进行观察并打分，然后综合所有人的评判结果，给出图像的质量评价。,客观质量评价,能够快速有效地评价编码图像的质量，但符合客观质量评价指标的图像不一定具有较好的主观质量。主观质量评价能够与人的视觉效果相匹配，,但其评判过程缓慢费时。,25,特定的图像编码算法具有其相应的适用范围， 并不对所有图像都有效。一般说来， 大多数基于图像信息统计特性的压缩算法具有较广的适用范围， 而一些特定的编码算法的适用范围较窄， 如分形编码主要用于自相似性高的图像。,3.,算法的适用范围,26,算法的复杂度,即指完成图像压缩和解压缩所需的运算量和硬件实现该算法的难易程度。优秀的压缩算法要求有较高的压缩比，压缩和解压缩快，算法简单，易于硬件实现，还要求解压缩后的图像质量较好。选用编码方法时一定要考虑图像信源本身的统计特性、多媒体系统,(,硬件和软件产品,),的适应能力、 应用环境以及技术标准。,4.,算法的复杂程度,27,6.1,图像编码概述,6.2,哈夫曼编码,6.3,香农,-,范诺编码,6.4,行程编码,6.5,LZW,编码,6.6,算术编码,6.7,预测编码,6.8,图像编码的国际标准,主 要 内 容,28,6.2,哈夫曼编码,1.,哈夫曼编码的理论基础,RH,总可设计出一种无失真编码。,R,H,时，表明该编码方法效率很低；,R,等于或很接近于,H,时,最佳编码，无失真,R 0,）,时，采用香农,-,范诺编码同样能够达到,100%,的编码效率。香农,-,范诺编码的理论基础是符号的码字长度,N,i,完全由该符号出现的概率来决定，即,式中，,D,为编码所用的数制。,44,香农,-,范诺编码的步骤如下：,（,1,） 将信源符号按其出现概率从大到小排序； ,（,2,） 计算出各概率对应的码字长度,N,i,；, （,3,）,计算累加概率,A,i,，,即,A,i,=A,i-1,+P,i-1,i=1, 2, , N-1,；,A,0,=0,（,4,）,把各个累加概率,A,i,由十进制转化为二进制，取该二进制数的前,N,i,位作为对应信源,符号的码字。,45,香农,-,范诺编码,46,二分法香农,-,范诺编码方法,:,（,1,）,首先统计出每个符号出现的概率；,（,2,）,对上述概率从大到小排序；,（,3,）从这个概率集合中的某个位置将其分为两个子集合，并尽量使两个子集合的概率和近似相等，给前面一个子集合赋值为,0,， 后面一个子集合赋值为,1,；,（,4,） 重复步骤,3,，直到各个子集合中只有一个元素为止；,（,5,） 将每个元素所属的子集合的值依次串起来，即可得到各个元素的香农,-,范诺编码。,47,二分法香农,-,范诺编码,48,6.1,图像编码概述,6.2,哈夫曼编码,6.3,香农,-,范诺编码,6.4,行程编码,6.5,LZW,编码,6.6,算术编码,6.7,预测编码,6.8,图像编码的国际标准,主 要 内 容,49,6.4,行 程 编 码,将具有相同值的连续串用其串长和一个代表值来代替，,该连续串就称为行程，串长称为行程长度。,例如,aaaa,bbb,cc,d,eeeee,fffffff,(,共,22,8=176 bits,),4,a,3,b,2,c,1,d,5,e,7,f,(,共,12,8=96 bits,),1.,行程编码基本原理和方法,行程编码,行程长度编码（,Run Length Encoding,，,RLE,）,50,定长编码,：编码的行程长度所用的二进制位数固定。,变长行程编码,：对不同范围的行程长度使用不同位数的二进制位进行编码。使用变长行程编码需要增加标志位来表明所使用的二进制位数。,2.,行程编码的分类,3.,行程编码的应用,1),行程编码比较适合于二值图像的编码，一般用于量化后出现大量零系数连续的场合，用行程来表示连零码。,2),如果图像是由很多块颜色或灰度相同的大面积区域组成的，那么采用行程编码可以达到很高的压缩比。,3),如果图像中的数据非常分散，则行程编码不但不能压缩数据，反而会增加图像文件的大小。这时一般和其他编码结合使用。,51,传真件中一般都是白色比较多，而黑色相对比较少。所以可能常常会出现如下的情况：,600w 3b 100w 12b 4w 3b 200w,上面的行程编码所需用的字节数为：,7,因为：,5126001024,所以：计数值必须用,10bit,来表示,10,7=70bit,在传真中的应用,52,现在我们就希望对其有一个改善。,白色：,10bit,，,黑色：,4bit,600W 3b 100w 12b 4w 3b 200w,所需字节数为：,4,10+3,4=52bit,比原来的方式,10,7=70bit,减少了,18bit,53,PCX,文件：,文件头图像压缩数据,256,色调色板。,文件头全长,128,字节，包含了图像的大小和颜色以及,PCX,文件的版本标识等信息,图像压缩数据紧跟在文件头之后。按颜色平面和扫描行存储。,如果没有使用调色板， 那么图像压缩数据存储的是实际像素值；否则，存储的是调色板的索引值。,4. PCX,文件中的行程编码,PCX,格式,是,ZSOFT,公司在开发图像处理软件,Paintbrush,时开发的一种格式，,基于,PC,的绘图程序的专用格式，一般的桌面排版、图形艺术和视频捕获软,件都支持这种格式。,PCX,支持,256,色调色板或全,24,位的,RGB,，图像大小最,多达,64K,64K,像素。不支持,CMYK,或,HSI,颜色模式，,photoshop,等多种图像,处理软件均支持,PCX,格式。,PCX,压缩属于,无损压缩。,54,1),图像数据以字节为单位进行编码的，每行填充到偶数字节,.,2),Pcx,文件规定编码时的最大行程长度为,63,，如果行程长度大于,63,，则必须分多次存储。对于长度大于,1,的行程，编码时先存入其行程长度（长度,L,加上,192,即,0xC0,），,再存入该行程的代表值，行程长度和行程的代表值分别占一字节。,3),如果遇到不重复的像素值，如果该像素值小于等于,0xC0,则直接存入该像素值。否则首先存入一个,0xC1,然后再存入该像素值。这样做是为了避免该像素值被误认为是数据长度。,4),对于连续重复的像素值，统计其连续出现的次数,iCount,（,最大取值为,63,），先存入长度信息（,iCount,| 0xC0),然后再存入像素值。如果连续次数超过,63,次，则必须分多次处理。例如，连续,132,个,0x98,，,编码时必须分三次处理，编码结果为：,0xFF 0x98 0xFF 0x98 0xC6 0x98,。,编码原则,：,55,从压缩数据部分读取一个字节，判断该值是否大于,0xC0,如果大于,0xC0,，,则表明该字节是行程长度信息， 取其低六位（相当于减去,0xC0,）,作为行程长度,L,，,读取下一个字节作为像素值并重复,L,次存入图像数据缓冲区,如果小于等于,0xC0,，,直接将该字节存入图像数据缓冲区。,256,色,PCX,文件解码,:,虽然几乎所有的图像应用软件都支持,PCX,文件格式，但由于它的压缩比不高， 因而现在用得不是很多。,56,6.1,图像编码概述,6.2,哈夫曼编码,6.3,香农,-,范诺编码,6.4,行程编码,6.5,LZW,编码,6.6,算术编码,6.7,预测编码,6.8,图像编码的国际标准,主 要 内 容,57,6.5 LZW,编码,LZW,（,Lempel-Ziv & Welch,）,又称字串表编码， 无损编码。,LZW,编码与行程编码类似，也是对字符串进行编码从而实现压缩，但它在编码的同时还生成了特定字符串以及与之对应的索引字符串表。,58,对文件进行编码的同时，生成了特定字符序列的表以及它们对应的代码。比如,8,位图像编成,12,位码，除了,256,代表原来,8,位字符，其他代码分配给在压缩过程中出现的字符串。（如字符对）,当表中没有的字符串第一次出现的时候，原样保存，同时将分配它的代码也一起保存。只有如果这个字符串再次出现，只存储代码。,字符串表在压缩中动态生成，而且也不用存储，解压时可以由压缩文件中信息重构它。,LZW,编码原则：,59,GIF,（,Graphics Interchange Format,）,是由,CompuServe,公司开发的一种压缩位图格式。它可支持多达,256,种的颜色，具有极佳的压缩效率，已成为,Internet,上一种流行的文件格式。,GIF,图像文件采用的是一种改良的,LZW,压缩算法， 通常称为,GIF-LZW,压缩算法。,GIF-LZW,压缩编码,60,S1,、,S2,两个存放字符串的临时变量,LZW_CLEAR,字符表初始化标志,LZW_EOI,编码结束标志,设：,（,1,） 根据图像中使用的颜色数初始化一个字串表，字串表中的每个颜色对应一个索引。在初始字串表的末尾再添加两个符号（,LZW_CLEAR,和,LZW_EOI,）,的索引。设置字符串变量,S1,、,S2,并初始化为空。,（,2,） 接着输出,LZW_CLEAR,在字串表中的索引。,编码步骤：,61,（,3,）从图像数据流中第一个字符（假设数据以字符串表示）开始， 每次读取一个字符，将其赋给字符串变量,S2,。,（,4,）,判断“,S1+S2”,是否已存在于字串表中。如果字串表中存在“,S1+S2”,，则,S1=S1+S2,；,否则，,输出,S1,在字串表中的索引,， 并在字串表末尾为“,S1+S2”,添加索引,，同时，,S1=S2,。,（,5,）重复第,3,和第,4,步， 直到所有字符读完为止。,（,6,）输出,S1,中的字符串在字串表中的索引， 然后输出结束标志,LZW_EOI,的索引，编码完毕。,62,GIF-LZW,解码流程,63,设有一来源于,4,色（以,a,、,b,、,c,、,d,表示）图像的数据流,aabcabbbbd,，,现对其进行,LZW,编码。编码过程如下：,编码前，首先需要初始化一个字符串表。,LZW,编码实例,字符串,索引,a,0 H,b,1 H,c,2 H,d,3 H,LZW_CLEAR,4 H,LZW_EOI,5 H,64,GIF-LZW,编码过程,b,编码结果：,4001271B35,（,十六进制表示）,65,GIF-LZW,解码过程,66,6.1,图像编码概述,6.2,哈夫曼编码,6.3,香农,-,范诺编码,6.4,行程编码,6.5,LZW,编码,6.6,算术编码,6.7,预测编码,6.8,图像编码的国际标准,主 要 内 容,67,6.6,算 术 编 码,基于信源概率统计特性的固定编码模式,针对未知信源概率模型的自适应模式,基本原理：,将被编码的数据序列表示成,0,和,1,之间的一个间隔（即一个小数范围），该间隔的位置与输入数据的概率分布有关。,算术编码有两种模式：,68,例：,设一待编码的数据序列（即信源）为“,dacab,”,，,信源中各符号出现的概率依次为,P(a)=0.4,，,P(b)=0.2,，,P(c)=0.2,，,P(d)=0.2,。,首先，数据序列中的各数据符号在区间,0, 1,内的间隔（赋值范围）设定为,a,=,0, 0.4,）,b,=,0.4, 0.6,）,c,=,0.6, 0.8,）, d=,0.8, 1.0,）,Start,N,=,Start,B,+Left,C,L,End,N,=,Start,B,+Right,C,L,69,第一个被压缩的符号为“,d,”,，,其初始间隔为,0.8, 1.0),；,第二个被压缩的符号为“,a,”,，,由于前面的符号“,d,”,的取值区间被限制在,0.8, 1.0),范围内，所以“,a,”,的取值范围应在前一符号间隔,0.8, 1.0),的,0, 0.4),子区间内， 根据上式可知 ：,Start,N,=0.8+0(1.0-0.8)=0.8,End,N,=0.8+0.4(1.0-0.8)=0.88,即“,a,”,的实际编码区间在,0.8, 0.88),之间。,70,第三个被压缩的符号为“,c,”,，,其编码取值范围应在,0.8, 0.88),区间的,0.6, 0.8),的子区间内，据上式可知,第四个被压缩的符号为“,a,”,，,其编码取值范围应在,0.848, 0.864),区间的,0, 0.4),的子区间内,Start,N,=0.848+0(0.864-0.848)=0.848,End,N,=0.848+0.4(0.864-0.848)=0.8544,71,第五个被压缩的符号为“,b,”,，,其编码取值范围应在,0.848,，,0.8544 ),区间的,0.4, 0.6),的子区间内,Start,N,=0.848+0.4(0.8544-0.848)=0.85056,End,N,=0.848+0.6(0.8544-0.848)=0.85184,至此，数据序列“,dacab,”,已被描述为一个实数区间,0.85056, 0.85184,，或者说在此区间内的任一实数值都惟一对应该数据序列。这样，就可以用一个实数表示这一数据序列。我们把区间,0.85056, 0.85184,用二进制形式表示为,0.110110011011, 0.110110100001,。,72,在这个区间中，,0.1101101,位于这个区间内并且其编码最短， 故把其作为数据序列“,dacab,”,的编码输出。考虑到算术编码中任一数据序列的编码都含有“,0.”,，所以在编码时，可以不考虑“,0.”,，于是把,1101101,作为本例中的数据序列的算术编码。由此可见，数据序列“,dacab,”,用,7,比特的二进制代码就可以表示，平均码长为,1.4,比特字符。,73,6.1,图像编码概述,6.2,哈夫曼编码,6.3,香农,-,范诺编码,6.4,行程编码,6.5,LZW,编码,6.6,算术编码,6.7,预测编码,6.8,图像编码的国际标准,主 要 内 容,74,6.7,预测编码,预测：,根据过去时刻的样本序列，采用一种模型预测当前的样本值,;,预测编码的基本思想：,通过仅提取每个象素中的新信息并对它们编码来消除象素间的相关性和冗余性。,1,个象素的新信息,该象素的当前或现实值与预测值的差。,前提：,象素间具有相关性。,1.,无损预测编码,2.,有损预测编码,75,输入图像,预测器,整数舍入,符号编码器,f,n,+,-,e,n,压缩图像,1.,无损预测编码,预测器,符号解码器,f,n,+,e,n,压缩图像,+,解压图像,76,2.,有损预测编码,输入图像,预测器,符号编码器,f,n,+,-,e,n,压缩图像,量化器,+,+,预测器,符号编码器,+,压缩图像,+,解压图像,77,6.1,图像编码概述,6.2,哈夫曼编码,6.3,香农,-,范诺编码,6.4,行程编码,6.5,LZW,编码,6.6,算术编码,6.7,预测编码,6.8,图像编码的国际标准,主 要 内 容,78,6.8,图像编码的国际标准,1.,静止图像压缩标准,JPEG,2.,运动图像压缩标准,MPEG,近十年来，图像编码技术得到了迅速发展和广泛应用，并且日臻成熟，其标志就是几个图像压缩国际标准的制定。即关于静止图像的编码标准,JPEG,和,JPEG2000,、,关于电话,/,会议电视的视频编码标准,H.261,H.263,和关于活动图像的编码标准,MPEG-1,，,MPEG-2, MPEG-4,和,H.264,等。,JPEG (Joint Photographic Expert Group); MPEG (Motion Picture Experts Group),79,图像压缩国际标准,标准,标题,起止,日期,目标,比特率,应用场合,主要,编码技术,JPEG,连续,色调,静态,图像,1986.3,1992.10,压缩比为,2,30,因特网,数字照相,图像,/,视频,编辑,DCT,知觉量化,霍夫曼编码,算术编码,JPEG2000,新一代静态图,像编码标准,1996.2,2000.12,压缩比为,2,50,因特网,移动通信,数字照相,遥感,传真,数字图书馆,JPEG,所有技术,小波变换,EBCOT,ROI,编码,可扩展编码,80,标准,标题,目标,比特率,应用场合,主要,编码技术,MPEG-1,运动图像,及其伴音,不超过,1.5Mb/s,光盘存储,VCD,视频监控,JPEG,所有技术,自适应量化,运动补偿预测,MPEG-2,运动图像,及其伴音,1.535Mb/s,数字高清,晰度电视,高品质视频,卫星,/,有线电视,地面广播,MPEG-1,所有技术,基于帧,/,场的,运动补偿,扩展编码,容错编码,81,标准,标题,目标,比特率,应用场合,主要,编码技术,MPEG-4,音视频,对象的,通用编码,8kb/s35Mb/s,因特网,交互式视频,2D/3D,计算机图形,移动通信,MPEG-2,所有技术,小波变换,运动估计,/,补偿,可扩展编码,位图形状编码,对象编码,动态网络编码,MPEG-7,多媒体,描述接口,多媒体数据库等,MPEG-21,多媒体,框架,82,标准,标题,目标,比特率,应用场合,主要,编码技术,H.261,P,64kb/s,的音视频,服务,P,64kb/s,(,P,取值,:,1,30),ISDN,视频会议,DCT,自适应量化,运动补偿预测,运动估计,霍夫曼编码,H.263,低比特率,通信的,视频编码,8kb/s,1.5Mb/s,POTS,视频电话,桌面视频电话,移动视频电话,H.261,所有技术,双向运动补偿,半像素运动估计,高级运动估计,重叠运动补偿,算术编码,83,JPEG,（,joint picture expert group,）,面向静态图像编码的标准。,在相同图像质量条件下，,JPEG,文件拥有比其他图像文件格式更高的压缩比。,JPEG,目前被广泛应用于多媒体和网络程序中，是现今万维网中使用最广泛的两种图像文件格式之一。,JPEG,是一种有损压缩， 即在压缩过程中会丢失数,据，每次编辑,JPEG,图像后，图像就会被重复压缩一次，损失就会有所增加。,1.,静止图像压缩标准,JPEG,84,1,）顺序式（,Sequential,）,DCT,方式,2,）渐进式（,Progressive,）,DCT,方式,JPEG,允许的四种编码模式：,频谱选择法,逐次逼近法,3,）无失真（,Lossless,）,方式,4,）分层（,Hierarchical,）,方式,85,1,） 顺序式（,Sequential,）,DCT,方式：,从左到右、从上到下对图像顺序进行基于离散余弦变换（,DCT,）的编码。,DCT,理论上是可逆的，但在计算时存在误差，因而基于,DCT,的编码模式是一种有损编码。,2,） 渐进式（,Progressive,）,DCT,方式：,基于,DCT,，对图像分层次进行处理，从模糊到清晰地传输图像（与,GIF,文件的交错方式类似）。有两种实现方法，一种是频谱选择法，即按,Z,形扫描的序号将,DCT,量化序数分成几个频段，每个频段对应一次扫描， 每块均先传送低频扫描数据，得到原图概貌，再依次传送高频扫描数据，使图像逐渐清晰；另一种是逐次逼近法，即每次扫描全部,DCT,量化序数，但每次的表示精度逐渐提高。,86,3,） 无失真（,Lossless,）方式：,使用线性预测器，如,DPCM,， 而不是基于,DCT,。,4,） 分层（,Hierarchical,）方式：,在空间域将源图像以不同的分辨率表示，每个分辨率对应一次扫描， 处理时可以基于,DCT,或预测编码，可以是渐进式，也可以是顺序式。,87,1,）,基本系统（,Baseline System,）,2,）,扩展系统（,Extended System,）,3,）,无失真压缩系统（,Lossless System,）,一个符合,JPEG,标准的编解码器至少要满足基本系统的技术指标。 基本的,JPEG,算法属于变换类编码，下面针对基于,DCT,的顺序式基本系统编码来说明,JPEG,的编码方法。,JPEG,定义了三种系统：,88,JPEG,编码,/,解码的流程图,89,1,） 数据分块,将图像从,RGB,空间转换到,YC,b,C,r,空间。,将每个分量图像分割成不重叠的,88,像素块,DU,（,Data Unit,）。,在,YC,b,C,r,空间中压缩图像的每个彩色分量。,二次采样,采用不同的采样频率对图像采样。由于亮度比色彩更重要，因而对,Y,分量的采样频率可高于对,C,b,、,C,r,的采样频率，这样有利于节省存储空间。,90,把采样频率最低的分量图像中一个,DU,所对应的像区上覆盖的所有各分量上的,DU,按顺序编组为一个,最小编码单元,（,MCU,）。,对灰度图像而言，只有一个,Y,分量，,MCU,就是一个数据单元。,对彩色,图像而言，以,4:1:1,的采样方案为例，则一个,MCU,由,4,个,Y,分量的,DU,、,1,个,C,b,分量的,DU,和,1,个,C,r,分量的,DU,组成。,91,以,MCU,为单位顺序将,DU,进行二维离散余弦变换。,对以无符号数表示的具有,P,位精度的输入数据， 在,DCT,前要减去,2,P,-1,，,转换成有符号数，而在,IDCT,后，应加上,2,P,-1,，,转换成无符号数。,对每个,88,的数据块,DU,进行,DCT,后， 得到的,64,个系数代表了该图像块的频率成分，其中低频分量集中在左上角， 高频分量分布在右下角。系数矩阵左上角的叫做直流（,DC,）,系数，它代表了该数据块的平均值，其余,63,个叫交流（,AC,）,系数。,2,）,DCT,处理,92,在,DCT,处理中得到的,64,个系数中，低频分量包含了图像亮度等主要信息。在从空间域到频域的变换中，图像中的缓慢变化比快速变化更易引起人眼的注意，所以在重建图像时，低频分量的重要性高于高频分量。因而在编码时可以忽略高频分量，从而达到压缩的目的，,这也是量化的根据和目的。,3,） 系数量化,93,亮度量化表,色度量化表,94,DCT,系数量化后，构成一个稀疏矩阵，用,Z,（,Zigzag,）,形扫描将其变成一维数列，将有,利于熵编码。,Z,形扫描的顺序如图所示。,DCT,系数的,Z,形扫描顺序,4,）,Z,形扫描,95,DC,系数反映了一个,88,数据块的平均亮度，一般与相邻块有较大的相关性。,JPEG,对,DC,系数作差分编码，即用前一数据块的同一分量的,DC,系数作为当前块的预测值，再对当前块的实际值与预测值的差值作哈夫曼编码。,5,）,DC,系数编码,96,若,DC,系数的动态范围为,-1024,+1024,，则差值的动态范围为,-2047,+2047,。如果为每个差值赋予一个码字， 则码表过于庞大。,采用“前缀码（,SSSS,）,+,尾码”来表示。,前缀码指明了尾码的有效位数,B,，,可以根据,DIFF(DC,系数的差值,),从对应表中查出前缀码对应的哈夫曼编码。,尾码的取值取决于,DC,系数的差值和前缀码。如果,DC,系数的差值,DIFF,大于等于,0,，则尾码的码字为,DIFF,的,B,位原码；否则，取,DIFF,的,B,位反码。,97,经,Z,形排列后的,AC,系数，更有可能出现连续,0,组成的字符串，,行程编码将有利于压缩数据。,JPEG,将一个非零,DC,系数及其前面的,0,行程长度（连续,0,的个数）的组合称为一个事件。将每个事件编码表示为“,NNNN/SSSS+,尾码”，,NNNN0,行程的长度,SSSS,尾码的有效位数,B,（,即当前非,0,系数所占的比特数），如果非零,AC,系数大于等于,0,， 则尾码的码字为该系数的,B,位原码， 否则， 取该系数的,B,位反码。,6,）,AC,系数编码,98,2.,运动图像压缩标准,H.261,：,主要为电视会议等应用制订。也称,P64,标准。可允许通过,T1,线路（带宽为,1.544Mbit/s,）,以小于,150ms,的延迟传输运动视频。,MPEG-1,：,娱乐质量的视频压缩标准，主要用于数字媒体上压缩图像数据的储存和提取。,MPEG-2,：,用于视频传输的压缩标准，适用于从普通电视直到高清晰度电视的带宽范围。,MPEG-4,：,适应在窄带宽上对动态图像进行传输的要求。可对各种音频视频,AV,进行有效的编码，同时支持固定码流和变码流。,99,一、,MPEG-1,视频压缩标准,MPEG-1,是由ISO/IEC 于1991,年提出,的,，正式名称为“用于数字存储媒体的,1.5,Mbit/s,以下的活动图像及相关音频编码”（,ISO/IEC 11172,）。,其中的数字存储媒体包括光盘（CD），视频光盘（VCD），其中分配比特的方案是在1.5Mbps 的数据传输中1.2Mbps用于编码视频，256Kbps,用于立体声,。,MPEG-1,包括五个部分：,系统、视频、音频、一致性、及软件。,在,MPEG-1,只采用逐行扫描方式，采用,4,：,2,：,0,的亚采样格式，其源输入格式是,SIF,，有,352,288,25,和,352,288,30,两种格式。,100,MPEG-1,采用两种压缩方法：,帧内压缩算法,：,采用与,JPEG,压缩算法大致相同的方法，即基于,DCT,的变换编码技术，用以减少空间冗余信息。,帧间压缩算法：,采用运动补偿算法、预测编码方法、以及差补法等编码方法。帧间编码技术可以减少时间冗余信息。,101,MPEG,1,视频压缩编码算法,在,MPEG-1,编码中，为了支持随机访问与高效压缩的要求，定义了四种编码类型：,I,帧图像编码,(,帧内图像,),、,P,帧图像编码（预测图像）、,B,帧图像编码（差补图或双向预测图像）。,D,帧图像编码（直流分量图像）,这四种类型的帧按某种方式组织在一起就构成了,GOP,。,102,I,帧图像的编码,I,帧图像是利用图像的空间相关性进行压缩，其压缩编码采用类似,JPEG,压缩算法,同时,I,帧图像又是,P,帧图像和,B,帧图像的参考图像，所以,I,帧图像压缩率不高，压缩倍数在,8,倍左右。,帧内图像,I,不参照任何过去的或者将来的其它图像帧，压缩编码采用类似,JPEG,压缩算法：如果电视图像是用,RGB,空间表示的，则首先把它转换成,YC,r,C,b,空间表示的图像。每个图像平面分成,88,的图块，对每个图块进行离散余弦变换,DCT,。,DCT,变换后经过量化的交流分量系数后进行,Z,扫描，然后再使用无损压缩技术进行编码。,103,DCT,变换后经过量化的直流分量系数采用,差分脉冲编码,DPCM,，交流分量系数采用游程编码,RLE,，然后再采用霍夫曼,(Huffman),编码或者用算术编码。,104,P,帧图像的编码,P,帧图像是参考过去的,I,帧图像（帧内图像）或者过去的预测得到,P,帧图像用运动补偿预测技术进行编码，这些预测图像通常作为进一步预测的参考帧，预测图像的编码效率较高。,P,帧图像的编码也是以图像宏块为基本编码单元。预测编码的基础是运动估值，它将直接影响到整个系统的编码效率和压缩性能，因此希望找到一种预测精度高同时计算量又小的运动估值算法,。,105,P,帧编码时,编码器需要对每一个宏块作以下选择,:,(1),决定是否作运动补偿,(MC/No-MC),，即是将运动矢量发送出去，还是设其为,0,。在许多 情况下,使用非零的运动矢量并不比使用零值的运动矢量所形成的误差少多少。而非零运动矢量需要额外的编码比特，因此这 时可设运动矢量为,0,，这样可以提高编码效率。,(2),决定采用帧内编码还是帧间编码，即是采用帧内宏块编码还是利用运动矢量预测编码。在许多情况下，某些宏块采用帧内编码方式也许会用更少的比特。这通常发生在由于运动十分剧烈而导致运动估计失败的情况。,106,(3),决定宏块要不要编码。有时在量化后，宏块中所有的,DCT,系数都是,0,，这种宏块就不需要被编码。在对这种宏块解码时，只需要从过去的帧中把对应的宏块复制到这个宏块就行了。,(4),决定量化等级是否符合要求，是否需要改变。,107,B,帧图像的编码,B,帧图像,(,或称双向图,),在预测时，既可使用前向预测方式，也可使用后向预测方式，或同时使用双向预测后取平均方式（双向帧间预测），取决于哪一种方式下表示该宏块所需的信息量为最少。使用双向预测后，可以使那些在前一帧中预测不到的内容很好地在后一帧中预测到，而且通过预测后取平均，非常有效地减少了预测噪声的影响。它的压缩效率最高，但双向预测图像不作为预测的参考图像。,108,类似于,P,帧，,B,帧在编码前同样要作一系列的决定,其流程如下,:,(1),决定运动补偿模式，即前向，后向及插值 运动补偿中哪个能达到最佳。 宏块运动补偿模式的选择是基于代价函数的最小值。代价函数是运动补偿宏块和当前宏块的亮度差的均方误差。解码器通过一种简单的方法为前向运动补偿计算最佳运动补偿宏块。然后再为后向运动补偿计算最佳运动补偿宏块。最后再求两种运动补偿宏块的均值，从而产生宏块的插值。然后再选择它与当前宏块均方误差最小的方式。如果找不出最小值，就选取宏块插值方式。,109,(2),决定采用帧内,/,帧间编码。,即宏块类型是帧内编码还是使用运动矢量作运动补偿编码。计算方法和,P,帧的类似，解码器计算差分宏块和当前宏块的变化。如果两者的变化相同则选择非帧内编码,(,参考该节的流程序图分析,),。,(3),如果宏块类型是非帧内宏块，则要决定这个宏块是否编码，即残差是否大得足以采用,DCT,变换。解码器根据量化的结果选择编码与否,当所有量化系数都为零时,则这个块不用编码,.,如果宏块中没有编码的块,则这个宏块不需编码,否则该宏块需要编码。,(4),决定量化尺寸是否满足要求，是否需要改变尺寸。,110,D,帧编码,D,帧图像只包含有直流分量的图像，也称为直流图像，它是专门为快速播放和快速检索功能而设计的，但由于它不能作为其它帧的预测帧，一次使用不多。,111,二、,MPEG-2,视频压缩标准,MPEG-2,标准的发展始于,1990,年，其正式名称为“通用活动图像及其伴音编码”,(ISO/IEC 13818),。,MPEG-2,是一个通用多媒体编码标准，具有更为广阔的应用范围和更高的编码质量，其应用范围包括数字储存，高清晰数字电视，高质量视频通信。根据应用不同，,MPEG-2,的码率范围为,1.5,100,Mbit/s,。一般情况下，只有码率超过,4Mbit/s,的,MPEG-2,视频，其质量才能明显优于,MPEG-1,。,112,根据其档次与级别的不同，,MPEG-2,支持分辨率由高到低的多种图像类型，支持三种采样格式，即,4,：,2,：,0,、,4,：,2,：,2,、,4,：,4,：,4,。 可采用逐行扫描方式也可采用隔行扫描方式。,MPEG-2,采用不同档次与级别共,20,中组合，选取其中,11,中作为应用选择。,在应用方面与,MPEG-1,的不同之处在于，,MPEG-1,是为一台计算机的,CD,上以较低的码率存储和播放视频而定制的。,MPEG-2,用于高于,4Mbps,的码率的存储和播放更高质量的视频。,MPEG-2,标准制定初衷是为高清数字电视,HDTV,标准而开发的并可以用于其他方面。,113,从某种程度上来说，MPEG-2 可视为一组MPEG-1 的最高级编码标准，但其编码流程从本质上与MPEG-1,是相同的,。,MPEG-2,与,MPEG-1,编码的相同点：,I-,帧编码模式相同，都是采用,88,的,DCT,变换；,2) P,以及,B,帧都是采用半象素的运动补偿；,3),编码,MV,时所用的预测方法相同。,114,MPEG-2,与,MPEG-1,编码的不同点：,1.MPEG1,只处理逐行扫描的序列，而,MPEG2,的目标时支持高分辨率的隔行扫描的序列（,BT.601 = 4CIF,）；,2.,更先进的运动估计方法（帧,/,场预测模式）以提高隔行扫描序列的运动估计精度；,3.,针对隔行扫描序列开发了不同的,DCT,模式和扫描方法；,4.MPEG2,具有各种模式的可伸缩性；,5.MPEG2,具有不同级别和层次的方法，每个方法均可用于不同的应用。,115,数据分割：一个基本层和多个增强层。,基本层,可通过独立编码、传输和解码获得基本的传输质量；,增强层,的编码和解码依赖于基层及其之前的增强层。,116,三、,MPEG-4,视频压缩标准,MPEG-4,标准于,1999,年发布。它不仅针对一定比特率下