第8章图像压缩编码技术

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,2024/9/23,1,本章重点：,图像编码与压缩的基本概念、理论及其编码分类。,常用的无损压缩方法。,常用的有损压缩方法。,第,8,章 图像编码与压缩,2024/9/23,2,第,8,章 图像编码与压缩,图像压缩所解决的问题是尽量,减少,表示图像时需要的,数据量,。,减少数据量的基本原理是除去其中,多余的数据,。,从数学的观点来看，这个过程就是将二维阵列变换为一个在统计上无关联的数据集合。,这种变换在图像存储或传输之前进行。,在以后的某个时候，再对压缩图像进行解压缩来重构原图像或原图像的近似图像。,2024/9/23,3,8.1,图像编码的必要性与可能性,8.2,图像编码分类,8.3,图像编码评价准则,8.4,图像编码模型,8.5,无损压缩,8.6,有损压缩,8.7,JPEG,图像编码压缩标准,8.8,MPEG,视频编码压缩标准,8.9,小结,第,8,章 图像编码与压缩,2024/9/23,4,基础,术语,”,数据压缩,”,指减少表示给定,信息量,所需的,数据量,.,数据,是,信息,传送的手段,.,对相同数量的信息可以用不同数量的数据表示,.,如,同样一个故事,有人用简明扼要的语言讲清楚,有人啰里啰嗦才说清楚,.,故事是信息,词语是数据,.,与故事无关的词语就是冗余,.,称,”,数据冗余,”,2024/9/23,5,8.1,图像编码的必要性与可能性,8.1.1,图像编码的必要性,数字图像的庞大数据对计算机的,处理速度、存储容量,都提出过高的要求。因此必须把数据量压缩。,从,传送图像,的角度来看，则更要求数据量压缩。在信道带宽、通信链路容量一定的前提下，采用编码压缩技术，减少传输数据量，是提高通信速度的重要手段 。,2024/9/23,6,8.1.2,图像编码的可能性,组成图像的各像素之间，无论是在图像的行方向还是在列方向，都存在着一定的,相关性,。,常见的静态图像数据,冗余,包括：,空间冗余,结构冗余,知识冗余,视觉冗余,图像区域的相同性冗余,纹理的统计冗余等。,2024/9/23,7,数据,冗余,旅行中收到的一则电报：,-,你的妻子，,Helen,将于明天晚上,6,点零,5,分,在,波士顿,的,Logan,机场接你。,-,你的妻子将于明晚上,6,点零,5,分在,Logan,机场,接你。,-,Helen,将于明晚,6,点在,Logan,接你。,-,2024/9/23,8,图像的数据量,数据量,:H=S*B*N (8-1),S,是每帧的像素数,;,B,是每个像素的比特数,;,N,是每秒的帧数,静止图像,N=1.,如,:,一幅,512*512,256,灰度的图像,S=512*512,B=8,N=1,H=2Mbit.,一幅同样大小的,RGB(256,级,),图像,S=512*512,B=8*3,N=1,H=6Mbit.,运动图像,设,N=30,S=512*512, B=8,灰度时,:,H=60Mbit/s,彩色时,:B=8*3,H=180Mbit/s,2024/9/23,9,数据压缩,数据压缩之目的,-,节省存储空间,-,节省通信信道,数据压缩,-,利用数据固有的冗余性和不相干性，将一个,大的数据文件转换成较小的文件。,-,压缩的文件在需要时，以近似的方式将其恢复,(,解压缩,),。,2024/9/23,10,图像压缩,图像压缩是通过删除图像数据中冗余的或者不必要的部分来减小图像数据量的技术 。,图像数据文件中常包含着数量可观的冗余信息以及大量不相干的信息。,数字图像传输,-,可以多次中继而不会引起噪声的严重累积,-,和压缩编码技术结合，可以获得比模拟制更,高的通信质量,-,显著提高抗干扰能力,2024/9/23,11,编码和解码,为表示图像信息而进行的数据量压缩的方法,称为,图像编码,(image coding,picture coding).,尽量保持原图像信息中包含的本质信息而进行数据量压缩的操作称为,编码,(coding,encoding);,从被压缩的数据再现原图像信号,(,与原图像相似的图像,),的操作称为,解码,(decoding).,常把编码和解码统称为,“,编码,”,.,有时也用压缩和扩展的叫法来代替编码和解码,.,2024/9/23,12,8.2,图像编码分类,根据解码和编码的,误差,划分，图像编码分为,:,无误差,(,亦称无失真、无损、信息保持,),编码；,有误差,(,有失真或有损,),编码。,根据编码,作用域,划分，图像编码分为,:,空间域编码,变换域编码。,若从具体编码,技术,来考虑，又可分为,:,预测编码,变换编码,统计编码,轮廓编码,模型编码,2024/9/23,13,8.3,图像编码评价准则,在图像压缩编码中，解码图像与原始图像可能会有差异，因此，需要评价压缩后图像的质量。,描述解码图像相对原始图像偏离程度的测度一般称为,保真度,(,逼真度,),准则。,常用的准则可分为两大类：,客观,保真度准则,主观,保真度准则,2024/9/23,14,8.3.1,客观保真度准则,最常用的客观保真度准则是原图像,f(x,y),和解码图像,( ),之间的,均方根误差,和,均方根信噪比,两种。,均方根误差,:,均方信噪比,:,对上式求平方根，就得到均方根信噪比。,（,8-2,）,（,8-3,）,2024/9/23,15,8.3.2,主观保真度准则,具有相同客观保真度的不同图像，,人的视觉,可能产生不同的视觉效果。这是因为客观保真度是一种统计平均意义下的度量准则，对于图像中的细节无法反映出来。,一种常用的方法是对一组,(,不少于,20,人,),观察者显示图像，并将他们对该图像的评分取平均，用来评价一幅图像的,主观,质量。,2024/9/23,16,例如,表,8.1,电视图像质量评价尺度,。,评分,评价,说明,1,优秀,图像质量非常好，如同人能想象出的最好质量,2,良好,图像质量高，观看舒服，有干扰但不影响观看,3,可用,图像质量可以接受，有干扰但不太影响观看,4,刚可看,图像质量差，干扰有些妨碍观看，观察者希望改进,5,差,图像质量很差，几乎无法观看,6,不能用,图像质量极差，不能使用,表,8.1,电视图像质量评价尺度,2024/9/23,17,8.4,图像编码模型,一个图像压缩系统包括两个不同的结构块：,编码器和解码器,。,图像,f,（,x,，,y,）输入到编码器中，编码器可以根据输入数据生成一组符号。在通过信道进行传输之后，将经过编码的表达符号送入解码器，经过重构后，生成输出图像。,f,(x,y),信源,编码,信道,编码,信道,信道,解码,信源,解码,一个常用图像压缩系统模型,2024/9/23,18,8.4.1信源编码器和信源解码器,信源编码器的任务是减少或消除输入图像中的编码冗余、像素间冗余或心理视觉冗余等。,从原理来看主要分为三个阶段,:,第一阶段将输入数据转换为可以减少输入图像中像素间冗余的数据的集合。,第二阶段设法去除原图像信号的相关性 。,第三阶段是找一种编码方式 。,信源解码器包含两部分：,符号解码器,反向转换器,2024/9/23,19,编码器模型,f(x,y),转换器,量化器,符号编码器,信道,信道,符号解码器,反向转换器,（,a,）信源编码器,（,b,）信源解码器,编码和解码成对出现,但,量化器,不可逆,没有反向量化器,.,当希望无误差时,去掉量化器,.,2024/9/23,20,8.4.2,信道编码器和解码器,当,信道,带有噪声或易于出现错误时，信道编码器和解码器就在整个译码解码处理中扮演了重要的角色。,信道编码器和解码器通过向信源编码数据中,插入,预制的冗余数据来减少信道噪声的影响。,最有用的一种信道编码技术是由,R,w,Hamming,提出的。,这种技术是基于这样的思想，即向被编码数据中加入足够的位数以确保可用的码字间变化的位数最小。,用于校验,(,奇,-,偶,),以纠正错误,.,提高数据传输效率，降低误码率是信道编码的任务。信道编码的本质是增加通信的可靠性。但信道编码会使有用的信息数据传输减少，信道编码的过程是在源数据码流中加插一些码元，从而达到在接收端进行判错和纠错的目的，这就是我们常常说的开销。,2024/9/23,21,8.5无损压缩,无损压缩可以精确无误地从压缩数据中恢复出原始数据。,常见的无损压缩技术包括：,基于统计概率的方法,(,霍夫曼,算术编码,),；,基于字典的技术,(,游程编码, LZW,编码,),。,基于统计概率的方法是依据信息论中的变长编码定理和信息熵有关知识，,用较短代码代表出现概率大的符号，用较长代码代表出现概率小的符号,，从而实现数据压缩。,统计编码方法中具有代表性的是利用概率分布特性的著名的,霍夫曼,(Huffman),编码方法,另一种是算术编码。,2024/9/23,22,基于字典技术的数据压缩技术有两种：,一种是游,(,行,),程编码,(Running Length Coding),，简称为,RLC,，适用于灰度级不多、数据相关性很强的图像数据的压缩。但最不适用于每个像素都与它周围的像素不同的情况。,另一种称之为,LZW,编码 ，,LZW,在对数据文件进行编码的同时，生成了特定字符序列的表以及它们对应的代码。,2024/9/23,23,8.5.1霍夫曼编码,一个事件集合,x,1,x,2,x,n,处于一个基本概率空间，其相应概率为,p,1,p,2,p,n,，且,p,1,+,p,2,+,+p,n,=1,。每一个信息的信息量为,:,如定义在概率空间中每一事件的概率不相等时的平均不肯定程度或,平均信息量,叫作,熵,H,，则：,1.,理论基础,（,8-9,）,（,8-10,）,2024/9/23,24,熵是编码所需比特数的下限，即编码所需要最少的比特,。,例,:,设,8,个随机变量具有同等概率为,1/8,，计算信息熵,H,。,解,:,根据公式,8-10,可得,(a=2),：,H=8*-1/8*(log,2,(1/8),=8*-1/8*(-3),=,3,熵,2024/9/23,25,Huffman,编码是,1952,年由,Huffman,提出的一种编码方法。,这种编码方法根据信源数据符号发生的,概率,进行编码。,在信源数据中出现概率越大的符号，相应的码越短；,出现概率越小的符号，其码长越长，从而达到用尽可能少的码符号表示源数据。,它在变长编码方法中是最佳的。,2. Huffman,编码,2024/9/23,26,设信源,A,的信源空间为：,其中 ，现用,r,个码符号的码符号集,对信源,A,中的每个符号（,i,1,，,2,，,，,N),进行编码。,具体编码的方法是,:,(1),把信源符号按其出现概率的大小顺序排列起来；,(2),把最末两个具有最小概率的元素之概率,加起来,；,(3),把该概率之,和,同其余概率由大到小排队，然后再把两个最小概率加起来，再重新排队；,(4),重复,(2),和,(3),直到最后只剩下两个概率为止。,Huffman,编码具体方法：,2024/9/23,27,设有编码输入,X=x,1,x,2,x,3,x,4,x,5,x,6,。其频率分布分别为,P(x,1,)=0.4,，,P(x,2,)=0.3,，,P(x,3,)=0.1,，,P(x,4,)=0.1,，,P(x,5,)=0.06,，,P(x,6,)=0.04,，现求其最佳霍夫曼编码,W=w,1,w,2,w,3,w,4,w,5,w,6,解,:Huffman,编码过程下图所示：,符号 概率,x,1,0.4,x,2,0.3,x,3,0.1,x,4,0.1,x,5,0.06,x,6,0.04,1,0.4,0.3,0.1,0.1,0.1,2,0.4,0.3,0.2,0.1,3,0.4,0.3,0.3,4,0.6,0.4,例,:,2024/9/23,28,本例中对,0.6,赋予,0,，对,0.4,赋予,1,，,0.4,传递到,x,1,，所以,x,1,的编码便是,1,。,0.6,传递到前一级是两个,0.3,相加，大值是单独一个元素,x,2,的概率，小值是两个元素概率之和，每个概率都小于,0.3,，所以,x,2,赋予,0,，,0.2,和,0.1,求和的,0.3,赋予,1,。所以,x,2,的编码是,00,，而剩余元素编码的前两个码应为,01,。,0.1,赋予,1,，,0.2,赋予,0,。以此类推，最后得到诸元素的编码如下：,元 素,x,i,x,1,x,2,x,3,x,4,x,5,x,6,概 率,P(x,i,),0.4,0.3,0.1,0.1,0.06,0.04,编 码,w,i,1,00,011,0100,01010,01011,0,，,1,的顺序没有规定，所以编码不唯一。,2024/9/23,29,经霍夫曼编码后，平均码长为：,=,=0.4*1+0.30*2+0.1*3+0.1*4+0.06*5+0.04*5,=2.20(bit),该信源的熵为,H,2.14 bit,，编码后计算的平均码长为,2.2 bit,非常接近于熵。,可见,Huffman,编码是一种较好的编码。,2024/9/23,30,用二叉树方法实现,Huffman,编码方法较为便利，因此这种编码方法用于计算机数据结构的转换中。,Huffman,编码是最佳的，其平均码长相同，不影响编码效率和数据压缩性能。,由于,Huffman,码的码长参差不齐，因此，存在一个输入、输出速率匹配问题。解决的办法是设置一定容量的缓冲存储器,Huffman,码在存储或传输过程中，如果出现误码，可能会引起误码的连续传播,Huffman,编码对不同信源其编码效率也不尽相同。,Huffman,编码应用时，均需要与其他编码结合起来使用，才能进一步提高数据压缩比。,2024/9/23,31,2024/9/23,32,8.5.2,香农费诺编码,由于霍夫曼编码法需要多次排序，当,符号,很多时十分不便，为此费诺,(Fano),和香农,(Shannon),分别单独提出类似的方法，使编码更简单。具体编码方法如下：,把,x,1,x,n,按概率由大到小、从上到下排成一列，然后把,x,1,x,n,分成两组,x,1,x,k,x,k+1,x,n,， 并使得,把两组分别按,0,，,1,赋值。,然后分组、赋值，不断反复，直到每组只有一种输入为止。将每个所赋的值依次排列起来就是费诺,香农编码。,2024/9/23,33,以前面哈夫曼编码的例子进行香农费诺编码 ：,输入,概率,x,1,0.4,0,0,x,2,0.3,1,0,10,x,3,0.1,1,0,0,1100,x,4,0.1,1,1101,x,5,0.06,1,0,1110,x,6,0.04,1,1111,2024/9/23,34,8.5.3,算术编码,理论上，用,Huffman,方法对源数据流进行编码可达到最佳编码效果。但由于计算机中存储、处理的最小单位是,“,位,”,，因此，在一些情况下，实际压缩比与理论压缩比的极限相去甚远。,算术编码没有延用数据编码技术中用一个特定的代码代替一个输入符号的一般做法，,它把要压缩处理的整段数据映射到一段实数半开区间,0,，,1),内的某一区段，构造出小于,1,且大于或等于,0,的数值。,这个数值是输入数据流的唯一可译代码。,2024/9/23,35,例,对一个,4,符号信源,A,a,1,a,2,a,3,a,4,，各字符出现的概率和设定的取值范围如下,符号串为,a,1,a,2,a,3,a,2,a,4,编码过程：,字符 概率 范围,a,3,0.2,0.0,，,0.2,）,a,1,0.2,0.2,，,0.4,）,a,2,0.4,0.4,，,0.8),a,4,0.2,0.8,，,1.0),“,范围,”,给出了字符的赋值区间。这个区间是根据字符发生的概率划分的。具体把,a1,、,a2,、,a3,、,a4,分配在哪个区间范围，对编码本身没有影响，只要保证编码器和解码器对字符的概率区间有相同的定义即可。,2024/9/23,36,按上述区间的定义，若数据流的第一个字符为,a,1,，由字符概率取值区间的定义可知，代码的实际取值范围在,0.2,，,0.4),之间，即输入数据流的第一个字符决定了代码最高有效位取值的范围。,继续对源数据流中的后续字符进行编码。每读入一个新的符号，输出数值范围就进一步缩小。读入第二个符号,a,2,取值范围在区间的,0.4,，,0.8),内。由于第一个字符,a,1,已将取值区间限制在,0.2,，,0.4),的范围中，因此,a,2,的实际取值是在前符号范围,0.2,，,0.4),的,0.4,，,0.8),处，从而字符,a,2,的编码取值范围在,0.28,，,0.36),，而不是在,0,，,1),整个概率分布区间上。,2024/9/23,37,每输入一个符号，都将按事先对概率范围的定义，在逐步缩小的当前取值区间上确定新的范围上、下限。继续读入第三个符号,a,3,受到前面巳编码的两个字符的限制，它的编码取值应在,0.28,，,0.36),中的,0.0,，,0.2),内，即,0.28,，,0.296),。重复上述编码过程，直到输入数据流结束。最终结果如下：,输入字符 区间长度,L,范围,a1,0.2,0.2,，,0.4,）,a2,0.08,0.28,，,0.36,）,a3,0.016,0.28,，,0.296),a2,0.0064 0.2864,，,0.2928),a4,0.00128 ,0.29152,，,0.2928),随着字符的输入，代码的取值范围越来越小。可以用一个浮点数表示一个字符串，达到减少所需存储空间的目的。,参考,2024/9/23,38,参考,2024/9/23,39,2024/9/23,40,8.5.4,游程编码,游,(,行,),程编码,(RLC),是一种利用空间冗余度压缩图像的方法 ，属于统计编码类 。,(,对于二值图有效。,),设图像中的某一行或某一块像素经采样或经某种变换后的系数为,(x,1,x,2,x,M,),.,某一行或某一块内像素值可分为,k,段，长度为,L,i,的连续串，每个串具有相同的值，那么，该图像的某一行或某一块可由下面偶对,(g,i, L,i,),1=i=k,来表示,：,(x,1,x,2,x,M,),(g,1,L,1,),(g,2,L,2,),(g,k,L,k,),其中,g,i,为每个串内的代表值，,L,i,为串的长度。串长就是游程长度,(Run,length),，简写为,RL,，即由灰度值构成的数据流中各灰度值重复出现而形成的长度。如果给出了灰度值、对应长度及位置，就能很容易地恢复出原来的数据流。,2024/9/23,41,游程编码,游程编码的基本原理是：用一个符号值或串长代替具有相同值的连续符号（连续符号构成了一段连续的,“,行程,”,。行程编码因此而得名），使符号长度少于原始数据的长度。 例如：,5555557777733322221111111,行程编码为：（,5,，,6,）（,7,，,5,）（,3,，,3,）（,2,，,4,）（,1,，,7,）。可见，行程编码的位数远远少于原始字符串的位数。 在对图像数据进行编码时，沿一定方向排列的具有相同灰度值的像素可看成是连续符号，用字串代替这些连续符号，可大幅度减少数据量。,行程编码是连续精确的编码，在传输过程中，如果其中一位符号发生错误，即可影响整个编码序列，使行程编码无法还原回原始数据。,2024/9/23,42,游程编码分为,:,定长游程编码和,变长游程编码两类。,定长,游程编码是指编码的游程所使用位数是固定的，即,RL,位数是固定的。,如果灰度连续相同的个数超过了固定位数所能表示的最大值，则进入下一轮游程编码。,变长,游程编码是指对不同范围的游程使用不同位数的编码，即表示,RL,位数是不固定的。,2024/9/23,43,游程编码一般不直接应用于多灰度图像，但比较适合 于,二值图像,的编码。,为了达到较好的压缩效果，有时游程编码和其他一些编码方法混合使用。,RLC,比较适合二值图像数据序列，其原因是在二值序列中，只有,“,0,”,和,“,1,”,两种符号；这些符号的连续出现，就形成了,“,0,”,游程：,L(0),，,“,1,”,游程：,L(1),。,定义了游程和游程长度之后，就可以把任何二元序列变换成游程长度的序列，简称游程序列。这一变换是可逆的，一一对应的。,2024/9/23,44,8.5.5,无损预测编码,一幅二维静止图像，设空间坐标,(i,，,j),像素点的实际灰度为,f(i,j),，,是根据以前已出现的像素点的灰度对该点的预测灰度，也称预测值或估计值，计算预测值的像素，可以是同一扫描行的前几个像素，或者是前几行上的像素，甚至是前几帧的邻近像素。,实际值和预测值之间的,差值,，以下式表示：,（,8-13,）,2024/9/23,45,由图像的统计特性可知，相邻像素之间有着较强的相关性。因此，其像素的值可根据以前已知的几个像素来估计，即,预测,。,预测编码是根据某一模型，利用以往的样本值对于新样本值进行预测，然后将样本的实际值与其预测值相减得到一个误差值，对于这一,误差,值进行编码。,如果模型足够好且样本序列在时间上相关性较强，那么误差信号的,幅度,将远远,小于,原始信号。,对差值信号,不进行量化,而直接编码就称之为无损预测编码。,无损预测编码,2024/9/23,46,无损预测编码器的工作原理图 如下：,预测器,源图像,熵编码器,编码表,压缩源图像,2024/9/23,47,由先前三点预测可以定义为：,其中,a,1,，,a,2, a,3,称预测系数，都是待定参数。如果预测器中预测系数是固定不变的常数，称之为线性预测。,预测误差：,（,8-14,）,（,8-15,）,2024/9/23,48,设,a=f(i,j-1),，,b=f(i-1,j), c=f(i-1,j-1),， 的预测方法如下图所示，可有,8,种选择方法：,选择方法,预测值,0,非预测,1,a,c,b,2,b,a,x,3,c,4,a+b-c,5,a+(b-c)/2,6,b+(a-c)/2,7,(a+b)/2,2024/9/23,49,例：设有一幅图像，,f(i-1,j-1),f(i-1,j), f(i,j-1), f(i,j),的灰度值分别为,252,252,253,255,，用上图第,4,种选择方法预测,f(i,j),的灰度值，并计算预测误差。,解：,f(i,j) =a+b-c= f(i,j-1)+ f(i-1,j)- f(i-1,j-1)=253+252-252=253,预测误差,e(i,j)=f(i,j)-f(i,j) =255-253=2,显然，预测误差,e(i,j)=2,比像素的实际值,f(i,j)=255,小的多，对,2,进行编码比对,255,直接编码将占用更少的,比特位,。,2024/9/23,50,8,.6,有损压缩,有损编码是以,丢失,部分信息为代价来换取,高,压缩比。,有损压缩方法主要有,有损预测编码方法,变换编码方法等,2024/9/23,51,8.6.1有损预测编码,在预测编码中，对差值信号进行,量化,后再进行编码就称之为有损预测编码。,有损预测方法有多种，其中差分脉冲编码调制,(Differential Pulse Code Modulation,，简称,DPCM),，是一种具有代表性的编码方法。,2024/9/23,52,DPCM,系统由编码器和解码器组成，它们各有一个相同的预测器。,DPCM,系统的工作原理如下图所示,:,量化器,编码器,预测器,信道传输,解码器,输入,输出,预测器,2024/9/23,53,DPCM,系统,系统包括发送、接收和信道传输三个部分。,发送端由编码器、量化器、预测器和加减法器组成；,接收端包括解码器和预测器等；,信道传送以虚线表示。,图中输入信号,f,(,i,j,),是坐标,(,i,j,),处的像素的实际灰度值，,是由已出现先前相邻像素点的灰度值对该像素的预测灰度值。,e(i,j),是预测误差。,DPCM,包含量化器，这时编码器对,e,(i,j),编码，量化器导致了不可逆的信息损失，这时接收端经解码恢复出的灰度信号不是真正的,f,(,i,j,),，而是重建信号。,可见引入,量化器,会引起一定程度的信息损失，使图像质量,受损,。,但是可以利用人眼的视觉特性，丢失不易觉察的图像信息，不会引起明显失真 。,2024/9/23,54,8.6.2,变换编码,变换编码不是直接对空域图像信号编码，而是首先将图像数据经过某种正交变换到（如傅立叶变换,-DFT,，离散余弦变换,-DCT,，,K-L,变换等等）另一个正交矢量空间,(,称之为变换域,),，产生一批变换系数，然后对这些变换系数进行编码处理，从而达到压缩图像数据的目的。,2024/9/23,55,变换编码的原理 如下图：,图像数据经过正交变换后，空域中的总能量在变换域中得到保持，但像素之间的相关性下降，能量将会重新分布，并集中在变换域中少数的变换系数上，因此，选择少数,F(u,v),来重建图像就可以达到压缩数据的目的，并且重建图像仅引入较小误差。,变换多采用正交函数为基础的变换。,f(x,y),重建,f(x,y),图像,正交,变换,样本,选择,量化,编码,F(u,v),译码,数字,信道,2024/9/23,56,卡胡南,-,列夫变换（,K-L,）,-,基于特征向量的变换,对于,N,N,的矩阵,T,，有,N,个标量,i,，,i=1,2,N,能使,|T-,i,I|=0,则,i,叫做矩阵,T,的特征值。,另外，,N,个满足,TV,i,=,i,V,i,(,8-31,),的向量,V,i,叫做,T,的特征向量,V,i,是,N*1,维的，每个,V,i,对应一个特征值,i,。,这些特征向量构成一个正交基集。,设,X,是一个,N,1,的随机向量，,X,的每个分量都是,x,i,随机变量。,X,的均值（平均向量）可以由,L,个样本向量来估计向量,M,x,：,（,8-32,）,2024/9/23,57,协方差矩阵可以由式,8-33,来估计。,协方差矩阵是,实对称,的。对角元素是各随机变量的方差，非对角元素是它们的协方差。,定义一个线性变换,T,，它可由任何,X,向量产生一个新向量,Y=T(X-M,x,),（,8-34,）,式中，,T,的各行是,x,的特征向量，即,T,的行向量就是,x,的特征向量。为了方便，以相应的特征值大小递减来排列各行。,（,8-33,）,2024/9/23,58,这些也是,x,的特征值。,随机向量,Y,是由互不相关的随机变量组成的，因此线性变换,T,起到了消除变量间的相关性的作用。,式,8-35,被称为,Hotelling,变换,特征向量变换或主分量法,也被叫做,Karhunen-Loeve,变换,简称,K-L,变换,。,（,8-35,）,变换得到的,Y,是,期望为零,的随机向量。,Y,的协方差矩阵可以由,X,的协方差矩阵决定。式,8-35,：,因为,T,的各行是,x,的特征向量，故,y,是一个对角阵，对角元素是,x,的特征值。见式,8-36,Y,1,0,0,N,（,8-36,）,2024/9/23,59,特征向量变换是可逆的。即可用变换向量,Y,来重构向量,X:X=T,-1,Y+M,x,=T,T,Y+M,x,要实现对信号进行,K,L,变换，首先要求出矢量,x,的协方差矩阵,x,，再求协方差矩阵,x,的特征值,i,，然后求,对应的,x,的特征向量，再用,x,的特征向量构成正交矩阵,T,。,例,:,若已知随机矢量,x,的协方差矩阵为,求其正交矩阵,T,？,x,6 2 0,2 2,1,0,1 1,2024/9/23,60,1),按,求,x,的特征值,i,:,得,:,则可解得,: ,1,=6.854 ,2,=2 ,3,=0.146,2),求,i,对应的特征向量。将,1,，,2,，,3,代入,(8-31),中分别求得如下三个特征向量：,= = =,2024/9/23,61,用,V,1,，,V,2,，,V,3,的转置向量作为正交矩阵,T,的行向量，那么，对于任一均值为,0,的向量,X=(2,，,1,，,-0.1),的,K-L,变换为,:,则,Y,的协方差矩阵,y,为,:,Y=TX=,0.918 0.329,0.067,0.333,0.667 0.667,0.217 0.634 0.742,2,1,0.1,=,2.234,0.067,0.127,Y,=,T,X,T,T,=,6.854 0 0,0 2 0,0 0 0.146,2024/9/23,62,在数字图像压缩编码中，最佳变换,K-L,计算复杂，一般不采用。,由于,DCT,与,K-L,变换压缩性能和误差很接近，而,DCT,计算复杂度适中，又具有可分离特性，还有快速算法等特点，所以近年来在图像数据压缩中，采用离散余弦变换编码的方案很多。,JPEG,、,MPEG,、,H.261,等压缩标准，都用到离散余弦变换编码进行数据压缩。,余弦变换是傅立叶变换的一种特殊情况,。在傅立叶级数展开式中，如果被展开的函数是实偶函数，那么，其傅立叶级数中只包含余弦项，再将其离散化由此可导出余弦变换，或称之为离散余弦变换,DCT(Discrete Cosine Transform),。,离散余弦变换,(DCT),2024/9/23,63,二维离散偶,余弦正变换,公式为：,式中，,x,y,u,v,0,，,1,，,N-1,。,当,u=v=0,时。,当,u=1,，,2,，,，,N-1,；,v=1,，,2,，,，,N-1,时。,（,8-38,）,2024/9/23,64,二维离散偶,余弦逆变换,公式为：,式中,x,y,u,v,0,，,1,，,N-1,。,当,u=v=0,时。,当,u=1,，,2,，,，,N-1,；,v=1,，,2,，,，,N-1,时。,（,8-39,）,2024/9/23,65,二维离散余弦变换核具有可分离特性，所以，其正变换和逆变换均可将二维变换分解成系列一维变换,(,行、列,),进行计算。,在,DCT,为主要方法的变换编码中，一般不直接对整个图像进行变换，而是首先对图像分块，将,MN,的一幅图像分成不重叠的,M/K,N/K,个,KK,块分别进行变换。,这样做的好处主要体现在：,第一，降低运算量，如对一幅,512512,图像，分块变换仅需约,1,3,的运算量；,其次，后续的量化和扫描处理可以得到明显的简化；,第三，容易将传输误差引起的错误控制在一个块内，而不是整个图像扩散。分块大小通常选,8,8,和,16,16,。,2024/9/23,66,8.7 JPEG,图像编码压缩标准,JPEG(Joint Photographic Expert Group,，简称,JPEG),是联合图像专家小组的英文缩写。其中,“,联合,”,的含意是指，国际电报电话咨询委员会,CCITT,和国际标准化协会,(ISO),联合组成的一个图像专家小组。,JPEG,算法被确定为,JPEG,国际标准，它是国际上彩色、灰度、静止图像的第一个国际标准。,JPEG,标准适于,静态图像,的压缩，电视图像序列的帧内图像的压缩编码也常采用,JPEG,压缩标准。,2024/9/23,67,8.7.1 JPEG,的工作模式,JPEG,对每一个图像分量,单独编码,。,(,YCrCb,模型,),JPEG,对每个不同的图像分量可以采用不同的量化参数和熵编码的码表,对于一个图像分量，,JPEG,提供,4,种工作模式。,顺序,编码：每一个图像分量按从左到右，从上到下扫描，一次扫描完成编码。,累进编码：图像编码在多次扫描中完成。,无失真编码：解码后能精确地恢复源图像采样值，其压缩比低于有失真压缩编码方法。,分层编码：图像在多个空间分辨率进行编码。,2024/9/23,68,8.7.2,基本工作模式,基于,DCT JPEG,编码,的过程框图,88,块,编码器,DCT,正变换,量化器,熵编码器,量化表,熵编码,表,源图像数据,压缩的图像数据,2024/9/23,69,基本工作模式,解码,过程框图,解码器,逆变换,(IDCT),反量化器,熵解码器,量化表,熵编码表,恢复的图像,数据,压缩的图,像数据,2024/9/23,70,JPEG,采用的是,88,大小的子块的二维离散余弦变换,(,DCT,),。,在编码器的输入端,，把原始图像顺序地分割成一系列,88,的子块，设原始图像的采样精度为,P,位，是无符号整数，输入时把,0,，,2,P,范围的无符号整数变成,-2,P-1,，,2,P-1,-1,范围的有符号整数，以此作为离散余弦正变换的输入。,在解码器的输出端,经离散余弦逆变换,(,IDCT,),后，得到一系列,88,的图像数据块，需将其数值范围由,-2,P-1,，,2,P-1,-1,再变回到,0,，,2,P,范围内的无符号整数，来获得重构图像。,2024/9/23,71,为了达到压缩数据的目的，对,DCT,系数需作,量化,处理。,量化处理是一个多到一的映射，它是造成,DCT,编解码信息损失的根源,。,在,JPEG,中采用线性均匀量化器，量化定义为对,64,个,DCT,系数,除以,量化步长，,四舍五入取整,。,量化的作用是在一定的主观保真度图像质量前提下，丢掉那些对视觉效果影响不大的信息。,2024/9/23,72,例,:,给定,Lena,图像的一个平坦区域（,88,子块）如下：,69,71,75,79,84,89,91,69,70,73,76,83,90,95,77,74,76,74,85,89,95,71,73,76,79,86,91,93,74,77,77,82,88,91,93,78,76,80,84,88,92,95,76,78,80,85,93,94,95,74,79,81,85,86,94,94,给出,DCT,变换系数量化过程。,2024/9/23,73,如下是它的,DCT,变换系数，可以看到能量集中在少数低频系数,:,660.1250 47.0496 25.9980 10.3993 7.8750 8.4866 5.6025 1.3176,17.3267 2.6749 5.2236 1.3234 0.5222 0.2914 0.2800 2.281,0.0280 0.6463 0.9545 0.9620 2.4730 1.9783 0.316 2.1741,2.3003 0.4542 2.2403 3.5559 1.2907 1.0024 0.1580 0.9747,2.3750 0.1038 3.2220 0.9653 1.3750 2.2258 0.3875 3.5236,0.9294 1.3282 2.4256 0.9828 1.9317 0.6972 0.1253 1.856,0.3943 2.6640 0.5669 3.4168 0.8891 1.6182 2.545 1.732,2.1666 1.7238 0.3335 0.4808 2.6253 0.9699 1.4854 1.183,2024/9/23,74,用,JPEG,的,亮度量化表,对每个系数进行均匀量化，量化器输出为：,41 4 3 1 0 0 0 0,1 0 0 0 0 0 0 0,0 0 0 0 0 0 0 0,0 0 0 0 0 0 0 0,0 0 0 0 0 0 0 0,0 0 0 0 0 0 0 0,0 0 0 0 0 0 0 0,0 0 0 0 0 0 0 0,2024/9/23,75,反量化后，进行,DCT,反变换，得到的解码图像为：,80 75 71 72 78 85 89 90,80 75 71 72 78 85 89 90,80 76 72 73 79 86 90 91,81 77 72 74 80 87 91 92,82 77 73 74 81 87 91 93,83 78 74 75 81 88 92 93,83 79 75 76 82 89 93 94,84 79 75 76 82 89 93 94,2024/9/23,76,88,子块的,64,个变换系数经量化后，按直流系数,DC,和交流系数,AC,分成两类处理。,坐标,u=v=0,的直流系数,DC,实质上就是空域图像中,64,个像素的平均值。,相邻的,88,子块之间的,DC,系数有强的相关性，,JPEG,对,DC,系数采用,DPCM,编码，即对相邻块之间的,DC,系数的差值,DIFF,DC,i,- DC,i-1,编码。,DC,j-2,DC,j-1,DC,j,DC,j+1,DC,j+2,2024/9/23,77,其余,63,个系数称为交流系数（,AC,系数）采用行程编码。由于低频分量多呈圆环形辐射状向高频率衰减，因此可看成按,Z,字形衰减，如下图所示。因此，,AC,系数按,Z,字形扫描读数。,AC,0,DC,AC,0,AC,7,AC,7,2024/9/23,78,对这,63,个,AC,系数采用非常简单和直观的行程编码，行程编码采用两个字节表示。,符号,1(RUN,SIZE),符号,2(AMP),JPEG,使用,1,字节的高,4,位表示连续,“,0,”,的个数，而使用它的低,4,位来表示下一个非,“,0,”,系数所需要的位数，跟在它后面的是量化,AC,系数的数值。,AC,系数的行程编码如下图所示：,N,N,N,N,S,S,S,S,两个非零值间连续零个数,表示下一个非零值需要的比特数,第一个字节,下一个字节,(Run Length),(Size),下一个非零值的实际值,2024/9/23,79,为了进一步达到压缩数据的目的，可以对,DPCM,编码后的,DC,码和,RLE,编码后的,AC,码的码字再作熵编码。,JPEG,建议使用两种熵编码方法：,哈夫曼,(Huffman),编码,自适二进制算术编码。,熵编码可分成两步进行，首先把,DPCM,编码后的,DC,码,DC,系数和行程编码的,AC,系数转换成中间符号序列,然后给这些符号赋以变长码字。,2024/9/23,80,例：给出,Lena,测试图像,(,分辨率,256256,),从,7272,开始的一个,88,块，它的前一个块的量化,DC,系数为,-10,，这个块取值如下：,107 105 104 114 100 112 111 108,104 99 107 108 112 115 117 115,104 101 108 110 109 114 117 114,105 105 105 106 110 109 96 113,102 107 102 113 105 104 107 115,107 106 102 103 106 115 106 121,114 107 87 98 110 102 116 120,114 99 98 95 93 111 115 112,说明,JPEG,编解码过程。,2024/9/23,81,解：使输入图像取值范围为,-2,7, 2,7,-1,，每个像素减,128,，进行,DCT,变换，并用亮度量化表进行量化，量化器输出为：,1 2 1 0 0 0 0 0 0,1 0 1 0 0 0 0 0 0,0 0 1 0 0 0 0 0 0,0 0 0 0 0 0 0 0 0,0 0 0 0 0 0 0 0 0,0 0 0 0 0 0 0 0 0,0 0 0 0 0 0 0 0 0,0 0 0 0 0 0 0 0 0,2024/9/23,82,由于它的前一个块的量化,DC,系数为,-10,，该,88,块的,DC,系数为,-1,，因此，,DIFF=-10-1,。,SIZE=4,，,AMP=-11,，编码为,101,，,0100,。,Z,字扫描为,-2,1,0,0,-1,0,0,0,0,1,EOB,。形成,RUN,SIZEAMP,串为,0,2-2, 0,11, 2,11, 2,11, 1,1-1, 4,11, EOB,。对,RUN,，,SIZE,查,Huffman,码表，对,AMP,直接编码，得到码字为,0101, 001, 111001, 11000, 1110111,1010,。,DC,编码需,7,位，,AC,编码需,29,位，共需,36,位。原,88,块共,64,个像素，每个像素,8,位，因此，压缩比为,:,648/36=14.2,2024/9/23,83,用解码器解码后，这个块的重构图像为：,108 108 107 107 109 111 114 116,106 107 107 109 110 112 113 114,104 105 108 110 112 112 112 111,102 104 107 110 112 112 111 110,103 104 106 108 109 110 110 110,105 104 104 104 106 108 111 113,108 105 102 100 101 106 112 116,110 106 100 97 98 105 113 118,