第8章图像压缩编码技术分析课件

2024/7/51本章重点：图像编码与压缩的基本概念、理论及其编码分类。常用的无损压缩方法。常用的有损压缩方法。第8章 图像编码与压缩2023/8/131本章重点：第本章重点：第8章章 图像编码与压缩图像编码与压缩2024/7/52第第8章章图像编码与压缩图像编码与压缩l图像压缩所解决的问题是尽量减少表示图像时需要的数据量。l减少数据量的基本原理是除去其中多余的数据。l从数学的观点来看，这个过程就是将二维阵列变换为一个在统计上无关联的数据集合。l这种变换在图像存储或传输之前进行。l在以后的某个时候，再对压缩图像进行解压缩来重构原图像或原图像的近似图像。2023/8/132第第8章章 图像编码与压缩图像压缩所解决的问图像编码与压缩图像压缩所解决的问2024/7/538.1 图像编码的必要性与可能性 8.2 图像编码分类 8.3 图像编码评价准则 8.4 图像编码模型 8.5 无损压缩 8.6 有损压缩 8.7 JPEG图像编码压缩标准 8.8 MPEG视频编码压缩标准 8.9 小结第第8章章图像编码与压缩图像编码与压缩2023/8/1338.1 图像编码的必要性与可能性图像编码的必要性与可能性 第第8章章2024/7/54基础l术语”数据压缩”指减少表示给定信息量所需的数据量.l数据是信息传送的手段.l对相同数量的信息可以用不同数量的数据表示.l如,同样一个故事,有人用简明扼要的语言讲清楚,有人啰里啰嗦才说清楚.l故事是信息,词语是数据.l与故事无关的词语就是冗余.称”数据冗余”2023/8/134基础术语 基础术语”数据压缩 数据压缩”指减少表示给定信息量指减少表示给定信息量2024/7/558.1 图像编码的必要性与可能性8.1.1图像编码的必要性数字图像的庞大数据对计算机的处理速度、存储容量都提出过高的要求。因此必须把数据量压缩。从传送图像的角度来看，则更要求数据量压缩。在信道带宽、通信链路容量一定的前提下，采用编码压缩技术，减少传输数据量，是提高通信速度的重要手段。2023/8/1358.1 图像编码的必要性与可能性图像编码的必要性与可能性8.1.2024/7/568.1.2图像编码的可能性组成图像的各像素之间，无论是在图像的行方向还是在列方向，都存在着一定的相关性。常见的静态图像数据冗余包括：空间冗余 结构冗余知识冗余视觉冗余图像区域的相同性冗余纹理的统计冗余等。2023/8/1368.1.2图像编码的可能性组成图像的各像图像编码的可能性组成图像的各像2024/7/57数据冗余l旅行中收到的一则电报：-你的妻子，Helen,将于明天晚上6点零5分 在波士顿的Logan机场接你。-你的妻子将于明晚上6点零5分在Logan机场 接你。-Helen将于明晚6点在Logan接你。-2023/8/137数据冗余旅行中收到的一则电报：数据冗余旅行中收到的一则电报：2024/7/58图像的数据量l数据量:H=S*B*N (8-1)lS是每帧的像素数;lB是每个像素的比特数;lN是每秒的帧数,静止图像N=1.l如:一幅512*512,256灰度的图像,lS=512*512,B=8,N=1,H=2Mbit.l一幅同样大小的RGB(256级)图像,lS=512*512,B=8*3,N=1,H=6Mbit.l运动图像,设N=30,S=512*512,B=8,灰度时:lH=60Mbit/s,彩色时:B=8*3,H=180Mbit/s2023/8/138图像的数据量数据量图像的数据量数据量:H=S*B*N 2024/7/59数据压缩l数据压缩之目的 -节省存储空间 -节省通信信道l数据压缩 -利用数据固有的冗余性和不相干性，将一个 大的数据文件转换成较小的文件。-压缩的文件在需要时，以近似的方式将其恢复(解压缩)。2023/8/139数据压缩数据压缩之目的数据压缩数据压缩之目的2024/7/510图像压缩l图像压缩是通过删除图像数据中冗余的或者不必要的部分来减小图像数据量的技术。l图像数据文件中常包含着数量可观的冗余信息以及大量不相干的信息。l数字图像传输 -可以多次中继而不会引起噪声的严重累积 -和压缩编码技术结合，可以获得比模拟制更 高的通信质量 -显著提高抗干扰能力2023/8/1310图像压缩图像压缩是通过删除图像数据中冗图像压缩图像压缩是通过删除图像数据中冗2024/7/511编码和解码l为表示图像信息而进行的数据量压缩的方法,称为图像编码(image coding,picture coding).l尽量保持原图像信息中包含的本质信息而进行数据量压缩的操作称为编码(coding,encoding);l从被压缩的数据再现原图像信号(与原图像相似的图像)的操作称为解码(decoding).l常把编码和解码统称为“编码”.l有时也用压缩和扩展的叫法来代替编码和解码.2023/8/1311编码和解码为表示图像信息而进行的数据量编码和解码为表示图像信息而进行的数据量2024/7/5128.2图像编码分类根据解码和编码的误差划分，图像编码分为:无误差(亦称无失真、无损、信息保持)编码；有误差(有失真或有损)编码。根据编码作用域划分，图像编码分为:空间域编码变换域编码。若从具体编码技术来考虑，又可分为:预测编码变换编码统计编码轮廓编码模型编码2023/8/13128.2图像编码分类图像编码分类根据解码和编码的误根据解码和编码的误2024/7/5138.3 图像编码评价准则在图像压缩编码中，解码图像与原始图像可能会有差异，因此，需要评价压缩后图像的质量。描述解码图像相对原始图像偏离程度的测度一般称为保真度(逼真度)准则。常用的准则可分为两大类：客观保真度准则主观保真度准则2023/8/13138.3 图像编码评价准则图像编码评价准则在图像压缩编在图像压缩编2024/7/5148.3.1 客观保真度准则最常用的客观保真度准则是原图像f(x,y)和解码图像()之间的均方根误差和均方根信噪比两种。均方根误差:均方信噪比均方信噪比:对上式求平方根，就得到均方根信噪比。对上式求平方根，就得到均方根信噪比。（8-2）（8-3）2023/8/13148.3.1 客观保真度准则客观保真度准则最常用的客最常用的客2024/7/5158.3.2主观保真度准则具有相同客观保真度的不同图像，人的视觉可能产生不同的视觉效果。这是因为客观保真度是一种统计平均意义下的度量准则，对于图像中的细节无法反映出来。一种常用的方法是对一组(不少于20人)观察者显示图像，并将他们对该图像的评分取平均，用来评价一幅图像的主观质量。2023/8/13158.3.2 主观保真度准则主观保真度准则具有相同客观具有相同客观2024/7/516例如例如表表8.1 电视图像质量评价尺度电视图像质量评价尺度。评分评价说明1优秀图像质量非常好，如同人能想象出的最好质量2良好图像质量高，观看舒服，有干扰但不影响观看3可用图像质量可以接受，有干扰但不太影响观看4刚可看图像质量差，干扰有些妨碍观看，观察者希望改进5差图像质量很差，几乎无法观看6不能用图像质量极差，不能使用表表8.1 8.1 电视图像质量评价尺度电视图像质量评价尺度2023/8/1316例如表例如表8.1 电视图像质量评价尺度。评电视图像质量评价尺度。评2024/7/5178.4 图像编码模型一个图像压缩系统包括两个不同的结构块：编码器和解码器。图像f（x，y）输入到编码器中，编码器可以根据输入数据生成一组符号。在通过信道进行传输之后，将经过编码的表达符号送入解码器，经过重构后，生成输出图像。f(x,y)信源编码信道编码信道信道解码信源解码一个常用图像压缩系统模型一个常用图像压缩系统模型2023/8/13178.4 图像编码模型图像编码模型一个图像压缩系统一个图像压缩系统2024/7/5188.4.1信源编码器和信源解码器信源编码器的任务是减少或消除输入图像中的编码冗余、像素间冗余或心理视觉冗余等。从原理来看主要分为三个阶段:v第一阶段将输入数据转换为可以减少输入图像中像素间冗余的数据的集合。v第二阶段设法去除原图像信号的相关性。v第三阶段是找一种编码方式。信源解码器包含两部分：符号解码器反向转换器2023/8/13188.4.1 信源编码器和信源解码器信源编信源编码器和信源解码器信源编2024/7/519编码器模型 f(x,y)转换器量化器 符号编码器信道信道符号解码器反向转换器（a）信源编码器）信源编码器（b）信源解码器）信源解码器编码和解码成对出现,但量化器不可逆,没有反向量化器.当希望无误差时,去掉量化器.2023/8/1319编码器模型编码器模型 f(x,y)转换器量化器转换器量化器 2024/7/5208.4.2信道编码器和解码器当信道带有噪声或易于出现错误时，信道编码器和解码器就在整个译码解码处理中扮演了重要的角色。信道编码器和解码器通过向信源编码数据中插入预制的冗余数据来减少信道噪声的影响。最有用的一种信道编码技术是由RwHamming提出的。这种技术是基于这样的思想，即向被编码数据中加入足够的位数以确保可用的码字间变化的位数最小。用于校验(奇-偶)以纠正错误.提高数据传输效率，降低误码率是信道编码的任务。信道编码的本质是增加通信的可靠性。但信道编码会使有用的信息数据传输减少，信道编码的过程是在源数据码流中加插一些码元，从而达到在接收端进行判错和纠错的目的，这就是我们常常说的开销。2023/8/13208.4.2 信道编码器和解码器信道编码器和解码器当信道带 当信道带2024/7/5218.5无损压缩无损压缩可以精确无误地从压缩数据中恢复出原始数据。常见的无损压缩技术包括：基于统计概率的方法(霍夫曼,算术编码)；基于字典的技术(游程编码,LZW编码)。基于统计概率的方法是依据信息论中的变长编码定理和信息熵有关知识，用较短代码代表出现概率大的符号，用较长代码代表出现概率小的符号，从而实现数据压缩。统计编码方法中具有代表性的是利用概率分布特性的著名的霍夫曼(Huffman)编码方法,另一种是算术编码。2023/8/13218.5无损压缩无损压缩可以精确无误地从无损压缩无损压缩可以精确无误地从2024/7/522基于字典技术的数据压缩技术有两种：一种是游(行)程编码(Running Length Coding)，简称为RLC，适用于灰度级不多、数据相关性很强的图像数据的压缩。但最不适用于每个像素都与它周围的像素不同的情况。另一种称之为LZW编码，LZW在对数据文件进行编码的同时，生成了特定字符序列的表以及它们对应的代码。2023/8/1322基于字典技术的数据压缩技术有两种：基于字典技术的数据压缩技术有两种：2024/7/5238.5.1霍夫曼编码 一个事件集合x1,x2,xn,处于一个基本概率空间，其相应概率为p1,p2,pn，且p1+p2+pn=1。每一个信息的信息量为:如定义在概率空间中每一事件的概率不相等时的平均不肯定程度或平均信息量叫作熵H，则：1.理论基础理论基础（8-9）（8-10）2023/8/13238.5.1 霍夫曼编码霍夫曼编码 一个事件集合一个事件集合2024/7/524l熵是编码所需比特数的下限，即编码所需要最少的比特。l例:设8个随机变量具有同等概率为1/8，计算信息熵H。解:根据公式8-10可得(a=2)：H=8*-1/8*(log2(1/8)=8*-1/8*(-3)=3 熵熵2023/8/1324熵是编码所需比特数的下限，即编码所需要熵是编码所需比特数的下限，即编码所需要2024/7/525Huffman编码是1952年由Huffman提出的一种编码方法。这种编码方法根据信源数据符号发生的概率进行编码。在信源数据中出现概率越大的符号，相应的码越短；出现概率越小的符号，其码长越长，从而达到用尽可能少的码符号表示源数据。它在变长编码方法中是最佳的。2.Huffman编码编码 2023/8/1325Huffman编码是编码是1952年由 年由Huf2024/7/526设信源A的信源空间为：其中 ，现用r个码符号的码符号集 对信源A中的每个符号（i1，2，N)进行编码。具体编码的方法是:(1)把信源符号按其出现概率的大小顺序排列起来；(2)把最末两个具有最小概率的元素之概率加起来；(3)把该概率之和同其余概率由大到小排队，然后再把两个最小概率加起来，再重新排队；(4)重复(2)和(3)直到最后只剩下两个概率为止。Huffman编码具体方法：编码具体方法：2023/8/1326设信源设信源A的信源空间为：的信源空间为：Huffman编编2024/7/527设有编码输入X=x1,x2,x3,x4,x5,x6。其频率分布分别为P(x1)=0.4，P(x2)=0.3，P(x3)=0.1，P(x4)=0.1，P(x5)=0.06，P(x6)=0.04，现求其最佳霍夫曼编码 W=w1,w2,w3,w4,w5,w6 解:Huffman编码过程下图所示：符号 概率 x1 0.4x2 0.3x3 0.1x4 0.1x5 0.06x6 0.041 0.40.30.10.10.120.40.30.20.130.40.30.340.60.4例:2023/8/1327设有编码输入设有编码输入X=x1,x2,x3,x2024/7/528本例中对0.6赋予0，对0.4赋予1，0.4传递到x1，所以x1的编码便是1。0.6传递到前一级是两个0.3相加，大值是单独一个元素x2的概率，小值是两个元素概率之和，每个概率都小于0.3，所以x2赋予0，0.2和0.1求和的0.3赋予1。所以x2的编码是00，而剩余元素编码的前两个码应为01。0.1赋予1，0.2赋予0。以此类推，最后得到诸元素的编码如下：元 素xix1x2x3x4x5x6概 率P(xi)0.40.30.10.10.060.04编 码wi100011010001010010110，1的顺序没有规定，所以编码不唯一。2023/8/1328本例中对 本例中对0.6赋予 赋予0，对，对0.4赋予 赋予12024/7/529l经霍夫曼编码后，平均码长为：=0.4*1+0.30*2+0.1*3+0.1*4+0.06*5+0.04*5=2.20(bit)该信源的熵为H2.14 bit，编码后计算的平均码长为2.2 bit,非常接近于熵。可见Huffman编码是一种较好的编码。2023/8/13292024/7/530用二叉树方法实现Huffman编码方法较为便利，因此这种编码方法用于计算机数据结构的转换中。Huffman编码是最佳的，其平均码长相同，不影响编码效率和数据压缩性能。由于Huffman码的码长参差不齐，因此，存在一个输入、输出速率匹配问题。解决的办法是设置一定容量的缓冲存储器 Huffman码在存储或传输过程中，如果出现误码，可能会引起误码的连续传播 Huffman编码对不同信源其编码效率也不尽相同。Huffman编码应用时，均需要与其他编码结合起来使用，才能进一步提高数据压缩比。2023/8/1330用二叉树方法实现用二叉树方法实现Huffman编码方法 编码方法2024/7/5312023/8/13312024/7/5328.5.2 香农费诺编码由于霍夫曼编码法需要多次排序，当符号很多时十分不便，为此费诺(Fano)和香农(Shannon)分别单独提出类似的方法，使编码更简单。具体编码方法如下：把x1,xn按概率由大到小、从上到下排成一列，然后把x1,xn 分成两组x1,xk xk+1,xn，并使得 把两组分别按0，1赋值。然后分组、赋值，不断反复，直到每组只有一种输入为止。将每个所赋的值依次排列起来就是费诺香农编码。2023/8/13328.5.2 香农费诺编码香农费诺编码由于霍夫 由于霍夫2024/7/533l以前面哈夫曼编码的例子进行香农费诺编码：输入输入概率概率x10.40 0 x20.310 10 x30.1100 1100 x40.11 1101x50.0610 1110 x60.041 11112023/8/1333以前面哈夫曼编码的例子进行香农费诺编以前面哈夫曼编码的例子进行香农费诺编2024/7/5348.5.3 算术编码理论上，用Huffman方法对源数据流进行编码可达到最佳编码效果。但由于计算机中存储、处理的最小单位是“位”，因此，在一些情况下，实际压缩比与理论压缩比的极限相去甚远。算术编码没有延用数据编码技术中用一个特定的代码代替一个输入符号的一般做法，它把要压缩处理的整段数据映射到一段实数半开区间0，1)内的某一区段，构造出小于1且大于或等于0的数值。这个数值是输入数据流的唯一可译代码。2023/8/13348.5.3 算术编码 算术编码理论上，用理论上，用Huf2024/7/535例对一个4符号信源Aa1,a2,a3,a4，各字符出现的概率和设定的取值范围如下,符号串为a1,a2,a3,a2,a4,编码过程：字符 概率 范围a3 0.20.0，0.2）a1 0.20.2，0.4）a2 0.40.4，0.8)a4 0.20.8，1.0)“范围”给出了字符的赋值区间。这个区间是根据字符发生的概率划分的。具体把a1、a2、a3、a4分配在哪个区间范围，对编码本身没有影响，只要保证编码器和解码器对字符的概率区间有相同的定义即可。2023/8/1335例例对一个对一个4符号信源 符号信源Aa1,a22024/7/536按上述区间的定义，若数据流的第一个字符为a1，由字符概率取值区间的定义可知，代码的实际取值范围在0.2，0.4)之间，即输入数据流的第一个字符决定了代码最高有效位取值的范围。继续对源数据流中的后续字符进行编码。每读入一个新的符号，输出数值范围就进一步缩小。读入第二个符号a2取值范围在区间的0.4，0.8)内。由于第一个字符a1已将取值区间限制在0.2，0.4)的范围中，因此a2的实际取值是在前符号范围0.2，0.4)的0.4，0.8)处，从而字符a2的编码取值范围在0.28，0.36)，而不是在0，1)整个概率分布区间上。2023/8/13362024/7/537每输入一个符号，都将按事先对概率范围的定义，在逐步缩小的当前取值区间上确定新的范围上、下限。继续读入第三个符号a3受到前面巳编码的两个字符的限制，它的编码取值应在0.28，0.36)中的0.0，0.2)内，即0.28，0.296)。重复上述编码过程，直到输入数据流结束。最终结果如下：输入字符 区间长度L 范围a1 0.2 0.2，0.4）a2 0.080.28，0.36）a3 0.016 0.28，0.296)a2 0.0064 0.2864，0.2928)a4 0.00128 0.29152，0.2928)随着字符的输入，代码的取值范围越来越小。可以用一个浮点数表示一个字符串，达到减少所需存储空间的目的。2023/8/1337每输入一个符号，都将按事先对概率范围的每输入一个符号，都将按事先对概率范围的参考2024/7/538参考 参考2023/8/1338参考2024/7/539参考 参考2023/8/13392024/7/5408.5.4游程编码游(行)程编码(RLC)是一种利用空间冗余度压缩图像的方法，属于统计编码类。(对于二值图有效。)设图像中的某一行或某一块像素经采样或经某种变换后的系数为(x1,x2,xM).某一行或某一块内像素值可分为k段，长度为Li的连续串，每个串具有相同的值，那么，该图像的某一行或某一块可由下面偶对 (gi,Li),1=i=k来表示：(x1,x2,xM)(g1,L1),(g2,L2),(gk,Lk),其中 gi 为每个串内的代表值，Li为串的长度。串长就是游程长度(Runlength)，简写为RL，即由灰度值构成的数据流中各灰度值重复出现而形成的长度。如果给出了灰度值、对应长度及位置，就能很容易地恢复出原来的数据流。2023/8/13408.5.4 游程编码游游程编码游(行行)程编码程编码(2024/7/541游程编码l游程编码的基本原理是：用一个符号值或串长代替具有相同值的连续符号（连续符号构成了一段连续的“行程”。行程编码因此而得名），使符号长度少于原始数据的长度。例如：5555557777733322221111111 行程编码为：（5，6）（7，5）（3，3）（2，4）（1，7）。可见，行程编码的位数远远少于原始字符串的位数。在对图像数据进行编码时，沿一定方向排列的具有相同灰度值的像素可看成是连续符号，用字串代替这些连续符号，可大幅度减少数据量。行程编码是连续精确的编码，在传输过程中，如果其中一位符号发生错误，即可影响整个编码序列，使行程编码无法还原回原始数据。2023/8/1341游程编码游程编码的基本原理是：用一个符游程编码游程编码的基本原理是：用一个符2024/7/542游程编码分为:定长游程编码和变长游程编码两类。定长游程编码是指编码的游程所使用位数是固定的，即RL位数是固定的。如果灰度连续相同的个数超过了固定位数所能表示的最大值，则进入下一轮游程编码。变长游程编码是指对不同范围的游程使用不同位数的编码，即表示RL位数是不固定的。2023/8/1342游程编码分为游程编码分为:2024/7/543游程编码一般不直接应用于多灰度图像，但比较适合 于二值图像的编码。为了达到较好的压缩效果，有时游程编码和其他一些编码方法混合使用。RLC比较适合二值图像数据序列，其原因是在二值序列中，只有“0”和“1”两种符号；这些符号的连续出现，就形成了“0”游程：L(0)，“1”游程：L(1)。定义了游程和游程长度之后，就可以把任何二元序列变换成游程长度的序列，简称游程序列。这一变换是可逆的，一一对应的。2023/8/1343游程编码一般不直接应用于多灰度图像，但游程编码一般不直接应用于多灰度图像，但2024/7/5448.5.5 无损预测编码一幅二维静止图像，设空间坐标(i，j)像素点的实际灰度为f(i,j)，是根据以前已出现的像素点的灰度对该点的预测灰度，也称预测值或估计值，计算预测值的像素，可以是同一扫描行的前几个像素，或者是前几行上的像素，甚至是前几帧的邻近像素。实实际际值值和预测值之间的和预测值之间的差值，以下式表示：（8-13）2023/8/13448.5.5 无损预测编码一幅二维静止图无损预测编码一幅二维静止图2024/7/545l由图像的统计特性可知，相邻像素之间有着较强的相关性。因此，其像素的值可根据以前已知的几个像素来估计，即预测。l预测编码是根据某一模型，利用以往的样本值对于新样本值进行预测，然后将样本的实际值与其预测值相减得到一个误差值，对于这一误差值进行编码。l如果模型足够好且样本序列在时间上相关性较强，那么误差信号的幅度将远远小于原始信号。l对差值信号不进行量化而直接编码就称之为无损预测编码。无损预测编码2023/8/1345无损预测编码无损预测编码2024/7/546无损预测编码器的工作原理图 如下：预测器源图像熵编码器编码表压缩源图像2023/8/1346无损预测编码器的工作原理图无损预测编码器的工作原理图 如下：预测如下：预测2024/7/547 由先前三点预测可以定义为：其中a1，a2,a3称预测系数，都是待定参数。如果预测器中预测系数是固定不变的常数，称之为线性预测。预测误差：（8-14）（8-15）2023/8/1347 由先前三点预测可以由先前三点预测可以2024/7/548设a=f(i,j-1)，b=f(i-1,j),c=f(i-1,j-1)，的预测方法如下图所示，可有8种选择方法：选择方法选择方法预测值预测值0非预测非预测1acb 2b ax3c4a+b-c5a+(b-c)/26b+(a-c)/27 (a+b)/22023/8/1348设设a=f(i,j-1)，b=f(i-12024/7/549例：设有一幅图像，f(i-1,j-1),f(i-1,j),f(i,j-1),f(i,j)的灰度值分别为252,252,253,255，用上图第4种选择方法预测f(i,j)的灰度值，并计算预测误差。解：f(i,j)=a+b-c=f(i,j-1)+f(i-1,j)-f(i-1,j-1)=253+252-252=253 预测误差e(i,j)=f(i,j)-f(i,j)=255-253=2显然，预测误差e(i,j)=2比像素的实际值f(i,j)=255小的多，对2进行编码比对255直接编码将占用更少的比特位。2023/8/1349例：设有一幅图像，例：设有一幅图像，f(i-1,j-1)2024/7/5508.6 有损压缩有损编码是以丢失部分信息为代价来换取高压缩比。有损压缩方法主要有有损预测编码方法变换编码方法等2023/8/13508.6 有损压缩有损编码是以丢失部分信有损压缩有损编码是以丢失部分信2024/7/5518.6.1有损预测编码在预测编码中，对差值信号进行量化后再进行编码就称之为有损预测编码。有损预测方法有多种，其中差分脉冲编码调制(Differential Pulse Code Modulation，简 称DPCM)，是一种具有代表性的编码方法。2023/8/13518.6.1 有损预测编码在预测编码中，对有损预测编码在预测编码中，对2024/7/552 DPCM系统由编码器和解码器组成，它们各有一个相同的预测器。DPCM系统的工作原理如下图所示:量化器编码器预测器信道传输解码器输入输出预测器2023/8/1352 DPCM系统由编码器和解码系统由编码器和解码2024/7/553DPCM系统系统包括发送、接收和信道传输三个部分。发送端由编码器、量化器、预测器和加减法器组成；接收端包括解码器和预测器等；信道传送以虚线表示。图中输入信号f(i,j)是坐标(i,j)处的像素的实际灰度值，是由已出现先前相邻像素点的灰度值对该像素的预测灰度值。e(i,j)是预测误差。DPCM包含量化器，这时编码器对e(i,j)编码，量化器导致了不可逆的信息损失，这时接收端经解码恢复出的灰度信号不是真正的f(i,j)，而是重建信号。可见引入量化器会引起一定程度的信息损失，使图像质量受损。但是可以利用人眼的视觉特性，丢失不易觉察的图像信息，不会引起明显失真。2023/8/1353DPCM系统系统包括发送、接收和信道传系统系统包括发送、接收和信道传2024/7/5548.6.2 变换编码变换编码不是直接对空域图像信号编码，而是首先将图像数据经过某种正交变换到（如傅立叶变换-DFT，离散余弦变换-DCT，K-L变换等等）另一个正交矢量空间(称之为变换域)，产生一批变换系数，然后对这些变换系数进行编码处理，从而达到压缩图像数据的目的。2023/8/13548.6.2 变换编码变换编码不是直接对变换编码变换编码不是直接对2024/7/555变换编码的原理 如下图：图像数据经过正交变换后，空域中的总能量在变换域中得到保持，但像素之间的相关性下降，能量将会重新分布，并集中在变换域中少数的变换系数上，因此，选择少数F(u,v)来重建图像就可以达到压缩数据的目的，并且重建图像仅引入较小误差。变换多采用正交函数为基础的变换。f(x,y)重建f(x,y)图像正交变换样本选择量化编码F(u,v)译码数字信道2023/8/1355变换编码的原理变换编码的原理 如下图：如下图：f(x,y)重重2024/7/556卡胡南-列夫变换（K-L）-基于特征向量的变换对于NN的矩阵T，有N个标量i，i=1,2,N,能使|T-iI|=0 则i叫做矩阵T的特征值。另外，N个满足TVi=iVi (8-31)的向量Vi叫做T的特征向量,Vi 是N*1维的，每个Vi对应一个特征值i。这些特征向量构成一个正交基集。设X是一个N1的随机向量，X的每个分量都是xi随机变量。X的均值（平均向量）可以由L个样本向量来估计向量Mx：（8-32）2023/8/1356卡胡南卡胡南-列夫变换（列夫变换（K-L）-基于特征 基于特征2024/7/557协方差矩阵可以由式8-33来估计。协方差矩阵是实对称的。对角元素是各随机变量的方差，非对角元素是它们的协方差。定义一个线性变换T，它可由任何X向量产生一个新向量Y=T(X-Mx)（8-34）式中，T的各行是x的特征向量，即T的行向量就是x的特征向量。为了方便，以相应的特征值大小递减来排列各行。（8-33）2023/8/1357协方差矩阵可以由式协方差矩阵可以由式8-33来估计。协方来估计。协方2024/7/558这些也是x的特征值。随机向量Y是由互不相关的随机变量组成的，因此线性变换T起到了消除变量间的相关性的作用。式8-35被称为Hotelling变换,特征向量变换或主分量法,也被叫做Karhunen-Loeve变换,简称K-L变换。（8-35）变换得到的Y是期望为零的随机向量。Y的协方差矩阵可以由X的协方差矩阵决定。式8-35：因为T的各行是x的特征向量，故y是一个对角阵，对角元素是x的特征值。见式8-36Y1 1 0 00 0 N N（8-36）2023/8/1358这些也是 这些也是x的特征值。（的特征值。（8-35）2024/7/559特征向量变换是可逆的。即可用变换向量Y来重构向量X:X=T-1Y+Mx=TTY+Mx 要实现对信号进行KL变换，首先要求出矢量x的协方差矩阵x，再求协方差矩阵x的特征值i，然后求对应的x的特征向量，再用x的特征向量构成正交矩阵T。例:若已知随机矢量x的协方差矩阵为 求其正交矩阵T？x x6 2 06 2 02 2 2 2 1 10 0 1 11 12023/8/1359特征向量变换是可逆的。即可用变换向量特征向量变换是可逆的。即可用变换向量Y2024/7/5601)按 ,求x的特征值i:得:则可解得:1=6.854 2=2 3=0.146 2)求i对应的特征向量。将1，2，3代入(8-31)中分别求得如下三个特征向量：=2023/8/13601)按按 2024/7/561用V1，V2，V3的转置向量作为正交矩阵T的行向量，那么，对于任一均值为0的向量X=(2，1，-0.1)的K-L变换为:则Y的协方差矩阵y为:Y=TX=0.918 0.329 0.0670.333 0.667 0.6670.217 0.634 0.742 2 10.1=2.2340.067 0.127 Y Y=T T X XTT TT=6.854 0 00 2 0 0 0 0.1462023/8/1361用用V1，V2，V3的转置向量作为正交的转置向量作为正交2024/7/562在数字图像压缩编码中，最佳变换K-L计算复杂，一般不采用。由于DCT与K-L变换压缩性能和误差很接近，而DCT计算复杂度适中，又具有可分离特性，还有快速算法等特点，所以近年来在图像数据压缩中，采用离散余弦变换编码的方案很多。JPEG、MPEG、H.261等压缩标准，都用到离散余弦变换编码进行数据压缩。余弦变换是傅立叶变换的一种特殊情况。在傅立叶级数展开式中，如果被展开的函数是实偶函数，那么，其傅立叶级数中只包含余弦项，再将其离散化由此可导出余弦 变 换，或 称 之 为 离 散 余 弦 变 换 DCT(Discrete Cosine Transform)。离散余弦变换(DCT)2023/8/1362在数字图像压缩编码中，最佳变换在数字图像压缩编码中，最佳变换K-L计计2024/7/563二维离散偶余弦正变换公式为：式中，x,y,u,v0，1，N-1。当u=v=0时。当u=1，2，N-1；v=1，2，N-1时。（8-38）2023/8/1363二维离散偶余弦正变换公式为：（二维离散偶余弦正变换公式为：（8-382024/7/564二维离散偶余弦逆变换公式为：式中x,y,u,v0，1，N-1。当u=v=0时。当u=1，2，N-1；v=1，2，N-1时。（8-39）2023/8/1364二维离散偶余弦逆变换公式为：（二维离散偶余弦逆变换公式为：（8-392024/7/565二维离散余弦变换核具有可分离特性，所以，其正变换和逆变换均可将二维变换分解成系列一维变换(行、列)进行计算。在DCT为主要方法的变换编码中，一般不直接对整个图像进行变换，而是首先对图像分块，将MN的一幅图像分成不重叠的M/KN/K个KK块分别进行变换。这样做的好处主要体现在：第一，降低运算量，如对一幅512512图像，分块变换仅需约13的运算量；其次，后续的量化和扫描处理可以得到明显的简化；第三，容易将传输误差引起的错误控制在一个块内，而不是整个图像扩散。分块大小通常选8 8和16 16。2023/8/1365二维离散余弦变换核具有可分离特性，所以二维离散余弦变换核具有可分离特性，所以2024/7/5668.7 JPEG图像编码压缩标准 JPEG(Joint Photographic Expert Group，简称JPEG)是联合图像专家小组的英文缩写。其中“联合”的含意是指，国际电报电话咨询委员会CCITT和国际标准化协会(ISO)联合组成的一个图像专家小组。JPEG算法被确定为JPEG国际标准，它是国际上彩色、灰度、静止图像的第一个国际标准。JPEG标准适于静态图像的压缩，电视图像序列的帧内图像的压缩编码也常采用JPEG压缩标准。2023/8/13668.7 JPEG图像编码压缩标准图像编码压缩标准 J2024/7/5678.7.1 JPEG的工作模式JPEG对每一个图像分量单独编码。(YCrCb 模型)JPEG对每个不同的图像分量可以采用不同的量化参数和熵编码的码表 对于一个图像分量，JPEG提供4种工作模式。顺序编码：每一个图像分量按从左到右，从上到下扫描，一次扫描完成编码。累进编码：图像编码在多次扫描中完成。无失真编码：解码后能精确地恢复源图像采样值，其压缩比低于有失真压缩编码方法。分层编码：图像在多个空间分辨率进行编码。2023/8/13678.7.1 JPEG的工作模式的工作模式JPEG2024/7/5688.7.2 基本工作模式基于DCT JPEG编码的过程框图 88块编码器DCT正变换量化器熵编码器量化表熵编码表源图像数据压缩的图像数据2023/8/13688.7.2 基本工作模式基于基本工作模式基于DCT J2024/7/569基本工作模式解码过程框图 解码器逆变换(IDCT)反量化器熵解码器量化表熵编码表恢复的图像数据压缩的图像数据2023/8/1369基本工作模式解码过程框图基本工作模式解码过程框图 解码器逆变换解码器逆变换2024/7/570JPEG采用的是88大小的子块的二维离散余弦变换(DCT)。在编码器的输入端，把原始图像顺序地分割成一系列88的子块，设原始图像的采样精度为P位，是无符号整数，输入时把0，2P范围的无符号整数变成-2P-1，2P-1-1范围的有符号整数，以此作为离散余弦正变换的输入。在解码器的输出端经离散余弦逆变换(IDCT)后，得到一系列88的图像数据块，需将其数值范围由-2P-1，2P-1-1再变回到0，2P范围内的无符号整数，来获得重构图像。2023/8/1370JPEG采用的是 采用的是88大小的子块的二维大小的子块的二维2024/7/571为了达到压缩数据的目的，对DCT系数需作量化处理。量化处理是一个多到一的映射，它是造成DCT编解码信息损失的根源。在JPEG中采用线性均匀量化器，量化定义为对64个DCT系数除以量化步长，四舍五入取整。量化的作用是在一定的主观保真度图像质量前提下，丢掉那些对视觉效果影响不大的信息。2023/8/1371为了达到压缩数据的目的，对为了达到压缩数据的目的，对DCT系数需系数需2024/7/572例:给定Lena图像的一个平坦区域（88子块）如下：6971757984899169707376839095777476748589957173767986919374777782889193787680848892957678808593949574798185869494给出给出DCT变换系数量化过程。变换系数量化过程。2023/8/1372例例:给定 给定Lena图像的一个平坦区域（图像的一个平坦区域（82024/7/573如下是它的DCT变换系数，可以看到能量集中在少数低频系数:660.1250 47.0496 25.9980 10.3993 7.8750 8.4866 5.6025 1.317617.3267 2.6749 5.2236 1.3234 0.5222 0.2914 0.2800 2.2810.0280 0.6463 0.9545 0.9620 2.4730 1.9783 0.316 2.17412.3003 0.4542 2.2403 3.5559 1.2907 1.0024 0.1580 0.97472.3750 0.1038 3.2220 0.9653 1.3750 2.2258 0.3875 3.52360.9294 1.3282 2.4256 0.9828 1.9317 0.6972 0.1253 1.8560.3943 2.6640 0.5669 3.4168 0.8891 1.6182 2.545 1.7322.1666 1.7238 0.3335 0.4808 2.6253 0.9699 1.4854 1.183 2023/8/1373如下是它的如下是它的DCT变换系数，可以看到能量变换系数，可以看到能量2024/7/574l用JPEG的亮度量化表对每个系数进行均匀量化，量化器输出为：41 4 3 1 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 02023/8/1374用用JPEG的亮度量化表对每个系数进行均的亮度量化表对每个系数进行均2024/7/575反量化后，进行DCT反变换，得到的解码图像为：80 75 71 72 78 85 89 9080 75 71 72 78 85 89 9080 76 72 73 79 86 90 9181 77 72 74 80 87 91 9282 77 73 74 81 87 91 9383 78 74 75 81 88 92 9383 79 75 76 82 89 93 9484 79 75 76 82 89 93 942023/8/1375反量化后，进行反量化后，进行DCT反变换，得到的解码反变换，得到的解码2024/7/57688子块的64个变换系数经量化后，按直流系数DC和交流系数AC分成两类处理。坐标u=v=0的直流系数DC实质上就是空域图像中64个像素的平均值。相邻的88子块之间的DC系数有强的相关性，JPEG对DC系数采用DPCM编码，即对相邻块之间的DC系数的差值DIFFDCi-DCi-1编码。DCj-2DCj-1DCjDCj+1DCj+22023/8/137688 子块的子块的64个变换系数经量化后，按个变换系数经量化后，按2024/7/577其余63个系数称为交流系数（AC系数）采用行程编码。由于低频分量多呈圆环形辐射状向高频率衰减，因此可看成按Z字形衰减，如下图所示。因此，AC系数按Z字形扫描读数。AC0DCAC0AC7AC72023/8/1377其余 其余63个系数称为交流系数（个系数称为交流系数（AC系数）系数）2024/7/578对这63个AC系数采用非常简单和直观的行程编码，行程编码采用两个字节表示。符号1(RUN,SIZE),符号2(AMP)JPEG使用1字节的高4位表示连续“0”的个数，而使用它的低4位来表示下一个非“0”系数所需要的位数，跟在它后面的是量化AC系数的数值。AC系数的行程编码如下图所示：NNNNSSSS两个非零值间连续零个数表示下一个非零值需要的比特数第一个字节下一个字节(Run Length)(Size)下一个非零值的实际值2023/8/1378对这 对这63个个AC系数采用非常简单和直观的系数采用非常简单和直观的2024/7/579为了进一步达到压缩数据的目的，可以对DPCM编码后的DC码和RLE编码后的AC码的码字再作熵编码。JPEG建议使用两种熵编码方法：哈夫曼(Huffman)编码自适二进制算术编码。熵编码可分成两步进行，首先把DPCM编码后的DC码DC系数和行程编码的AC系数转换成中间符号序列,然后给这些符号赋以变长码字。2023/8/1379为了进一步达到压缩数据的目的，可以对为了进一步达到压缩数据的目的，可以对D2024/7/580例：给出Lena测试图像(分辨率256256)从7272开始的一个88块，它的前一个块的量化DC系数为-10，这个块取值如下：107 105 104 114 100 112 111 108104 99 107 108 112 115 117 115104 101 108 110 109 114 117 114105 105 105 106 110 109 96 113102 107 102 113 105 104 107 115107 106 102 103 106 115 106 121114 107 87 98 110 102 116 120114 99 98 95 93 111 115 112说明JPEG编解码过程。2023/8/1380例：给出 例：给出Lena测试图像 测试图像(分辨率分辨率2562024/7/581解：使输入图像取值范围为-27 27-1，每个像素减128，进行DCT变换，并用亮度量化表进行量化，量化器输出为：1 2 1 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 02023/8/1381解：使输入图像取值范围为解：使输入图像取值范围为-27 272024/7/582由于它的前一个块的量化DC系数为-10，该88块的DC系数为-1，因此，DIFF=-10-1。SIZE=4，AMP=-11，编码为101，0100。Z字扫描为-2,1,0,0,-1,0,0,0,0,1,EOB。形成RUN,SIZEAMP串为0,2-2,0,11,2,11,2,11,1,1-1,4,11,EOB。对RUN，SIZE查Huffman码表，对AMP直接编码，得到码字为0101,001,111001,11000,1110111,1010。DC编码需7位，AC编码需29位，共需36位。原88块共64个像素，每个像素8位，因此，压缩比为:648/36=14.22023/8/1382由于它的前一个块的量化由于它的前一个块的量化DC系数为系数为-102024/7/583用解码器解码后，这个块的重构图像为：108 108 107 107 109 111 114 116106 107 107 109 110 112 113 114104 105 108 110 112 112 112 111102 104 107 110 112 112 111 110103 104 106 108 109 110 110 110105 104 104 104 106 108 111 113108 105 102 100 101 106 112 116110 106 100 97 98 105 113 1182023/8/1383用解码器解码后，这个块的重构图像为：用解码器解码后，这个块的重构图像为：2024/7/5848.7.3 JPEG文件格式在制定JPEG标准时，已经定义了许多标记用来区分和识别图像数据及相关信息。目前，使用广泛的是JFIF（JPEG文 件 交 换 格 式 JPEG File Interchange Format）1.02版。JPEG文件中的字节格式是按照正序排列的，即存放时高位字节在前，低位字节在后。JPEG文件大体上可以分成以下两个部分：标记码(tag)和压缩数据。标记码部分给出了JPEG图像的所有信息，如图像的宽、高、Huffman码表、量化表等。标记码有很多，但绝大多数的JPEG文件只包含的几种标记码。2023/8/13848.7.3 JPEG文件格式在制定文件格式在制定JP2024/7/585标记码由两个字节组成，其中高字节是固定值0 xFF。每个标记之前还可以添加数目不限的0 xFF填充字节。常见的JPEG文件主要由下面几个部分组成:(1)SOI标记：图像开始(Start of Image)标记。(2)APP0标记：JPEG保留给应用程序(Application)使用的标记码，而JFIF将文件的相关信息定义在此标记中。(3)APPn标记,其中n=115(任选)：代表其他应用数据块,它的结构包括两部分:APPn长度(Length)和应用详细信息(application specific information)(4)一个或多个量化表DQT(define quantization table)(5)一个或多个Huffman表DHT(Define Huffman Table)2023/8/1385标记码由两个字节组成，其中高字节是固定标记码由两个字节组成，其中高字节是固定2024/7/5868.8 MPEG视频编码压缩标准从时间的观点看，数字图像分为静态图像和运动图像，视频信号就是典型的运动图像。视频压缩的目标是在尽可能保证视觉效果的前提下减少视频数据率。根据压缩前和解压缩后的数据是否完全一致，视频压缩可分为有损压缩无损压缩。无损压缩意味着解压缩后的数据与压缩前的数据完全一致。有损压缩则意味着解压缩后的数据与压缩前的数据不一致。2023/8/13868.8 MPEG视频编码压缩标准视频编码压缩标准从时 从时2024/7/587视频编解码过程：外部控制编码比特流a)视频编码b)视频解码编 码 控 制信源编码器多路视频编码器发送缓冲区接收缓冲区多路视频解码器信源解码器视频信号2023/8/1387视频编解码过程视频编解码过程：外部控制编码比特流：外部控制编码比特流a2024/7/588视频信号的压缩包括两个主要方面：帧内压缩与帧间压缩。帧内（Intra frame）压缩也称为空间压缩（Spatial compression）。当压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧之间的冗余信息。帧间（Inter frame）压缩是基于许多视频或动画的连续前后两帧具有很大的相关性。即连续的视频其相邻帧之间具有冗余信息。根据这一特性，压缩相邻帧之间的冗余量就可以进一步提高压缩量，减小压缩比。帧 间 压 缩 也 称 为 时 间 压 缩（Temporal compression），它通过比较时间轴上不同帧之间的数据进行压缩。2023/8/1388视频信号的压缩包括两个主要方面：视频信号的压缩包括两个主要方面：2024/7/589MPEG(Moving Picture Expert Group)是运动图像专家组的简称。该小组于1991年底提出了用于数字存储媒介的、速率约1.5MBs的运动图像及其伴音的压缩编码，并于1992年正式通过，通常被称为MPEG标准，此标准后来被定名为MPEG-1。到目前为止，MPEG标准己不再是一个单一的标准，而是一个用于全运动视频和相关音频压缩的标准系列，包括MPEG-1、MPEG-2、MPEG-3、MPEG-4和MPEG-7共5个标准，每一个标准都有其特定的应用范围。其中，MPEG-1和MPEG-2标准的应用范围最广。2023/8/1389MPEG(Moving Pictur2024/7/590MPEG-1用于加速CD-ROM中图像的传输。MPEG-2用于宽带传输的图像，图像质量达到电视广播甚至HDTV的标准。和MPEG-1相比，MPEG-2支持更广的分辨率和比特率范围，将成为数字图像盘（DVD）和数字广播电视的压缩方式。MPEG-4标准支持非常低的比特率的数据流的应用，如电视电话，视频邮件和电子报刊等。2023/8/1390MPEG-1 用于加速 用于加速C