图像处理课程4图像的编码技术

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,图像的编码技术,1,图像编码的研究背景, 通信方式改变带来的需求,信息传输方式发生了很大的改变,通信方式的改变,文字,+,语音,图像,+,文字,+,语音,通信对象的改变,人与人,人与机器，机器与机器,2,由于通信方式和通信对象的改变带来的最大问题是：,传输带宽、速度、存储器容量的限制。,给我们带来的一个难题，也给了我们一个机会：,如何用软件的手段来解决硬件上的物理极限。,图像编码的研究背景, 通信方式改变带来的需求,3,图像编码的研究背景 海量数据带来的需求,数码图像的普及，导致了数据量的庞大。,图像的传输与存储，必须解决图像数据的压缩问题。,4,彩色视频数据量分析,对于电视画面的分辨率,640*480,的彩色图像，每秒,30,帧，则一秒钟的数据量为：,640*480*24*30=221.12M,播放时，需要,221Mbps,的通信回路。,5,彩色视频数据量分析,实时传输：,在,10M,带宽网上实时传输的话，需要压缩到原来数据量的,0.045,， 即,0.36bit/pixel,。,存储：,（按,1,张光盘可存,640M,计算）,如果不进行压缩，,1,张,CD,则仅可以存放,23,秒的数据。存,2,小时的信息则需要压缩到原来数据量的,0.0004,，即：,0.003bit/pixel,。,6,传真数据量分析,如果只传送,2,值图像，以,200dpi,的分辨率传输，一张,A4,稿纸的数据量为：,1654*2337*1=3888768bit =390K,按目前,56.6K,的电话线传输速率，需要传送的时间是：,67.5,秒,7,图像通信系统模型,图像信息源,图像预处理,图像信源编码,信道编码,调制,信道传输,解调,信道解码,图像信源解码,显示图像,8,讨论的内容,数据的冗余,图像压缩编码简介,行程编码,Huffman,编码,DCT,变换编码,混合编码,9,数据的冗余, 基本概念,我们从一个互动游戏来体会数据冗余的概念。,在下面的例子中，用一种最好的方式来发送一封电报。,10,数据的冗余, 基本概念,你的妻子,，,Helen,，,将于明天晚上,6,点零,5,分在,上海,的虹桥机场接你。,(23*2+10=56,个半角字符,),你的妻子将于明天晚上,6,点零,5,分在虹桥机场接你,(20*2+2=42,个半角字符）,Helen,将于明晚,6,点在虹桥接你,(10*2+6=26,个半角字符）,结论：只要接收端不会产生误解，就可以减少承载信息的数据量。,11,数据冗余, 描述上的冗余,描述方式：,1,）这是一幅,2*2,的图像，图像的第一个像素是红的，第二个像素是红的，第三个像素是红的，第四个像素是红的。,2,）这是一幅,2*2,的图像，整幅图都是红色的,。,由此我们知道，整理图像的描述方法可以达到压缩的目的。,1,2,3,4,12,图像冗余, 数据冗余的压缩,图像冗余无损压缩的原理,RGB,RGB,RGB,RGB,RGB,RGB,RGB,RGB,RGB,RGB,RGB,RGB,RGB,RGB,RGB,RGB,16,RGB,从原来的,16*3*8=284bits,压缩为：,(1+3)*8=32bits,压缩比为：12：1,13,图像冗余, 数据冗余的压缩,图像冗余有损压缩的原理,36,35,34,34,34,34,34,32,34,34,33,37,30,34,34,34,34,34,34,34,34,35,34,34,31,34,34,34,34,34,34,34,34,34,34,34,34,34,34,34,34,34,34,34,34,34,34,34,34,34,25,34,14,图像冗余, 实际图像中的数据冗余,实际图像中冗余信息的表现（灰度图）,15,图像冗余, 视觉冗余的压缩,图像的视觉冗余 （彩色）,R,G,B,24,8,8,8,2,2,*,2,*,2,=,24,2,=,16,777,216,(248,27,4),(251,32,15),(248,27,4),(248,27,4),16,图像压缩原理,由于一幅图像存在数据冗余和主观视觉冗余，所以压缩方式就可以从这两方面着手开展。,改变图像信息的描述方式，以压缩掉图像中的数据冗余。,忽略一些视觉不太明显的微小差异，以压缩掉图像中的视觉冗余。,17,图像的压缩编码,第一代压缩编码,八十年代以前，主要是根据传统的信源编码方法。,第二代压缩编码,八十年代以后，突破信源编码理论，结合分形、模型基、神经网络、小波变换等数学工具，充分利用视觉系统生理心理特性和图像信源的各种特性。,18,图像的压缩编码,像素编码,变换编码,预测编码,位平面编码,增量调制,熵编码,算术编码,DCT变换,DPCM调制,第一代压缩编码,其他编码,行程编码,19,图像的压缩编码,子带编码,模型编码,分层编码,分型编码,第二代压缩编码,20,行程编码(RLE编码),基本概念,行程编码是一种最简单的，在某些场合是非常有效的一种无损压缩编码方法。,虽然这种编码方式的应用范围非常有限，但是因为这种方法中所体现出的编码设计思想非常明确，所以在图像编码方法中都会将其作为一种典型的方法来介绍。,21,行程编码, 基本原理,通过改变图像的描述方式，来实现图像的压缩。,将一行中灰度值相同的相邻像素，用一个计数值和该灰度值来代替。,22,行程编码, 实现方法,举例说明：,a=100,b=1,c=23,d=254,aaaa,bbb,cc,d,eeeee,fffffff,4 3 2 1 5 7,(,共,22*8=176 bits),4,a,3,b,2,c,1,d,5,e,7,f,(,共,12*8=96 bits),压缩比为：,176,：,96=1.83:1,23,行程编码,传真中的应用方法,传真件中一般都是白色比较多，而黑色相对比较少。所以可能常常会出现如下的情况：,500,W,3,b,470,w,12,b,4,w,3,b,3000,w,上面的行程编码所需用的字节数为：,因为：204830004096,所以：计数值必须用12 bit来表示,24,行程编码,传真中的应用方法,对于：,500,W,3,b,470,w,12,b,4,w,3,b,3000,w,编码为：,500,3,470,12,4,3,3000,编码位数为:,12,12, 12,12, 12,12,12,需要的数据量为：,12*7=84 bit,因为只有白或黑，而且排版中一定要留出页边距，,因此，一般情况下，可以只传输计数值即可。,25,行程编码,传真中的应用方法,现在，根据传真件的特点，对其进行改进。,既然已经可以预知白色多黑色少，所以可对白色和黑色的计数值采用不同的位数。,以这个例子，可以定义：,白色：,12 bit,，,黑色：,4 bit,26,行程编码,传真中的应用方法,编码为：,500,3,570,12,4,3,3000,编码位数为:,12,4,12,4,12,4,12,所需字节数为：,4*12+3*4=60bit,比原来的RLE方式,84bit,减少到60bit,27,二维行程编码, 基本概念,二维行程编码要解决的核心问题是:,将二维排列的像素，采用某种方式转化成一维排列的方式。之后按照一维行程编码方式进行编码。,28,二维行程编码, 数据排序,如下图所示，是两种典型的二维行程编码的排列方式：,(a),(b),29,二维行程编码例,例：,数据量：64*8=512(bit),30,二维行程编码例,如果按照行扫描的顺序排列的话，数据分布为：,130，130，130，129，134，133，129，130；,130，130，130，129，134，133，130，130；,130，130，130，129，132，132，130，130；,129，130，130，129，130，130，129，129；,127，128，127，129，131，129，131，130；,127，128，127，128，127，128，132，132；,125，126，129，129，127，129，133，132；,127，125，128，128，126，130，131，131,31,二维行程编码例,一维行程编码后为:,（3，130），（1，129），（1，134），（1，133），（1，129），（4，130），（1，129），（1，134），（1，133），（5，130），（1，129），（2，132），（2，130），（1，129），（2，130），（1，129），（2，130），（2，129），（1，127），（1，128），（1，127），（1，129），（1，131），（1，129），（1，131），（1，130），（1，127），（1，128），（1，127），（1，128），（1，127），（1，128），（2，132），（1，125），（1，126），（2，129），（1，127），（1，129），（1，133），（1，132），（1，127），（1，125），（2，128），（1，126），（1，130），（2，131）,数据量为:46*（3+8）=506(bit),压缩比为：512：506=1.02:1,32,二维行程编码例,如果按照列扫描的顺序排列的话，数据分布为：,130，130，130，129，127，127，125，127；,130，130，130，130，128，128，126，125；,130，130，130，130，127，127，129，128；,129，129，129，129，129，128，129，128；,134，134，132，130，131，127，127，126；,133，133，132，130，129，128，129，130；,129，130，130，129，131，132，133，131；,130，130，130，129，130，132，132，131,33,二维行程编码,例,一维行程编码为:,数据量为:42*（3+8）=462(bit),压缩比为：512：462=1.11:1,（,3，130），（1，129），（2，127），（1，125），（1，127），（4， 130），（2，128），（1，126），（1，125），（4，130），（2，127），（1，129），（1，128），（5，129），（1，128），（1，129），（1，128），（2， 134），（1，132），（1，130），（1，131），（2，127），（1，126），（2，133），（1，132），（1，130），（1，129），（1，128），（1，129），（1，130）， （1，129），（2，130），（1，129），（1，131），（1，132），（1，133），（1，131），（3，130），（1，129），（1，130），（2，132），（1，131）,34,二维行程编码,例,如果按照方式(a)扫描的顺序排列的话，数据分布为：,130，130，130，130，130，130，130，130，,130；129，129，129，129，130，130，129；,127，128，127，129，131，130，132，134，,134；133，133，132，130，129，128，127，,128，127，128，127，125，126，129，129；,127，129，133，132，131，129，130，130；,129，130，130，130，129，130，132，132；,131，131，130，126，128，128，127，127,35,二维行程编码,例,一维行程编码为:,数据量为:43*（3+8）=473(bit),压缩比为：512：473=1.08:1,（7,，130），（2，130），（4，129），（2，130），（1，129）；（1，127），（1，128），（1，127），（1，129），（1，131），（1，130），（1，132），（2，134），（2，133），（1，132），（1，130），（1，129），（1，128），（1，127），（1，128），（1，127），（1，128），（1，127），（1，125），（1，126），（2，129），（1，127），（1，129），（1，133），（1，132），（1，131），（1，129），（2，130），（1，129），（3，130），（1，129），（1，130），（2，132），（2，131），（1，130），（1，126），（2，128），（2，127）,36,Huffman 编码（熵编码）,行程编码要获得好的压缩率的前提是，有比较长的相邻像素的值是相同的。,熵是指数据中承载的信息量。,所谓的熵编码是指在完全不损失信息量前提下最小数据量的编码。,37,Huffman编码, 基本原理,为了达到大的压缩率，提出了一种方法就是将在图像中出现频度大的像素值，给一个比较短的编码，将出现频度小的像数值,给一个比较长的编码。,38,Huffman编码, 基本原理,例：,aaaa,bbb,cc,d,eeeee,fffffff,4 3 2 1 5 7,如果不进行特殊的编码，按照图像像素的描述，需要的数据量为：,22*8=176 bits,39,Huffman编码, 基本原理,aaaa,bbb,cc,d,eeeee,fffffff,4 3 2 1 5 7,按照熵编码的原理进行编码：,f=0 e=10 a=110 b=1111 c=11100 d=11101,这里的编码规则是长短不一的异字头码,40,Huffman编码, 基本原理,由：,f=0 e=10 a=110 b=1111 c=11100 d=11101,aaaa bbb cc d eeeee fffffff,11111111111111111100000,数据量：7*1+5*2+4*3+3*4+2*5+1*5=56 bit,压缩比为：176：56=3.14：1,41,Huffman编码, 算法,首先求出图像中灰度分布的灰度直方图；,根据该直方图，对其按照分布概率从小到大的顺序进行排列；,每一次从中选择出两个概率为最小的节点相加，形成一个新的节点，构造一个称为“,Huffman,树”的二叉树；,对这个二叉树进行编码，就获得了,Huffman,编码码字。,42,Huffman编码, 例,例：对数据序列,aaaa,bbb,cc,d,eeeee,fffffff,其概率分布为：,a:4/22 b:3/22 c:2/22,d:1/22 e:5/22 f:7/22,概率大小的排序为：,d, c, b, a, e, f,1/22 2/22 3/22 4/22 5/22 7/22,43,Huffman编码, 例,c,b,a,f,e,7/22,5/22,4/22,2/22,1,0,f=11 e=01 a=00 b=101 c=1001 d=1000,d,1/22,3/22,6/22,22/22,13/22,9/22,3/22,1,0,1,0,1,0,1,0,44,Huffman编码, 压缩效率,对这个例子，计算出经过,Huffman,编码后的数据为：,1010101010,001001001,0000,1111111111,101,共,7*2+5*2+4*2+3*3+2*4+1*4=,53,bit,压缩比为176：53=3.32:1,45,Huffman编码, 图像压缩中的应用,我们知道，对一幅图像进行编码时，如果图像的大小大于,256,时，这幅图像的不同的码字就有可能是很大，例如极限为,256,个不同的码字。,这时如果采用全局,Huffman,编码则压缩效率不高。甚至有可能与原来的等长编码的数据量相同。,46,Huffman编码, 图像压缩中的应用,常用的且有效的方法是：,将图像分割成若干的小块，对每块进行独立的Huffman编码。例如：分成,的子块，就可以大大降低不同灰度值的个数（最多是64而不是256）。,47,Huffman编码, 图像压缩中的应用,8*8分块的编码压缩比为2.12:1,16*16分块的编码压缩比为1.64:1,全图的编码压缩比为1.09:1,48,DCT变换编码, 问题的提出,行程编码与,Huffman,编码的设计思想都是基于对,信息表述方法的改变,，属于无损压缩方式。,虽然无损压缩可以保证接收方获得的信息与发送方相同，但是其压缩率一定有极限。,因此，采用忽略视觉不敏感的部分进行有损压缩是提高压缩率的一条好的途径。,49,DCT变换编码, 设计思想,DCT,变换是希望在接收方不产生误解的前提下进行一定的信息丢失。,由前面所讲到的频域变换得到的启示，就是将低频与高频部分的信息，分别按照不同的数据承载方式进行表述。,50,DCT变换编码, DCT变换,复习DCT变换：,正变换：,逆变换：,其中：,51,DCT变换编码, 方法,DCT变换,DCT逆变换,原图像,除以量化系数,取整,1）编码过程：,2）解码过程：,压缩图像,乘以量化系数,取整,压缩,图像,解压,图像,52,DCT变换编码, 例,Huffman:42bits； 压缩比为3.05:1,Huffman:16bits;,压缩比为：8:1,例：,原图像为：,DCT变换,除以量化系数，取整,53,DCT变换编码, 例图,原图,解压图,54,混合编码, 设计思想,每一种编码方式都有其擅长的一点，以及局限的一点，混合编码的思想就是将两种以上的编码方式的优点进行综合，达到提高编码效率的目的。,55,混合编码, 可能性及有效性分析,回顾一下讲过的几个内容的特点：,行程编码：,擅长于重复数字的压缩。,Huffman,编码：,擅长于像素个数分布不均匀情况下的编码。,DCT,变换：,擅长分离视觉敏感与不敏感的部分。,56,混合编码, 例,例：,aaaa,bbb,cc,d,eeeee,fffffff,（,共22*8=176 bits),4 3 2 1 5 7,行程编码：4a3b2c1d5e7f,(共6*（,8+3）= 66Bits,),176,66,57,混合编码, 例,aaaa,bbb,cc,d,eeeee,fffffff,（共22*8=176 bits),4 3 2 1 5 7,Huffman编码：,f=01 e=11 a=10 b=001 c=0001 d=0000,1010101010,001001001,0000,1111111111,101,(共 7*2+5*2+4*2+3*3+2*4+1*4=,53,bits),176,66,53,58,混合编码, 例,aaaa,bbb,cc,d,eeeee,fffffff,（共22*8=,176 bits,),4 3 2 1 5 7,Hufman与行程编码混合：,4,10,3,001,2,0001,1,0000,5,11,7,01,(共：,3,+2+,3,+3+,3,+4+,3,+4+,3,+2+,3,+2=,35,bits),176,66,53,35,1:1,2.67:1,3.32:1,5.03:1,59,混合编码, 图像实际压缩编码例,一次小波变换,DCT变换.行程编码,Huffman编码,一次小波变换,Huffman编码,变字长行程编码,差值编码,60,复原图,原图,算法1,信噪比：66.02,压缩比:11.83:1,61,复原图,原图,信噪比：64.55,压缩比:26.50:1,算法 2,62,原图,JPEG 100：1,混合编码 400:1,混合编码 600:1,63,