-保真度准则下的信源编码课件

第六章第六章 保真度准则下的信源编码保真度准则下的信源编码第一节第一节 失失真度和平均失真度真度和平均失真度第二节第二节 信信息率失真函数及其性质息率失真函数及其性质第三节第三节 二元信源和离散对称信源的二元信源和离散对称信源的R(D)函数函数 第四节第四节 保真度准则下的信源编码定理保真度准则下的信源编码定理 第五节第五节 联合有失真信源信道编码定理联合有失真信源信道编码定理第六节第六节 限失真信源编码定理的实用意义限失真信源编码定理的实用意义1、实际通信中存在失真。、实际通信中存在失真。在在实实际际通通信信中中，信信源源输输出出的的信信息息传传输输率率总总是是大大大大超超过过信信道容量，不可能实现完全无失真地传输信源的信息。道容量，不可能实现完全无失真地传输信源的信息。此此外外，为为了了提提高高传传输输和和存存储储效效率率，必必须须进进行行数数据据压压缩缩，这样也会损失一定的信息，带来失真。这样也会损失一定的信息，带来失真。2、实际生活中允许有一定失真。、实际生活中允许有一定失真。在在实实际际生生活活中中，人人们们不不一一定定要要求求完完全全无无失失真真的的恢恢复复消消息息，也就是允许有一定的失真。也就是允许有一定的失真。引言引言3、引出所研究的问题：允许一定失真下信源编码。、引出所研究的问题：允许一定失真下信源编码。那那么么在在允允许许一一定定程程度度失失真真的的条条件件下下，能能够够把把信信源源信信息息压压缩缩到到什什么么程程度度，也也就就是是，允允许许一一定定程程度度失失真真的的条条件件下下，如如何何能快速的传输信息，这就是本章所要讨论的问题。能快速的传输信息，这就是本章所要讨论的问题。本本章章所所讨讨论论的的内内容容是是量量化化、数数模模转转换换、频频带带压压缩缩和和数数据据压缩的理论基础。压缩的理论基础。失失真真度度如如何何表表示示？基基于于失失真真度度定定义义的的信信息息率率失失真真函函数数及及其其性性质质？什什么么是是保保真真度度准准则则？在在保保真真度度准准则则下下如如何何进进行行信信源源编码？编码？引言引言第一节第一节 失失真度和平均失真度真度和平均失真度 1、失真度、失真度 根据信道编码定理，我们可以把信道编码、信道和信道解码等价成根据信道编码定理，我们可以把信道编码、信道和信道解码等价成是一个没有任何干扰的广义信道，这样收信者收到消息后，所产生的失是一个没有任何干扰的广义信道，这样收信者收到消息后，所产生的失真只是由信源编码带来的。我们也可以把信源编码和信源译码等价成一真只是由信源编码带来的。我们也可以把信源编码和信源译码等价成一个信道，称此信道为个信道，称此信道为试验信道试验信道。第一节第一节 失真度和平均失真度失真度和平均失真度现在我们要研究现在我们要研究在给定允许失真的条件下，是否可以设计一种信源编码在给定允许失真的条件下，是否可以设计一种信源编码使信息传输率为最低使信息传输率为最低。为此，我们首先讨论失真的测度。为此，我们首先讨论失真的测度。设信源变量为设信源变量为 ，其概率分布为，其概率分布为 对于每对于每一对一对(u,v)，我们指定一个非负的函数我们指定一个非负的函数称为称为单个符号的失真度单个符号的失真度（或称（或称失真函数失真函数）。）。接收端（信宿）变量为接收端（信宿）变量为 。第一节第一节 失真度和平均失真度失真度和平均失真度 失失真真函函数数用用来来表表征征信信源源发发出出一一个个符符号号 ，而而在在接接收收端端再再现现成成符符号号 所所引引起起的的误误差差或或失失真真。d 越越小小表表示示失失真真越越小小，等等于于0表表示示没没有有失失真。真。可以将所有的失真函数排列成矩阵的形式：可以将所有的失真函数排列成矩阵的形式：我们称它为我们称它为失真矩阵失真矩阵。第一节第一节 失真度和平均失真度失真度和平均失真度例例1：失真矩阵为：失真矩阵为：这种失真称为这种失真称为汉明失真汉明失真。在二元情况下：在二元情况下：第一节第一节 失真度和平均失真度失真度和平均失真度例例2 二元删除信道二元删除信道X=0,1;Y=0,2,1P =02101-pp010p1-p 0 1-p 0 pp 1 1-p 12回忆：二元删除信道回忆：二元删除信道 这种信道实际是存在的。假如有一个实这种信道实际是存在的。假如有一个实际信道，它的输入时代表际信道，它的输入时代表0和和1的两个正、负的两个正、负方波信号，如图方波信号，如图3.5(a)所示。那么，信道输所示。那么，信道输出送入译码器的将是受干扰后的方波信号出送入译码器的将是受干扰后的方波信号R(t)，如图，如图3.5(b)所示。我们可以用积分所示。我们可以用积分I=来判别发送的信号是来判别发送的信号是“0”，还，还是是“1”。如果。如果I是正的，且大于某一电平，是正的，且大于某一电平，那么判别发送的是那么判别发送的是“0”；若；若I是负的，且小是负的，且小于某一电平，则判别发送的是于某一电平，则判别发送的是“1”。而若。而若I的绝对值很小，不能做出确切的判断，就认的绝对值很小，不能做出确切的判断，就认为接收到的是特殊符号为接收到的是特殊符号“2”，假如信道干，假如信道干扰不是很严重的话，那么，扰不是很严重的话，那么，1 0和和0 1的的可能性要比可能性要比0 2和和1 2的可能性小的多，所以假设的可能性小的多，所以假设P(y=1|x=0)=P(y=0|x=1)=0是较合理是较合理的。的。0 1-p 0 pp 1 1-p 12例例2：删除信源：删除信源对于二元删除信源对于二元删除信源r=2，s=3，失真度为，失真度为第一节第一节 失真度和平均失真度失真度和平均失真度例例3：对称信源：对称信源r=s，定义失真度为：，定义失真度为：当当r=s=3时，时，失真矩阵为：失真矩阵为：第一节第一节 失真度和平均失真度失真度和平均失真度平方误差失真平方误差失真第一节第一节 失真度和平均失真度失真度和平均失真度2、平均失真度、平均失真度第一节第一节 失真度和平均失真度失真度和平均失真度 若平均失真度若平均失真度 不大于我们所允许的失真不大于我们所允许的失真D，我们称此为，我们称此为保真度准则保真度准则。凡满足保真度准则的这些试验信道称为凡满足保真度准则的这些试验信道称为D失真许可的试验信道失真许可的试验信道。把所有。把所有D失失真许可的试验信道组成一个集合，用符号真许可的试验信道组成一个集合，用符号BD表示。表示。第二节第二节 信信息率失真函数及其性质息率失真函数及其性质回忆：回忆：互信息互信息 事件事件 是否发生具有不确定性，用是否发生具有不确定性，用 度量。度量。接收到符号接收到符号 后，事件后，事件 是否发生仍保留有一定的不确定性，是否发生仍保留有一定的不确定性，用用 度量。度量。观察事件前后，这两者之差就是通信过程中所获得的信息量，观察事件前后，这两者之差就是通信过程中所获得的信息量，用用 表示，称为事件表示，称为事件 和事件和事件 之间的之间的互信息量互信息量。I(X;Y)=H(X)-H(X|Y)因为因为H(X)表示传输前信源的不确定性，而表示传输前信源的不确定性，而H(X|Y)表示收到符号表示收到符号后，对信源尚存的不确定性，所以二者之差是信道传递的信息量。后，对信源尚存的不确定性，所以二者之差是信道传递的信息量。P(x)平均互信息定义：平均互信息定义：互信息互信息I(x:y)在两个概率空间在两个概率空间X和和Y中求统计平均的结果；中求统计平均的结果；先验熵与信道疑义度之差。先验熵与信道疑义度之差。回忆：回忆：平均互信息平均互信息 定理定理3.1：平均互信息：平均互信息I(X;Y)是输入信源概率分布是输入信源概率分布P(x)的的 型型凸函数（又称上凸函数）。凸函数（又称上凸函数）。这这就就是是说说，对对于于一一定定的的信信道道转转移移概概率率分分布布，总总可可以以找找到到某某一一个个先先验验概概率率分分布布的的信信源源X，使使平平均均互互信信息息量量达达到到相相应应的的最最大大值值Imax，这这时时称称这这个个信信源源为为该该信信道道的的匹匹配配信信源源。可可以以说说不不同同的的信信道道转转移移概概率率对对应应不不同同的的Imax。因因此此，当当固固定定某某信信道道时时，选选择择不不同同的的信信源源（其其概概率率分分布布不不同同）与与信信道道连连接接，在在信信道道输输出出端端接接收收到到每每个个符符号号后后获获得得的的信信息息量量是是不不同同的的。对对于于每每一一个个固固定定的的信信道道，一一定定存存在在一一个某种概率分布的信源，使输出端获得的平均信息量为最大。个某种概率分布的信源，使输出端获得的平均信息量为最大。回忆：回忆：平均互信息的性质平均互信息的性质 定定理理3.2 平平均均互互信信息息I(X;Y)信信道道传传递递概概率率P(y|x)的的U型型凸凸函函数数（又又称称下凸函数）。下凸函数）。这这就就是是说说，对对于于一一个个已已知知先先验验概概率率为为P(X)的的离离散散信信源源，总总可可以以找找到到某某一一个个转转移移概概率率分分布布的的信信道道，使使平平均均互互信信息息量量达达到到相相应应的的最最小小值值Imin。可可以以说说不不同同的的信信源源先先验验概概率率对对应应不不同同的的Imin。或或者者说说Imin是是P(X)的的函函数数。即即平平均均互互信信息息量量的的最最小小值值体体现现了了信信源源本本身身的的特特性性。因因此此，当当信信源源固固定定后后，选选择择不不同同的的信信道道来来传传输输同同一一信信源源符符号号时时，在在信信道道的的输输出出端端获获得得关关于于信信源源的的信信息息量量是是不不同同的的。对对每每一一种种信信源源都都存存在在一一种种最最差差的的信信道道，此此信道的干扰（噪声）最大，而输出端获得的信息量最小。信道的干扰（噪声）最大，而输出端获得的信息量最小。回忆：回忆：平均互信息的性质平均互信息的性质 对于一个固定的信道，总存在一种信源（概率分布为对于一个固定的信道，总存在一种信源（概率分布为P(x)），），使传输每个符号平均获得的信息量最大，定义这个最大的信息传使传输每个符号平均获得的信息量最大，定义这个最大的信息传输率为输率为信道容量信道容量C，单位是比特，单位是比特/符号，即符号，即 信道容量是完全描述信道特性的参量，是信道能够传输的最大信道容量是完全描述信道特性的参量，是信道能够传输的最大信息量。信息量。回忆：回忆：平均互信息与信道容量平均互信息与信道容量第二节第二节 信息率失真函数及其性质信息率失真函数及其性质1、信息率失真函数、信息率失真函数 当当信信源源和和失失真真函函数数给给定定后后，我我们们总总希希望望在在满满足足保保真真度度准准则则下下寻寻找找平平均均互互信信息息的的最最小小值值。也也就就是是在在 中中找找一一个个信信道道，使使平平均均互互信信息息取取极极小小值值。这这个最小值就是在个最小值就是在 的条件下，信源必须传输的最小平均信息量。的条件下，信源必须传输的最小平均信息量。改变试验信道求平均互信息的最小值，实质上是选择一种编码方式使改变试验信道求平均互信息的最小值，实质上是选择一种编码方式使信息传输率为最小。信息传输率为最小。现在我们要研究在给定允许失真的条件下，现在我们要研究在给定允许失真的条件下，设计一种信源编码使信息传输率为最低。设计一种信源编码使信息传输率为最低。从接收端来看，就是在满足保真度准则下，寻找从接收端来看，就是在满足保真度准则下，寻找再现信源消息所必须获得的最低平均信息量。再现信源消息所必须获得的最低平均信息量。第二节第二节 信息率失真函数及其性质信息率失真函数及其性质2、信息率失真函数的性质、信息率失真函数的性质 1)、R(D)的定义域是的定义域是 (1)、和和 允许失真度允许失真度D的最小值为的最小值为0，即不允许有失真，即不允许有失真，R(0)的最小值为的最小值为H(U)，即信息传输率至少为信源的信息熵。即信息传输率至少为信源的信息熵。例：例：满足最小失真度的试验信道是一个无噪无损信道：满足最小失真度的试验信道是一个无噪无损信道：第二节第二节 信息率失真函数及其性质信息率失真函数及其性质(2)因为因为D越大，越大，R(D)越小，最小为越小，最小为0，当，当D再大时，再大时，R(D)也只能为也只能为0，此时，发送与接收统计独立，即：此时，发送与接收统计独立，即：失真度函数变为：失真度函数变为：当当 时，时，而当而当 时，时，可以这样选可以这样选 ，当，当 最小时，取最小时，取 等于等于1，则：，则：所以，所以，就是在就是在R(D)=0的情况下，求的情况下，求 的最小值的最小值第二节第二节 信息率失真函数及其性质信息率失真函数及其性质2)、R(D)是是D的下凸函数的下凸函数0DR(D)第二节第二节 信息率失真函数及其性质信息率失真函数及其性质3)、R(D)函数的单调递减性和连续性函数的单调递减性和连续性第三节第三节 二元信源和离散对称信源的二元信源和离散对称信源的R(D)函数函数 第三节第三节 二元信源和离散对称信源的二元信源和离散对称信源的R(D)函数函数1、二元对称信源的R(D)函数 要达到最大允许失真，唯一确定要达到最大允许失真，唯一确定 此时，可计算得信息传输率此时，可计算得信息传输率 一般情况下，当一般情况下，当 时，时，第三节第三节 二元信源和离散对称信源的二元信源和离散对称信源的R(D)函数函数在汉明失真度下，在汉明失真度下，平均失真度等于平平均失真度等于平均错误率。均错误率。可以计算得：可以计算得：二元信源二元信源的信息率失真函数为的信息率失真函数为在汉明失真条件下，在汉明失真条件下，例：例：第三节第三节 二元信源和离散对称信源的二元信源和离散对称信源的R(D)函数函数 对于离散对称信源，在汉明失真条件下：对于离散对称信源，在汉明失真条件下：第四节第四节 保真度准则下的信源编码定理保真度准则下的信源编码定理 第四节第四节 保真度准则下的信源编码定理保真度准则下的信源编码定理使编码后的每个信源符使编码后的每个信源符号的信息传输率满足：号的信息传输率满足：该定理告诉我们：该定理告诉我们：即即 ，而码的平，而码的平均失真度均失真度 。该定理告诉我们：该定理告诉我们：如果编码后平均每个信源符号的信息传输率如果编码后平均每个信源符号的信息传输率 小小于信息率失真函数于信息率失真函数 ，就不能在保真度准则下再现信源的消息。，就不能在保真度准则下再现信源的消息。第四节第四节 保真度准则下的信源编码定理保真度准则下的信源编码定理第五节第五节 联合有失真信源信道编码定理联合有失真信源信道编码定理第五节第五节 联合有失真信源信道编码定理联合有失真信源信道编码定理第六节第六节 限失真信源编码定理的实用意义限失真信源编码定理的实用意义第六节第六节 限失真信源编码定理的实用意义限失真信源编码定理的实用意义例：例：要要对对此此信信源源进进行行无无失失真真编编码码，每每个个信信源源符符号号必必须须用用一一个个二二元元符符号号来来表表示示，信信源源的的信信息息输输出出率率为为R=H=1。若若允允许许失失真真存存在在，并并定定义义失失真真函数为汉明失真，即函数为汉明失真，即可以设想这样可以设想这样一种信源编码：一种信源编码：无噪无损无噪无损信道传输信道传输第六节第六节 限失真信源编码定理的实用意义限失真信源编码定理的实用意义U V Y f(U)失真信源编码失真信源编码码字码字C=(0，1)实际信道实际信道 译码译码 U 000，101，100，110，011，111，001，V 000，111，000，111，111，111，000，C 0，1，0，1，1，1，0，Y 0，1，0，1，1，1，0，000，111，000，111，111，111，000，编编 码码译译 码码信信 道道无噪无损无噪无损 信道信道图图7.18 信源编码引起失真的示意图信源编码引起失真的示意图第六节第六节 限失真信源编码定理的实用意义限失真信源编码定理的实用意义这种编码方法，可以看成是一种特殊的试验信道这种编码方法，可以看成是一种特殊的试验信道 信息率为信息率为1/3，而平均失真为，而平均失真为1/4，根据香农第三定理，若允许失，根据香农第三定理，若允许失真真D=1/4时，总可以找到一种编码，使信息输出率达到极限时，总可以找到一种编码，使信息输出率达到极限R(1/4)第六节第六节 限失真信源编码定理的实用意义限失真信源编码定理的实用意义 香香农农第第三三定定理理是是一一个个存存在在定定理理，至至于于如如何何寻寻找找这这种种最最佳佳编编码码方方法并没有给出，在实际应用中，存在以下两方面的问题：法并没有给出，在实际应用中，存在以下两方面的问题：1、符合实际信源的、符合实际信源的R(D)函数的计算相当困难。函数的计算相当困难。1）需要对实际信源的统计特性有确切的描述）需要对实际信源的统计特性有确切的描述2）需要对符合主客观实际的失真给予正确的描述）需要对符合主客观实际的失真给予正确的描述3）即使满足了前两条，）即使满足了前两条，R(D)的计算也比较困难的计算也比较困难2、即即使使求求得得很很好好的的R(D)函函数数，还还需需要要研研究究采采取取何何种种编编码码方方法法才才能能达达到极限值到极限值R(D)。目前，这两方面工作都有进展。目前，这两方面工作都有进展。本章重点本章重点1、掌握失真度和平均失真度的概念及其含义；、掌握失真度和平均失真度的概念及其含义；2、掌握信息率失真函数的定义及其性质；、掌握信息率失真函数的定义及其性质；3、知道二元信源和离散对称信源的、知道二元信源和离散对称信源的R(D)函数函数 4、理解保真度准则下的信源编码定理和联合有失真信源信道编码、理解保真度准则下的信源编码定理和联合有失真信源信道编码 定理的内容。定理的内容。