保真度准则下的信源编码.ppt

第7章 保真度准则下的信源编码,7.1 失真度和平均失真度,7.2 信息率失真函数及其性质,7.3 二元信源和离散对称信源的R(D)函数,7.4 保真度准则下的信源编码定理,7.5 联合有失真信源信道编码定理,7.6 有失真信源编码定理的实用意义,7.1 失真度和平均失真度,在实际生活中，人们不一定要求完全无失真的恢复消息，也就是允许有一定的失真。 那么在允许一定程度失真的条件下，能够把信源信息压缩到什么程度，也就是，允许一定程度失真的条件下，如何能快速的传输信息，这就是本章所要讨论的问题。 本章所讨论的内容是量化、数模转换、频带压缩和数据压缩的理论基础。,1、失真度,信源,信源编码,信道编码,信道,信道译码,信源译码,信宿,干扰,根据信道编码定理，我们可以把信道编码、信道和信道解码等价成是一个没有任何干扰的广义信道，这样收信者收到消息后，所产生的失真只是由信源编码带来的。我们也可以把信源编码和信源译码等价成一个信道。,7.1 失真度和平均失真度,信源,信宿,7.1 失真度和平均失真度,试验信道,我们称此信道为试验信道。,现在我们要研究在给定允许失真的条件下，是否可以设计一种信源编码使信息传输率为最低。为此，我们首先讨论失真的测度。,设信源变量为 ，其概率分布为,对于每一对(u,v)，我们指定一个非负的函数,称为单个符号的失真度（或称失真函数）,接受端变量为 ，,7.1 失真度和平均失真度,失真函数用来表征信源发出一个符号 ，而在接收端再现成符号 所引起的误差或失真。d越小表示失真越小，等于0表示没有失真。 可以将所有的失真函数排列成矩阵的形式：,我们称它为失真矩阵。,7.1 失真度和平均失真度,例1：,失真矩阵为：,这种失真成为汉明失真,在二元情况下：,7.1 失真度和平均失真度,例2：删除信源,对于二元删除信源r=2,s=3,7.1 失真度和平均失真度,例3：对称信源r=s，定义失真度为：,当r=s=3时，,失真矩阵为：,7.1 失真度和平均失真度,2、平均失真度,若已知试验信道的传递概率，则平均失真度为：,若平均失真度 不大于我们所允许的失真D，我们称此为保真度准则。,凡满足保真度准则的这些试验信道称为D失真许可的试验信道。把所有D失真许可的试验信道组成一个集合，用符号 表示。,7.2 信息率失真函数及其性质,1、信息率失真函数 当信源和失真函数给定后，我们总希望在满足保真度准则下寻找平均互信息的最小值。也就是在 中找一个信道，使平均互信息取极小值。这个最小值就是在 的条件下，信源必须传输的最小平均信息量。,改变试验信道求平均互信息的最小值，实质上是选择一种编码方式使信息传输率为最小。,7.2 信息率失真函数及其性质,2、信息率失真函数的性质 1)、R(D)的定义域是,(1)、 和,允许失真度D的最小值为0，即不允许有失真，这要求失真矩阵中每行至少有一个为0。,R(0)的最小值为H(U)，即信息传输率至少为信源的信息熵,例：,7.2 信息率失真函数及其性质,满足最小失真度的试验信道是一个无噪无损信道：,(2),因为D越大，R(D)越小，最小为0，当D再大时，R(D)也只能为0，此时，发送与接收统计独立，即：,失真度函数变为：,7.2 信息率失真函数及其性质,所以， 就是在R(D)=0的情况下，求 的最小值,当 时， 而当 时,上式可改写为,可以这样选 ，当 最小时，取 等于1，则：,7.2 信息率失真函数及其性质,2)、 R(D)函数的单调递减性和连续性,0,D,R(D),7.3 二元信源和离散对称信源的R(D)函数,1、二元对称信源的R(D)函数,设二元信源U=0,1，其分布概率 ，,而接收变量v=0,1，设汉明失真矩阵为：,因而最小失真度 。并能找到满足该最小失真的试验信道，且是一个无噪无损信道，其信道矩阵为：,7.3 二元信源和离散对称信源的R(D)函数,要达到最大允许失真，唯一确定,此时，可计算得信息传输率,一般情况下，当 时，,7.3 二元信源和离散对称信源的R(D)函数,可以计算得：二元信源得信息率失真函数为,例：,在汉明失真条件下，,7.3 二元信源和离散对称信源的R(D)函数,对于离散对称信源，在汉明失真条件下：,7.4 保真度准则下的信源编码定理,定理7.1 保真度准则下的信源编码定理,设R(D)为一离散无记忆信源的信息率失真函数，并且有有限的失真测度。对于任意的 ，以及任意足够长的码长n，则一定存在一种信源编码C，其码字个数为,而编码后的平均失真度,如果用二元编码，则：,该定理称为香农第三定理。它告诉我们，对于任何失真度D，只要码长足够长，总可以找到一种编码C，使编码后的每个信源符号的信息传输率,7.4 保真度准则下的信源编码定理,定理7.2（信源编码逆定理）不存在平均失真度D，而平均信息传输率 的任何信源编码。即对任意码长n的信源码C，若码字个数 ，一定d(C)D,该定理告诉我们：如果编码后平均每个信源符号的信息传输率R小于信息率失真函数R(D)，就不能在保真度准则下再现信源的消息。,7.5 联合有失真信源信道编码定理,定理7.3 （信息传输定理）离散无记忆信源的S的信息率失真函数为R(D)，离散无记忆信道的信道容量C，若满足,则信源输出的信源序列能在此信道输出端重现，其失真小于等于D。,定理7.4 离散无记忆信源的S的信息率失真函数为R(D)，每秒钟输出1/Ts个信源符号，离散无记忆信道的信道容量C，每秒输出 1/Tc个信源符号，若满足,则信源输出的信源序列能在此信道输出端重现，其失真小于等于D。,7.5 联合有失真信源信道编码定理,定理7.4 离散无记忆信源的S的信息率失真函数为R(D)，每秒钟输出 个信源符号，离散无记忆信道的信道容量C，每秒输出 个信源符号，若满足,则信源输出的信源序列能在此信道输出端重现，其失真小于等于D。,7.6 有失真信源编码定理的实用意义,例：,要对此信源进行无失真编码，每个信源符号必须用一个二元符号来表示，信源的信息输出率为R=H=1。若允许失真存在，并定义失真函数为汉明失真，即,可以设想这样一种信源编码：,7.6 有失真信源编码定理的实用意义,无噪无损信道传输,7.6 有失真信源编码定理的实用意义,这种编码方法，可以看成是一种特殊的试验信道,信息率为1/3，而平均失真为1/4，根据香农第三定理，若允许失真D=1/4时，总可以找到一种编码，使信息输出率达到极限R(1/4),7.6 有失真信源编码定理的实用意义,香农第三定理是一个存在定理，至于如何寻找这种最佳编码方法并没有给出，在实际应用中，存在一下两方面的问题：,1、符合实际信源的R(D)函数的计算相当困难。,1）需要对实际信源的统计特性有确切的描述,2）需要对符合主客观实际的失真给予正确的描述,3）即使满足了前两条，R(D)的计算也比较困难,7.6 有失真信源编码定理的实用意义,香农第三定理是一个存在定理，至于如何寻找这种最佳编码方法并没有给出，在实际应用中，存在一下两方面的问题：,2、即使求得很好的R(D)函数，还需要研究采取何种编码方法才能达到极限值R(D)。,目前，这两方面工作都有进展。,