信息论第7章北理工课件

1第七章第七章 保真度准则下的信源编码保真度准则下的信源编码第一节第一节 失真度和平均失真度失真度和平均失真度第二节第二节 信息率失真函数及其性质信息率失真函数及其性质第三节第三节 离散信源的信息率失真函数离散信源的信息率失真函数第五节第五节 保真度准则下的信源编码定理保真度准则下的信源编码定理 第六节第六节 联合有失真信源信道编码定理联合有失真信源信道编码定理第七节第七节 有失真信源编码定理的实用意义有失真信源编码定理的实用意义第四节第四节 连续信源的信息率失真函数连续信源的信息率失真函数1第七章第七章 保真度准则下的信源编码第一节保真度准则下的信源编码第一节 失真度和平均失真度第失真度和平均失真度第7.1 7.1 失真度和平均失真度失真度和平均失真度 在实际生活中，人们不一定要求完全无失真的在实际生活中，人们不一定要求完全无失真的恢复消息，也就是允许有一定的失真。恢复消息，也就是允许有一定的失真。那么在允许一定程度失真的条件下，能够把那么在允许一定程度失真的条件下，能够把信源信息压缩到什么程度，也就是，允许一定程度信源信息压缩到什么程度，也就是，允许一定程度失真的条件下，如何能快速的传输信息，这就是本失真的条件下，如何能快速的传输信息，这就是本章所要讨论的问题。章所要讨论的问题。7.1 失真度和平均失真度失真度和平均失真度 在实际生活中，人们不一定要在实际生活中，人们不一定要(1)(1)“消息完全无失真传送消息完全无失真传送”的可实现性的可实现性o信道编码定理信道编码定理：无论何种信道，只要信息率：无论何种信道，只要信息率R R小于信道小于信道容量容量C C，总能找到一种编码，使在信道上能以任意小的，总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于错误概率和任意接近于C C 的传输率来传送信息。反之，的传输率来传送信息。反之，若若R R C C，则传输总要失真。，则传输总要失真。o完全无失真传送不可实现：完全无失真传送不可实现：n实际的信源常常是连续的，信息率无限大，要无失实际的信源常常是连续的，信息率无限大，要无失真传送要求信息率真传送要求信息率R R为无穷大；为无穷大；n实际信道带宽是有限的，所以信道容量受限制。要实际信道带宽是有限的，所以信道容量受限制。要想无失真传输，所需的信息率大大超过信道容量想无失真传输，所需的信息率大大超过信道容量R RC C。一、引 言(1)“消息完全无失真传送消息完全无失真传送”的可实现性一、引的可实现性一、引 言言(2)(2)实际中允许一定程度的失真实际中允许一定程度的失真o 技术发展的需要技术发展的需要n随着科学技术的发展，数字系统应用得越来越广泛，这随着科学技术的发展，数字系统应用得越来越广泛，这就需要传送、存储和处理大量的数据。为了提高传输和就需要传送、存储和处理大量的数据。为了提高传输和处理效率，往往需要对数据压缩，这样也会带来一定的处理效率，往往需要对数据压缩，这样也会带来一定的信息损失。信息损失。n人类社会已进入信息时代，信息爆炸的结果要求人们解人类社会已进入信息时代，信息爆炸的结果要求人们解决如何对浩如烟海的数据有效的压缩，减少数据的决如何对浩如烟海的数据有效的压缩，减少数据的存储存储容量容量(如各种数据库、电子出版物、多媒体娱乐如各种数据库、电子出版物、多媒体娱乐)、传输传输时间时间(如数据通信和遥测如数据通信和遥测)、或、或占有带宽占有带宽(如多媒体通信、如多媒体通信、数字音频广播、高清晰度电视数字音频广播、高清晰度电视)，要想方设法压缩给定，要想方设法压缩给定消息消息 集合占用的空间域、时间域和频率域资源。集合占用的空间域、时间域和频率域资源。n如海洋地球物理勘探遥测数据，用如海洋地球物理勘探遥测数据，用6060路传感器，每路信路传感器，每路信号号1 1KHzKHz，1616位位A A/D D量化，每航测量化，每航测1 1KmKm就需记录就需记录1 1盘盘0.50.5英寸英寸的磁带，一条测量船每年就可勘测的磁带，一条测量船每年就可勘测1500015000KmKm，数据流之，数据流之大可见一斑。大可见一斑。(2)实际中允许一定程度的失真实际中允许一定程度的失真o实际生活中的需要实际生活中的需要n实际生活中，人们一般并不要求获得完全无失实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。即允许一定的失真存在。n例如打电话：即使语音信号有一些失真，接电例如打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接收信号的带宽和分辨话的人也能听懂。人耳接收信号的带宽和分辨率是有限的。率是有限的。n放电影：理论上需要无穷多幅静态画面，由于放电影：理论上需要无穷多幅静态画面，由于人眼的人眼的“视觉暂留性视觉暂留性”，实际上只要每秒放映，实际上只要每秒放映2424幅静态画面。幅静态画面。n有些失真没有必要完全消除。有些失真没有必要完全消除。实际生活中的需要实际生活中的需要o在允许一定程度失真的条件下，能够把信源在允许一定程度失真的条件下，能够把信源信息压缩到什么程度信息压缩到什么程度,即即:最少需要多少比特最少需要多少比特数才能描述信源数才能描述信源.也就是也就是 在允许一定程度失在允许一定程度失真的条件下真的条件下,如何能快速的传输信息如何能快速的传输信息.这就是这就是信息率失真理论信息率失真理论.在允许一定程度失真的条件下，能够把信源信息压缩到什么程度在允许一定程度失真的条件下，能够把信源信息压缩到什么程度,即即(3)(3)信息率失真理论信息率失真理论o信息率失真函数信息率失真函数n香农定义了信息率失真函数香农定义了信息率失真函数R R(D D)。n定理指出定理指出：在允许一定失真度：在允许一定失真度D D的情况下，的情况下，信源输出的信息率可压缩到信源输出的信息率可压缩到R R(D D)。n信息率失真理论是信息率失真理论是量化量化（模数转换）、（模数转换）、数模数模转换转换、频带压缩频带压缩和和数据压缩数据压缩的理论基础。的理论基础。(3)信息率失真理论信息率失真理论o我们将信道编码和译码都看成是信道的一部分。我们将信道编码和译码都看成是信道的一部分。o又根据信道编码定理，我们可以把信道编码、信道、又根据信道编码定理，我们可以把信道编码、信道、信道译码这三部分看成是一个没有任何干扰的广义信道译码这三部分看成是一个没有任何干扰的广义信道。这样收信者收到消息后所产生的失真信道。这样收信者收到消息后所产生的失真(或误差或误差)只是由信源编码带来的。只是由信源编码带来的。o从直观感觉可知，从直观感觉可知，若允许失真越大，信息传输率可若允许失真越大，信息传输率可越小；若允许失真越小，信息传输率需越大。越小；若允许失真越小，信息传输率需越大。所以所以信息传输率与信源编码所引起的失真信息传输率与信源编码所引起的失真(或误差或误差)是有是有关的。关的。o为了定量地描述信息传输率和失真的关系，我们用为了定量地描述信息传输率和失真的关系，我们用虚拟手法拿信道来表示失真信源编码的作用，把信虚拟手法拿信道来表示失真信源编码的作用，把信源编码和信源译码等价成一个信道，由于是失真编源编码和信源译码等价成一个信道，由于是失真编码，所以信道不是一一对应的，用信道传递概率来码，所以信道不是一一对应的，用信道传递概率来描述编、译码前后的关系。一般此信道称为描述编、译码前后的关系。一般此信道称为试验信试验信道。道。我们将信道编码和译码都看成是信道的一部分。我们将信道编码和译码都看成是信道的一部分。信源信源编码编码信道信道编码编码信道信道信道译码译码信源信源译码译码信源信源信宿信宿信源信源编码编码信道*信源信源译码译码信源信源信宿信宿信源信源信宿信宿试验信道UVp(vj/ui)信源编码信道编码信道信道译码信源译码信源信宿信源编码信道信源编码信道编码信道信道译码信源译码信源信宿信源编码信道*信信现在我们要研究在给定允许失真的条件下，是否可现在我们要研究在给定允许失真的条件下，是否可以设计一种信源编码使信息传输率为最低。为此，以设计一种信源编码使信息传输率为最低。为此，我们首先讨论失真的测度。我们首先讨论失真的测度。设信源变量为设信源变量为 ，其概率分布为其概率分布为 对于每一对对于每一对(u(ui i,v,vj j)，我们指定一个非负的函数，我们指定一个非负的函数二、失真度（或称失真函数）二、失真度（或称失真函数）接收端变量为接收端变量为 称为单个符号的失真度（或称失真函数）称为单个符号的失真度（或称失真函数）现在我们要研究在给定允许失真的条件下，是否可以设计一种信源编现在我们要研究在给定允许失真的条件下，是否可以设计一种信源编 失真函数用来表征信源发出一个符号失真函数用来表征信源发出一个符号u ui i，而在，而在接收端再现成符号接收端再现成符号v vj j 所引起的误差或失真。所引起的误差或失真。d(ui,vj)越小表示失真越小，等于越小表示失真越小，等于0 0表示没有失真。表示没有失真。可以将所有的失真函数排列成矩阵的形式：可以将所有的失真函数排列成矩阵的形式：我们称它为我们称它为失真矩阵失真矩阵。失真函数用来表征信源发出一个符号失真函数用来表征信源发出一个符号ui，而在接收端再现，而在接收端再现常用的失真函数常用的失真函数o第一种第一种n当当i i=j j时，时，U U与与V V的取值一样，用的取值一样，用V V来代表来代表U U就没有误差，所就没有误差，所以定义失真函数为以定义失真函数为0 0；n当当i ij j时，用时，用V V代表代表U U就有误差。就有误差。n这种定义认为对所有不同的这种定义认为对所有不同的i i和和j j引起的误差都一样，所以引起的误差都一样，所以定义定义失真函数为常数失真函数为常数a a。n失真矩阵的失真矩阵的特点是对角线上的元素均为特点是对角线上的元素均为0 0，对角线以外的，对角线以外的其它元素都为常数其它元素都为常数a a。常用的失真函数常用的失真函数n当当a a=1=1时的失真函数称为时的失真函数称为汉明失真函数汉明失真函数。o 第二种：第二种：d d(u ui i,v vj j)=()=(v vj ju ui i)2 2n这种函数称为这种函数称为平方误差失真函数平方误差失真函数，失真矩阵称为，失真矩阵称为平方误平方误差失真矩阵差失真矩阵。n若信源符号代表输出信号的幅度值，则较大的幅度失真若信源符号代表输出信号的幅度值，则较大的幅度失真比较小的幅度失真引起的错误更为严重，严重程度用平比较小的幅度失真引起的错误更为严重，严重程度用平方表示。方表示。失真函数是根据人们的实际需要和失真引起的损失、风险、失真函数是根据人们的实际需要和失真引起的损失、风险、主观感觉上的差别大小等因素主观感觉上的差别大小等因素人为规定的人为规定的。当当a=1时的失真函数称为汉明失真函数。时的失真函数称为汉明失真函数。三三、平均失真度、平均失真度若已知试验信道的传递概率，则平均失真度为：若已知试验信道的传递概率，则平均失真度为：若平均失真度若平均失真度 不大于我们所允许的失真限度不大于我们所允许的失真限度D D，我们称此为，我们称此为保真度准则保真度准则。凡满足保真度准则的这些试验信道称为凡满足保真度准则的这些试验信道称为D D失真许可的失真许可的试验信道试验信道。把所有。把所有D D失真许可的试验信道组成一个集失真许可的试验信道组成一个集合，用符号合，用符号BD 表示。表示。三、平均失真度若已知试验信道的传递概率，则平均失真度为：三、平均失真度若已知试验信道的传递概率，则平均失真度为：o平均失真度的意义平均失真度的意义n 是在平均意义上，从总体上对整个系是在平均意义上，从总体上对整个系统失真情况的描述。它是信源统计特性统失真情况的描述。它是信源统计特性p p(u ui i)、信道统计特性、信道统计特性p p(v vj j/u ui i)和失真度和失真度d d(u ui i,v vj j)的函数的函数 。当。当p p(u ui i)，p p(v vj j/u ui i)和和d d(u ui i,v vj j)给定后，平均失真度就不是一个给定后，平均失真度就不是一个随机变量了，而是一个确定的量。随机变量了，而是一个确定的量。n如果信源和失真度一定，如果信源和失真度一定，就只是信道就只是信道统计特性的函数。信道传递概率不同，平统计特性的函数。信道传递概率不同，平均失真度随之改变。均失真度随之改变。平均失真度的意义平均失真度的意义N N 次扩展信道的平均失真度次扩展信道的平均失真度oN N次扩展次扩展n单符号离散无记忆信源单符号离散无记忆信源U U u u1 1,u u2 2,u ur r 的的N N次扩展信源次扩展信源U UN N =u u1 1u u2 2u uN N ，在信道中的传递作用相当于单符号离，在信道中的传递作用相当于单符号离散无记忆信道的散无记忆信道的N N次扩展信道，输出也是一个随机变次扩展信道，输出也是一个随机变量序列量序列V VN N=V V1 1V V2 2V VN N 。n此时输入共有此时输入共有r rN N个不同的符号个不同的符号n信道的输出共有信道的输出共有s sN N个不同的符号个不同的符号N 次扩展信道的平均失真度次扩展信道的平均失真度n定义离散无记忆信道定义离散无记忆信道 U U P P(V V/U U)V V 的的N N次次扩展信道的输入序列扩展信道的输入序列i i和输出序列和输出序列j j之间的失真函数为之间的失真函数为n上式说明上式说明：离散无记忆信道的：离散无记忆信道的N N次扩展信道输入输出之次扩展信道输入输出之间的失真，等于输入序列间的失真，等于输入序列i i中中N N个信源符号个信源符号u ui i1 1,u ui i2 2,u uiNiN各自通过信道各自通过信道 U U P P(V V/U U)V V，分别输出，分别输出对应的对应的N N个信宿符号个信宿符号v vj j1 1,v vj j2 2,v vjNjN后所引起的后所引起的N N个单符号个单符号失真失真d d(u uik ik,v vjkjk)()(k k=1,2,=1,2,N N)之和。之和。定义离散无记忆信道定义离散无记忆信道U P(V/U)V的的N次次oN N次扩展的失真度次扩展的失真度 定义定义N N次离散无记忆扩展信源和信道的平均次离散无记忆扩展信源和信道的平均失真度为失真度为 ，则，则N次扩展的失真度次扩展的失真度o “N N次扩展次扩展”与与“单符号单符号”平均失真度的关系平均失真度的关系n由扩展信源和扩展信道的无记忆性有由扩展信源和扩展信道的无记忆性有“N次扩展次扩展”与与“单符号单符号”平均失真度的关系平均失真度的关系n实际上，实际上，(k k=1,2,=1,2,N N)是同一信源是同一信源U U在在 N N个不同时刻通过同一信道个不同时刻通过同一信道 U U P P(Y Y/U U)Y Y 所所造成的平均失真度，因此都等于单符号信源造成的平均失真度，因此都等于单符号信源U U通过通过信道信道 U U P P(Y Y/U U)Y Y 所造成的平均失真度，即所造成的平均失真度，即n上式说明上式说明：离散无记忆离散无记忆N N次扩展信源通过次扩展信源通过离散无记忆离散无记忆N N次扩展信道的平均失真度是次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度单符号信源通过单符号信道的平均失真度的的N N倍倍。实际上，实际上，(k=1,2,N)是同一信源是同一信源U在在N N次扩展的保真度准则次扩展的保真度准则 离散无记忆离散无记忆N N次扩展信源通过离散无记忆次扩展信源通过离散无记忆N N次次扩展信道的保真度准则为扩展信道的保真度准则为 凡满足保真度准则的这些试验信道称为凡满足保真度准则的这些试验信道称为D D失真失真许可的试验信道许可的试验信道。把所有。把所有D D失真许可的试验信道组失真许可的试验信道组成一个集合，用符号成一个集合，用符号BD 表示。表示。N次扩展的保真度准则次扩展的保真度准则 离散无记忆离散无记忆N次扩展信源通过离散次扩展信源通过离散7.2 7.2 信息率失真函数及其性质信息率失真函数及其性质1 1、信息率失真函数、信息率失真函数 当信源和失真函数给定后，我们总希望在满足保当信源和失真函数给定后，我们总希望在满足保真度准则下寻找平均互信息的最小值。也就是在真度准则下寻找平均互信息的最小值。也就是在B BD D 中找一个信道，使平均互信息最小（求极小值）。这中找一个信道，使平均互信息最小（求极小值）。这个最小值就是在个最小值就是在 的条件下，信源必须传输的的条件下，信源必须传输的最小平均信息量。最小平均信息量。改变试验信道求平均互信息的最小值，实质上是改变试验信道求平均互信息的最小值，实质上是选择一种编码方式使信息传输率为最小。选择一种编码方式使信息传输率为最小。7.2 信息率失真函数及其性质信息率失真函数及其性质1、信息率失真函数、信息率失真函数 改变改变单符号信源和单符号信道的信息率失真函数单符号信源和单符号信道的信息率失真函数n在信源和失真度给定以后，在信源和失真度给定以后，B BD D是满足保真是满足保真 度准则度准则 的试验信道集合，平均互信息的试验信道集合，平均互信息I I(U U;V V)是信道传递概率是信道传递概率p p(v vj j/u ui i)的下凸函数，的下凸函数，所以在所以在B BD D中一定可以找到某个试验信道，使中一定可以找到某个试验信道，使I I(U U;V V)达到最小，即达到最小，即这个最小值这个最小值R R(D D)称为信息率失真函数称为信息率失真函数.物理意义物理意义：对于给定的信源，在：对于给定的信源，在 的条件下，的条件下，信息率允许压缩到的最小值。信息率允许压缩到的最小值。单符号信源和单符号信道的信息率失真函数单符号信源和单符号信道的信息率失真函数o“N N次扩展次扩展”的信息率失真函数的信息率失真函数 对于离散无记忆信源的对于离散无记忆信源的N N次扩展信源和离散无次扩展信源和离散无记忆信道的记忆信道的N N次扩展信道，在所有满足保真度准次扩展信道，在所有满足保真度准则则 的的N N维试验信道集合中，一定可维试验信道集合中，一定可以寻找到某个信道使平均互信息取最小值以寻找到某个信道使平均互信息取最小值R RN N(D D)，这个最小值称为它的信息率失真函数。这个最小值称为它的信息率失真函数。n由信源和信道的无记忆性，可以证明由信源和信道的无记忆性，可以证明R RN N(D D)=)=NRNR(D D)。“N次扩展次扩展”的信息率失真函数的信息率失真函数o例例:设信源有设信源有2n2n种不同的符号，即，种不同的符号，即，且该信源为一等概信源，即且该信源为一等概信源，即 若选定失真函数为汉明失真若选定失真函数为汉明失真o如允许的平均失真为如允许的平均失真为D=0 D=0 即：不允许有失真，则必须即：不允许有失真，则必须用下图所示的信道进行传输。用下图所示的信道进行传输。o此时信道的信息传输率此时信道的信息传输率例例:设信源有设信源有2n种不同的符号，即，种不同的符号，即，若若D=1/2D=1/2，为了满足保真度准则，我们用下列信道进行传输。，为了满足保真度准则，我们用下列信道进行传输。此时这个信道（信源编码方法）的平均失真为此时这个信道（信源编码方法）的平均失真为 保真度准则要求保真度准则要求 为了能用尽保为了能用尽保真度准则所规定的允许失真范围，可取真度准则所规定的允许失真范围，可取 由于这个信道的传递概率等于由于这个信道的传递概率等于1 1或或0 0，所以噪声熵一定为，所以噪声熵一定为0 0若若D=1/2，为了满足保真度准则，我们用下列信道进行传输。，为了满足保真度准则，我们用下列信道进行传输。信息论第信息论第7章北理工课件章北理工课件o这表明：如允许平均失真达到规定值这表明：如允许平均失真达到规定值 ，那么我，那么我们就可以只要传送们就可以只要传送 这这n n个符号，并以个符号，并以 来代替来代替 这这n n个符号，以致使信息传输率降个符号，以致使信息传输率降低了低了 ，即信源输出信息率可压缩，即信源输出信息率可压缩 o所求得的所求得的 如能求出如能求出 ，则，则信源输出信息率可望进一步压缩。信源输出信息率可望进一步压缩。o此例子使我们初步领悟到信息率失真函数的含义和此例子使我们初步领悟到信息率失真函数的含义和作用作用这表明：如允许平均失真达到规定值这表明：如允许平均失真达到规定值 ，那么我们就可以只要，那么我们就可以只要2.信息率失真函数的性质(1)(1)信息率失真函数的定义域信息率失真函数的定义域o什么是率失真函数的定义域什么是率失真函数的定义域n允许平均失真度允许平均失真度：率失真函数中的自变量：率失真函数中的自变量D D，也就，也就是人们规定的平均失真度是人们规定的平均失真度 的上限值。的上限值。n率失真函数的定义域率失真函数的定义域问题就是在信源和失真函数已问题就是在信源和失真函数已知的情况下，讨论允许失真限度知的情况下，讨论允许失真限度D D 的最小和最大值的最小和最大值问题。问题。nD D的选取必须根据固定信源的选取必须根据固定信源X X的统计特性的统计特性P P(X X)和选定和选定的失真函数的失真函数d d(u ui i,v vj j)，在平均失真度，在平均失真度 的可能取的可能取值范围内。值范围内。2.信息率失真函数的性质信息率失真函数的性质(1)信息率失真函数的定义域信息率失真函数的定义域o（1 1）失真度限度的最小值）失真度限度的最小值D Dminmin 这就是不允许有任何失真的情况。此时要求这就是不允许有任何失真的情况。此时要求失真矩阵中每行至少有一个零元素失真矩阵中每行至少有一个零元素，才能达到零。，才能达到零。直观的理解就是，若信源要求无失真地传输，则直观的理解就是，若信源要求无失真地传输，则信息传输率至少应等于信源输出的信息量信息传输率至少应等于信源输出的信息量-信信源熵源熵 R R(0)=(0)=H H(U U)（1）失真度限度的最小值）失真度限度的最小值Dmino一般来说一般来说一般来说一般来说 欲让上式的和式最小，每一项均应最小，欲让上式的和式最小，每一项均应最小，应选择合适的试验信道使和式最小。若令应选择合适的试验信道使和式最小。若令失失真矩阵真矩阵 DD中某一行中的最小元素所对应的试验信中某一行中的最小元素所对应的试验信道的转移概率为道的转移概率为1 1，其余为，其余为0 0，则和式最小，则和式最小，即：，即：则可得信源的最小平均失真度为：则可得信源的最小平均失真度为：欲让上式的和式最小，每一项均应最小，欲让上式的和式最小，每一项均应最小，o例例:设信源为设信源为 信宿为信宿为(0,1)(0,1)o失真矩阵为失真矩阵为o计算得计算得例例:设信源为设信源为 信宿为信宿为(0,n连续信源有连续信源有 。这时虽然信源熵是。这时虽然信源熵是有限的，但信息量是无穷大。实际信道容量总有限的，但信息量是无穷大。实际信道容量总是有限的，无失真传送这种连续信息是不可能是有限的，无失真传送这种连续信息是不可能的。只有当允许失真的。只有当允许失真,并且并且R R(D D)为有限值时，为有限值时，传送才是可能的。传送才是可能的。信息论第信息论第7章北理工课件章北理工课件（2 2）失真限度的）失真限度的 最大值最大值D Dmaxmaxo根据根据R(D)R(D)的定义知，的定义知，R(D)R(D)是在一定的约束条件下是在一定的约束条件下平均互信息的极小值。已知平均互信息是非负的，平均互信息的极小值。已知平均互信息是非负的，其下限值为零。其下限值为零。o由此可得，由此可得，R(D)R(D)也是非也是非 负的，它的下限值也为负的，它的下限值也为 零。所以当零。所以当R(D)R(D)等于零等于零 时，所对应的时，所对应的平均失真平均失真 度的下界就是失真限度度的下界就是失真限度 的的 最大值最大值 D Dmaxmax。如图所如图所 示。示。（2）失真限度的）失真限度的 最大值最大值Dmax根据根据R(D)的定义知，的定义知，R(n设：当设：当 时，时，R R(D D)已已达到下限值达到下限值“0 0”。若失真限。若失真限度更大时，即度更大时，即当当D D D Dmaxmax时，时，从数学意义上讲，因为从数学意义上讲，因为R R(D D)是非负函数，所以它仍只能是非负函数，所以它仍只能等于等于0 0。这相当于输入。这相当于输入U U和输和输出出V V统计独立。此时统计独立。此时 n而而D Dmaxmax就是在就是在R R(D D)=0)=0时时所对应的平均失真度的最小值。所对应的平均失真度的最小值。设：当设：当 时，时，R(D)已已信息论第信息论第7章北理工课件章北理工课件则可得输入则可得输入U U和输出和输出V V统计独立条件下的统计独立条件下的最小平均失真。最小平均失真。则可得输入则可得输入U和输出和输出V统计独立条件下的统计独立条件下的最小平均失真。最小平均失真。例例4.1.1 4.1.1 二元信源二元信源 ，相应的失真矩阵，相应的失真矩阵为为 ，计算，计算D Dmaxmax 及相应的试验信道矩阵。及相应的试验信道矩阵。o先计算先计算D Dj j ：D D1 10.60.6 D D2 2=0.4=0.4o所以所以 D Dmaxmax=min(=min(D D1 1,D D2 2)=0.4)=0.4o相应的试验信道矩阵为相应的试验信道矩阵为例例4.1.1 二元信源二元信源 ，相应的失真矩阵为，相应的失真矩阵为o结结 论论nR(D)R(D)的定义域为的定义域为 (D(Dminmin,D,Dmaxmax)；n一般情况下一般情况下D Dminmin=0=0，R(DR(Dminmin)=H(U)=H(U)；n当当DDDDmaxmax时，时，R(D)=0R(D)=0；n当当D DminminD DD Dmaxmax时，时，0R(D)H(U)0R(D)H(U)。结结 论论信息率失真函数的性质信息率失真函数的性质2 2、率失真函数对允许平均失真度的下凸性率失真函数对允许平均失真度的下凸性对任一对任一0101和任意平均失真度和任意平均失真度D D，D DDDmaxmax，有有 RDRD+(1+(1)D)DR(DR(D)+(1)+(1)R(D)R(D)3 3、率失真函数的单调递减和连续性率失真函数的单调递减和连续性n由于函数由于函数R R(D D)具有凸状性，保证了它在定义域具有凸状性，保证了它在定义域内是连续的。内是连续的。n在在D Dminmin D D D Dmaxmax时：在时：在D D=D Dmaxmax处，除某些特例外，处，除某些特例外，S S将从某一个负值跳到将从某一个负值跳到0 0，S S在此点不连续。在在此点不连续。在D D的定义域的定义域0,0,D Dmaxmax 内，内，除某些特例外，除某些特例外，S S将是将是D D的连续函数。的连续函数。当当D=Dmax时：时：S达到最大；这个最大值也是某一个负值，最大达到最大；这个最大值也是某一个负值，最大1 1、连续信源的信息率失真函数的参量表达式、连续信源的信息率失真函数的参量表达式2 2、高斯信源的信息率失真函数、高斯信源的信息率失真函数7.6 7.6 连续信源的信息率失真函数连续信源的信息率失真函数1、连续信源的信息率失真函数的参量表达式、连续信源的信息率失真函数的参量表达式7.6 连续信源的连续信源的o条件条件n信源信源X XR R=(=(,),)n信源信源X X的的概率密度函数概率密度函数为为p p(x x)n信道的信道的传递概率密度函数传递概率密度函数为为p p(y y/x x)n信宿信宿Y YR R=(=(,),)n信宿信宿Y Y的的概率密度函数概率密度函数为为p p(y y)nX X和和Y Y之间的之间的失真度失真度d d(x x,y y)0)01 1、连续信源的信息率失真函数的参量表达式、连续信源的信息率失真函数的参量表达式条件条件1、连续信源的信息率失真函数的参量表达式、连续信源的信息率失真函数的参量表达式o平均失真度为平均失真度为o平均互信息为平均互信息为平均失真度为平均失真度为oB BD D为满足保真度准则为满足保真度准则 的所有试验信道集合。的所有试验信道集合。o信息率失真函数为信息率失真函数为o相当于离散信源中求极小值，严格地说，连续集合未必相当于离散信源中求极小值，严格地说，连续集合未必存在极小值，但是一定存在下确界。存在极小值，但是一定存在下确界。oR R(D D)函数的参量表达式：函数的参量表达式：o一般情况，在失真度积分存在情况下，一般情况，在失真度积分存在情况下，R R(D D)的解存在，的解存在，直接求解困难，用迭代算法计算机求解，只在特殊情况直接求解困难，用迭代算法计算机求解，只在特殊情况下求解比较简单。下求解比较简单。BD为满足保真度准则为满足保真度准则 的所有试验信道集合。的所有试验信道集合。(1)(1)高斯信源特性及失真度高斯信源特性及失真度o设连续信源的概率密度为设连续信源的概率密度为正态分布函数正态分布函数o数学期望为数学期望为o方差为方差为o定义其失真函数为定义其失真函数为d d(u u,v v)=()=(u uv v)2 2，即把均方误差作为失真，即把均方误差作为失真，表明通信系统中输入输出之间误差越大，失真越严重，严表明通信系统中输入输出之间误差越大，失真越严重，严重程度随误差增大呈平方增长。重程度随误差增大呈平方增长。2 2、高斯信源的信息率失真函数高斯信源的信息率失真函数(1)高斯信源特性及失真度高斯信源特性及失真度2、高斯信源的信息率失真函数高斯信源的信息率失真函数信息论第信息论第7章北理工课件章北理工课件信息论第信息论第7章北理工课件章北理工课件根据根据詹森不等式詹森不等式：根据詹森不等式：根据詹森不等式：信息论第信息论第7章北理工课件章北理工课件o下面讨论 取不同值时的R（D）函数值12下面讨论下面讨论 取不同值时的取不同值时的R（D）函数值）函数值12(2)(2)曲线图说明曲线图说明 曲线如右图所示。当信曲线如右图所示。当信源均值不为源均值不为0 0时，仍有这个时，仍有这个结果，因为结果，因为高斯信源的熵高斯信源的熵只与随机变量的方差有关，只与随机变量的方差有关，与均值无关。与均值无关。(2)曲线图说明曲线图说明o当当D D=2 2时，时，R R(D D)=0)=0 ：这就这就是说，如果允许失真（均方是说，如果允许失真（均方误差）等于信源的方差，只误差）等于信源的方差，只需用确知的均值需用确知的均值m m来表示信来表示信源的输出，不需要传送信源源的输出，不需要传送信源的任何实际输出；的任何实际输出；o当当D D=0=0时，时，R R(D D)：这点这点说明在连续信源情况下，要说明在连续信源情况下，要毫无失真地传送信源的输出毫无失真地传送信源的输出是不可能的。即要毫无失真是不可能的。即要毫无失真地传送信源的输出必须要求地传送信源的输出必须要求信道具有无限大的容量；信道具有无限大的容量；当当D=2时，时，R(D)=0：这就是说，如果允许失真（均方误：这就是说，如果允许失真（均方误o当当0D0D2 2时时：即允许一定的失：即允许一定的失真，传送信源的信息率可以降真，传送信源的信息率可以降低，意味着信源的信息率可以低，意味着信源的信息率可以压缩，连续信源的率失真理论压缩，连续信源的率失真理论正是连续信源量化、压缩的理正是连续信源量化、压缩的理论基础。论基础。o当当D D=0.25=0.252 2时，时，R R(D D)=1)=1比特比特/符号符号：这就是说在允许均方误：这就是说在允许均方误差小于或等于差小于或等于0.250.252 2时，连续时，连续信号的每个样本值最少需用一信号的每个样本值最少需用一个二进制符号来传输。由香农个二进制符号来传输。由香农第三定理证明了这种压缩编码第三定理证明了这种压缩编码是存在的，然而实际上要找到是存在的，然而实际上要找到这种可实现的最佳编码方法很这种可实现的最佳编码方法很困难的。困难的。当当0D2时：即允许一定的失真，传送信源的信息率可以降低时：即允许一定的失真，传送信源的信息率可以降低信道容量与信息率失真函数的比较 从数学上说，信道容量和信息率失真从数学上说，信道容量和信息率失真函数的问题，都是函数的问题，都是求平均互信息求平均互信息极值问题极值问题，有相仿之处，故常称为对偶问题。有相仿之处，故常称为对偶问题。(1)(1)求极值问题求极值问题(2)(2)特性特性(3)(3)解决的问题解决的问题信道容量与信息率失真函数的比较信道容量与信息率失真函数的比较 从数学上说，信道容量从数学上说，信道容量(1)(1)求极值问题求极值问题o平均互信息平均互信息I I(X X;Y Y)是信源概率分布是信源概率分布p p(x xi i)()(i i=1,2,=1,2,n n)或概或概率密度函数率密度函数p p(x x)的的上凸函数上凸函数，根据上凸函数定义，如果，根据上凸函数定义，如果I I(X X;Y Y)在定义域内对在定义域内对p p(x xi i)的极值存在，则该极值一定是的极值存在，则该极值一定是极大值极大值。信道容量就是在固定信道情况下，求平均互信息。信道容量就是在固定信道情况下，求平均互信息极大值的问题，即极大值的问题，即oI I(X X;Y Y)又是信道转移概率分布又是信道转移概率分布p p(v vj j/u ui i)或条件概率密度函或条件概率密度函数数p p(y y/x x)的的下凸函数下凸函数，因此在满足保真度准则条件下，因此在满足保真度准则条件下，I I(X X;Y Y)对对p p(v vj j/u ui i)的条件极值若存在，则一定是的条件极值若存在，则一定是极小值极小值。信息率失真函数就是在试验信道（满足保真度准则的信道）信息率失真函数就是在试验信道（满足保真度准则的信道）中寻找平均互信息极小值的问题，即中寻找平均互信息极小值的问题，即(1)求极值问题求极值问题(2)(2)特特 性性o信道容量信道容量C C一旦求出后，就只与信道转移概率一旦求出后，就只与信道转移概率p p(y yj j /x xi i)有关，反映有关，反映信道特性信道特性，与信源特性无关；，与信源特性无关；o信息率失真函数信息率失真函数R(D)R(D)一旦求出后，就只与信源概一旦求出后，就只与信源概率分布率分布p p(x xi i)有关，反映有关，反映信源特性信源特性，与信道特性无，与信道特性无关。关。(2)特特 性性(3)(3)解决的问题解决的问题o信道容量信道容量是为了解决通信的是为了解决通信的可靠性可靠性问题，是信息问题，是信息传输的理论基础，通过传输的理论基础，通过信道编码信道编码增加信息的冗余增加信息的冗余度来实现；度来实现；o信息率失真函数信息率失真函数是为了解决通信的是为了解决通信的有效性有效性问题，问题，是信源压缩的理论基础，通过是信源压缩的理论基础，通过信源编码信源编码减少信息减少信息的冗余度来实现。的冗余度来实现。(3)解决的问题解决的问题C CR(D)R(D)的上凸函数的上凸函数 的下凸函数的下凸函数 的极大值的极大值 的条件极小值的条件极小值 的函数的函数 的函数的函数仅与信道特性有关仅与信道特性有关仅与信源特性有关仅与信源特性有关解决可靠性问题解决可靠性问题解决有效性问题解决有效性问题信息传输的基础信息传输的基础信源压缩的基础信源压缩的基础CR(D)的上凸函数的上凸函数 的下凸的下凸7.7 7.7 保真度准则下的信源编码定理保真度准则下的信源编码定理 定理定理7.17.1 保真度准则下的信源编码定理保真度准则下的信源编码定理 设设R(D)R(D)为一离散无记忆信源的信息率失真函数，并且有有为一离散无记忆信源的信息率失真函数，并且有有限的失真测度。对于任意的限的失真测度。对于任意的 ，以及任，以及任意足够长的码长意足够长的码长n n，则一定存在一种信源编码，则一定存在一种信源编码C C，其码字个数，其码字个数为为而编码后的平均失真度而编码后的平均失真度如果用二元编码，则：如果用二元编码，则：该定理称为该定理称为香农第三定理香农第三定理。它告诉我们，对于任何失真。它告诉我们，对于任何失真度度D D，只要码长足够长，总可以找到一种编码，只要码长足够长，总可以找到一种编码C C，使编码后的，使编码后的每个信源符号的信息传输率每个信源符号的信息传输率7.7 保真度准则下的信源编码定理保真度准则下的信源编码定理 定理定理7.1 保真度保真度 定理定理7.27.2（信源编码逆定理）（信源编码逆定理）不存在平均失真度不存在平均失真度D D，而平均信息传输率，而平均信息传输率 的任何信源编码。即的任何信源编码。即对任意码长对任意码长n n的信源码的信源码C C，若码字个数，若码字个数 ，一定，一定 该定理告诉我们：如果编码后平均每个信源符该定理告诉我们：如果编码后平均每个信源符号的信息传输率号的信息传输率R R 小于信息率失真函数小于信息率失真函数R(D)R(D)，就，就不能在保真度准则下再现信源的消息。不能在保真度准则下再现信源的消息。定理定理7.2（信源编码逆定理）不存在平均失真度（信源编码逆定理）不存在平均失真度D，而平均，而平均第六节第六节 联合有失真信源信道编码定理联合有失真信源信道编码定理 定理定理7.3 7.3（信息传输定理）（信息传输定理）离散无记忆信源的离散无记忆信源的S S的信的信息率失真函数为息率失真函数为R(D)R(D)，离散无记忆信道的信道容量，离散无记忆信道的信道容量C C，若满，若满足足 则信源输出的信源序列能在此信道输出端重现，其失真则信源输出的信源序列能在此信道输出端重现，其失真小于等于小于等于D D。定理定理7.47.4 离散无记忆信源的离散无记忆信源的S S的信息率失真函数为的信息率失真函数为R(D)R(D)，每秒钟输出，每秒钟输出 个信源符号，离散无记忆信道的信道容个信源符号，离散无记忆信道的信道容量量C C，每秒输出，每秒输出 个信源符号，若满足个信源符号，若满足 则信源输出的信源序列能在此信道输出端重现，其失真则信源输出的信源序列能在此信道输出端重现，其失真小于等于小于等于D D。第六节第六节 联合有失真信源信道编码定理联合有失真信源信道编码定理 定理定理7.3（定理定理7.57.5 离散无记忆信源的离散无记忆信源的S S的信息率失真函的信息率失真函数为数为R(D)R(D)，每秒钟输出，每秒钟输出 个信源符号，离散无记个信源符号，离散无记忆信道的信道容量忆信道的信道容量C C，每秒输出，每秒输出 个信源符号，若个信源符号，若满足满足 则信源输出的信源序列能在此信道输出端重现，则信源输出的信源序列能在此信道输出端重现，其失真小于等于其失真小于等于D D。定理定理7.5 离散无记忆信源的离散无记忆信源的S的信息率失的信息率失o根据信息根据信息-传输定理，我们可以认为信源编码器传输定理，我们可以认为信源编码器和信道编码器之间只是一些二元数据流。和信道编码器之间只是一些二元数据流。只要满只要满足式足式(7.185)(7.185)后两编码器之间无需精心地设计。后两编码器之间无需精心地设计。信信道编码器只需对输入进来的二元数据流进行编码，道编码器只需对输入进来的二元数据流进行编码，无需考虑这些数据流来自何方，无需考虑它来自什无需考虑这些数据流来自何方，无需考虑它来自什么样的信源。对信源编码器来说，只需针对信源考么样的信源。对信源编码器来说，只需针对信源考虑，考虑在满足允许失真要求的条件用最少的二元虑，考虑在满足允许失真要求的条件用最少的二元数据流来描述信源。也就是信源编码器只需产生二数据流来描述信源。也就是信源编码器只需产生二元数据流元数据流(也称信息流也称信息流)，不用考虑数据流将流向何，不用考虑数据流将流向何处。处。根据信息根据信息-传输定理，我们可以认为信源编码器和信道编码器之间传输定理，我们可以认为信源编码器和信道编码器之间o这理论再一次地告诉我们，要在点对点的通信中有效可这理论再一次地告诉我们，要在点对点的通信中有效可靠地传输信息，可以把信源编码和信道编码分成两部分靠地传输信息，可以把信源编码和信道编码分成两部分进行考虑。这样可以把一个复杂的问题简单化了。进行考虑。这样可以把一个复杂的问题简单化了。o正是这个理论指导了我们实际通信系统的设计。正是这个理论指导了我们实际通信系统的设计。对对于实际的通信系统和通信技术来说，信源压缩编码和信于实际的通信系统和通信技术来说，信源压缩编码和信道纠错编码正是两大不同的研究领域。道纠错编码正是两大不同的研究领域。研究信源压缩研究信源压缩编码的，只是针对不同的信源如文本、语音、静止图像、编码的，只是针对不同的信源如文本、语音、静止图像、活动图像等等来研究各种压缩方法，使在满足失真要求活动图像等等来研究各种压缩方法，使在满足失真要求下用尽可能少的二元数据流来表述信源。下用尽可能少的二元数据流来表述信源。根本不用考根本不用考虑将传送这些信息流的信道是什么样的。虑将传送这些信息流的信道是什么样的。o研究信道纠错码的，只是针对不同的信道、信道中研究信道纠错码的，只是针对不同的信道、信道中不同的干扰形式不同的干扰形式(如随机错误、突发错误、同步错误、如随机错误、突发错误、同步错误、运算错误等等运算错误等等)来研究各种纠错编码方法。根本不用考来研究各种纠错编码方法。根本不用考虑进入信道的信息流来自何方，不用考虑各种不同信源虑进入信道的信息流来自何方，不用考虑各种不同信源的特性的特性 这理论再一次地告诉我们，要在点对点的通信中有效可靠地传输信息这理论再一次地告诉我们，要在点对点的通信中有效可靠地传输信息7.9 7.9 限失真信源编码定理的实用意义限失真信源编码定理的实用意义例：例：要对此信源进行无失真编码，每个信源符号必须用一个二要对此信源进行无失真编码，每个信源符号必须用一个二元符号来表示，信源的信息输出率为元符号来表示，信源的信息输出率为R=H=1R=H=1。若允许失真存在，。若允许失真存在，并定义失真函数为汉明失真，即并定义失真函数为汉明失真，即可以设想这样一种信源编码：可以设想这样一种信源编码：7.9 限失真信源编码定理的实用意义例：限失真信源编码定理的实用意义例：要对此信源进要对此信源进无噪无损无噪无损信道传输信道传输无噪无损信道传输无噪无损信道传输这种编码方法，可以看成是一种特殊的试验信道这种编码方法，可以看成是一种特殊的试验信道 信息率为信息率为1/31/3，而平均失真为，而平均失真为1/41/4，根据香农第三定理，根据香农第三定理，若允许失真若允许失真D=1/4D=1/4时，总可以找到一种编码，使信息输出时，总可以找到一种编码，使信息输出率达到极限率达到极限R(1/4)R(1/4)这种编码方法，可以看成是一种特殊的试验信道这种编码方法，可以看成是一种特殊的试验信道 信息率为信息率为1/香农第三定理是一个存在定理，至于如何寻找这种最香农第三定理是一个存在定理，至于如何寻找这种最佳编码方法并没有给出，在实际应用中，存在以下两方面佳编码方法并没有给出，在实际应用中，存在以下两方面的问题：的问题：1 1、符合实际信源的、符合实际信源的R(D)R(D)函数的计算相当困难。函数的计算相当困难。1 1）需要对实际信源的统计特性有确切的描述。）需要对实际信源的统计特性有确切的描述。2 2）需要对符合主客观实际的失真给予正确的描述。）需要对符合主客观实际的失真给予正确的描述。3 3）即使满足了前两条，）即使满足了前两条，R(D)R(D)的计算也比较困难的计算也比较困难2 2、即使求得很好的、即使求得很好的R(D)R(D)函数，还需要研究采取何种编函数，还需要研究采取何种编码方法才能达到极限值码方法才能达到极限值R(D)R(D)。目前，这两方面工作都有进展。目前，这两方面工作都有进展。香农第三定理是一个存在定理，至于如何寻找这种最佳编码香农第三定理是一个存在定理，至于如何寻找这种最佳编码信息论信息论“三大定理三大定理”总结总结o香农信息论的三个基本概念香农信息论的三个基本概念信源熵、信道信源熵、信道 容量、信息率失真函数容量、信息率失真函数，都是临界值，是从理，都是临界值，是从理论上衡量通信能否满足要求的重要界限。论上衡量通信能否满足要求的重要界限。o香农的三个基本编码定理香农的三个基本编码定理无失真信源编码定理、无失真信源编码定理、有噪信道编码定理、限失真信源编码定理有噪信道编码定理、限失真信源编码定理，这是，这是三个理想编码的存在性定理。分别又称为香农第三个理想编码的存在性定理。分别又称为香农第一、第二、第三定理。一、第二、第三定理。o虽然三个定理都指出理想编码是存在的，但如何虽然三个定理都指出理想编码是存在的，但如何寻找编码以及能否做到寻找编码以及能否做到“理想编码理想编码”，则完全是，则完全是另外一回事。正是后面两章另外一回事。正是后面两章信源编码信源编码或或信道编码信道编码所要讨论的问题。所要讨论的问题。信息论信息论“三大定理三大定理”总结香农信息论的三个基本概念总结香农信息论的三个基本概念信源熵、信道信源熵、信道o第七章作业o7.1，7.2，7.3，7.16,7.17第七章作业第七章作业