第三章信道容量课件

本章本章内容内容l了解信息论研究了解信息论研究信道信道的目的、内容；的目的、内容；l了解信道的基本分类并掌握信道的基本描述方法了解信道的基本分类并掌握信道的基本描述方法;l掌握掌握信道容量信道容量的概念，以及与互信息、信道输入概率的概念，以及与互信息、信道输入概率分布、信道转移函数的关系分布、信道转移函数的关系;l能够计算能够计算简单信道简单信道的信道容量（对称离散信道、准对的信道容量（对称离散信道、准对称离散信道）；称离散信道）；l了解信道容量在研究通信系统中的作用了解信道容量在研究通信系统中的作用;l了解多用户信道了解多用户信道.第三章第三章 信道容量信道容量回顾平均互信息的性质回顾平均互信息的性质1Z性质性质1：I(X;Y)是是信源输入概率分布信源输入概率分布p(x)的的上凸函数上凸函数。l熵熵熵率熵率无失真信源编码定理中的作用无失真信源编码定理中的作用l互信息互信息信道容量信道容量信道编码定理中的作用信道编码定理中的作用概念问题概念问题回顾平均互信息的性质回顾平均互信息的性质2Z性质性质2：I(X;Y)是是信道转移概率分布信道转移概率分布p(y/x)的的下凹函数下凹函数.回顾平均互信息的性质回顾平均互信息的性质3 3l互信息与信道输入符号相关性的关系互信息与信道输入符号相关性的关系 Z性质性质3:3:信道的信道的输入输入是离散无记忆的是离散无记忆的12121()(,)()()()()NNNiip xp a aap a p ap ap a即回顾平均互信息的性质回顾平均互信息的性质4l 互信息与信道输入符号相关性的关系互信息与信道输入符号相关性的关系 Z 性质性质4:信道信道是离散无记忆的是离散无记忆的121211221(/)(,/,)(/)(/)(/)(/)NNNNNiiip y xp b bba aap ba p bap bap b a即回顾平均互信息的性质回顾平均互信息的性质5Z性质性质3、性质、性质4的推论：的推论：信道的输入和信道本身都是离散无记忆的。信道的输入和信道本身都是离散无记忆的。第三章第三章 信道与信道容量信道与信道容量 本章内容本章内容l概述概述l信道的分类与描述信道的分类与描述 l单符号单符号离散信道的信道容量离散信道的信道容量l多多符号符号离散信道离散信道l多用户信道多用户信道l连续信道及其容量连续信道及其容量 3.0 概述概述l信息论研究信道的内容信息论研究信道的内容l什么是信道？什么是信道？l信道的作用信道的作用l研究信道的目的研究信道的目的l信息论研究信道的内容：信息论研究信道的内容：信道的建模：信道的统计特性的描述；信道的建模：信道的统计特性的描述；信道传输信息的能力（信道容量）的计算；信道传输信息的能力（信道容量）的计算；在有噪信道中能否实现可靠传输在有噪信道中能否实现可靠传输?怎样实现可靠传输怎样实现可靠传输?在这一章要回答前面两个问题，在第六章介绍第在这一章要回答前面两个问题，在第六章介绍第三个问题。三个问题。l什么是信道？什么是信道？信道是传送信息的载体信道是传送信息的载体信号所通过的通道。信号所通过的通道。信息是抽象的，信道则是具体的。比如：二人对话，信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。看电视，听收音机，收、发间的空间就是信道。l信道的作用信道的作用:在信息系统中信道主要用于在信息系统中信道主要用于传输传输与与存储存储信息，而信息，而在通信系统中则主要用于在通信系统中则主要用于传输传输。如：微波信道、光纤信道、电缆信道等。如：微波信道、光纤信道、电缆信道等。l研究信道的目的研究信道的目的实现信息传输的实现信息传输的有效性有效性和和可靠性可靠性有效性：充分利用信道容量有效性：充分利用信道容量.可靠性：通过信道编码降低误码率可靠性：通过信道编码降低误码率.在通信系统中研究信道，主要是为了描述、度量、在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。并分析其特性。通信技术研究通信技术研究信号在信道中传输的过程所遵循的物理信号在信道中传输的过程所遵循的物理规律，即传输特性。规律，即传输特性。信息论研究信息论研究信息的传输问题（假定传输特性已知）信息的传输问题（假定传输特性已知）.3.1 信道的分类与描述信道的分类与描述l根据输入根据输入/输出信号在幅度和时间上的取值是离散输出信号在幅度和时间上的取值是离散或是连续来划分或是连续来划分3.1.1 信道的分类信道的分类幅度幅度时间时间信道名称信道名称离散离散离散离散离散信道（数字信道）离散信道（数字信道）连续连续离散离散连续信道连续信道连续连续连续连续模拟信道（波形信道）模拟信道（波形信道）离散离散连续连续（理论和实用价值均很小）（理论和实用价值均很小）l根据信道上有无干扰来划分根据信道上有无干扰来划分单符号信道和多符号信道。单符号信道和多符号信道。l根据输入根据输入/输出个数的多少来划分输出个数的多少来划分单用户信道和多用户信道。单用户信道和多用户信道。干扰信道和无干扰信道。干扰信道和无干扰信道。l根据信道输入根据信道输入/输出随机变量个数的多少来划分输出随机变量个数的多少来划分l根据信道有无记忆特性来划分根据信道有无记忆特性来划分有记忆信道和无记忆信道。有记忆信道和无记忆信道。3.1.2 信道的描述信道的描述l信道可以引用三组变量来描述：信道可以引用三组变量来描述：信道信道输入输入概率空间：概率空间：XK,p(x)信道信道输出输出概率空间：概率空间：YK,q(y)信道信道概率转移矩阵概率转移矩阵：p(y/x)即：即：XK,p(x),p(y/x),YK,q(y)它可简化为：它可简化为：XK,p(/),YK 3.2 单符号离散信道的信道容量单符号离散信道的信道容量本节内容本节内容l信道容量定义信道容量定义l几种离散无记忆信道容量的计算几种离散无记忆信道容量的计算离散无噪信道的信道容量离散无噪信道的信道容量强对称离散信道的信道容量强对称离散信道的信道容量对称离散信道的信道容量对称离散信道的信道容量准对称离散信道的信道容量准对称离散信道的信道容量l离散信道容量的一般计算方法离散信道容量的一般计算方法3.2.1 信道容量定义信道容量定义l单符号离散信道单符号离散信道 有记忆信道平稳，有限状态有记忆信道平稳无记忆一般无记忆无记忆信道离散消息序列信道 :信道的输入和输出都取值于离散集合，且都用一信道的输入和输出都取值于离散集合，且都用一个随机变量来表示的信道就是个随机变量来表示的信道就是单符号离散信道单符号离散信道。一、信道矩阵一、信道矩阵（信道转移概率）（信道转移概率）12(,)jmYb bbb相应的输出为相应的输出为其信道模型如下：其信道模型如下：1212,(/jminb bbba aaajiXP baY单符号离散信道的数学模型单符号离散信道的数学模型l表示当信道输入为表示当信道输入为xai 时，信道的输出时，信道的输出Y必为必为12,jmb bbb中的一个。中的一个。12(,)inXa aaa设单符号离散信道的输入为设单符号离散信道的输入为一般单符号信道的转移概率可用一般单符号信道的转移概率可用信道转移矩阵信道转移矩阵表示：表示：112111222212(/)(/)(/)(/)(/)(/)(/)(/)(/)mmnnmnp bap bap bap bap bap bap bap bap bal信道矩阵中每个元素均为非负信道矩阵中每个元素均为非负(/)0jiP bal且每一行元素之和为且每一行元素之和为11(/)1mjijP ba()()maxmax(;)iip xp xCRI X Y （3.2.5）二、信道容量二、信道容量 1.理论基础理论基础 对于固定的信道，平均互信息量对于固定的信道，平均互信息量 I(X;Y)是信源概率分布是信源概率分布p(xi)的上凸函数。也就是说，存在一个使的上凸函数。也就是说，存在一个使某一特定信道某一特定信道的的平均互信息量达到极大值的信源概率分布，该极大值可以平均互信息量达到极大值的信源概率分布，该极大值可以用来表述用来表述信道传送信息的最大能量信道传送信息的最大能量，即信道容量。，即信道容量。2.信道容量的定义信道容量的定义 对于某特定的信道，可找到某种信源的概率分布对于某特定的信道，可找到某种信源的概率分布 p(ai)，使得使得I(X;Y)达到最大值。达到最大值。说明：说明：l由平均互信息的性质可知由平均互信息的性质可知I(X;Y)H(X)，意味着输，意味着输出端出端Y往往只能获得关于输入端往往只能获得关于输入端X的的部分信息部分信息。l对于特定的信道，对于特定的信道，信道容量是个定值信道容量是个定值，但是在传输，但是在传输信息时，信道能否提供其最大传输能力，则取决于输信息时，信道能否提供其最大传输能力，则取决于输入端的概率分布。入端的概率分布。()()11maxmax(;)iitp xp xCRI X Ytt（比特/秒）l显然，显然，C和和Ct都是求平均互信息都是求平均互信息I(X;Y)的条件极大值的问题。的条件极大值的问题。当输入信源概率分布当输入信源概率分布p(ai)调整好以后，调整好以后，C和和Ct已与已与 p(ai)无关，无关，而仅仅是信道转移概率而仅仅是信道转移概率p(bj/ai)的函数，只与信道的统计特的函数，只与信道的统计特性有关。所以信道容量是完全描述性有关。所以信道容量是完全描述信道特性信道特性的参量，是信道的参量，是信道能够传送的最大信息量。能够传送的最大信息量。若信道平均传输一个符号需要若信道平均传输一个符号需要t 秒钟，则单位时间的信道容秒钟，则单位时间的信道容量为（信道的最大信息传输速率）量为（信道的最大信息传输速率）3.信道容量单位信道容量单位lC的单位是信道上每传送一个符号（每使用一次信道）所能的单位是信道上每传送一个符号（每使用一次信道）所能携带的比特数，即比特符号（携带的比特数，即比特符号（bitssign或或 bitschannel use）。）。l以以e为底取自然对数时，信道容量的单位变为奈特符号为底取自然对数时，信道容量的单位变为奈特符号（natssign）。l如果已知符号传送周期是如果已知符号传送周期是T秒，也可以秒，也可以“秒秒”为单位来计算为单位来计算信道容量，此时信道容量，此时CsCT，以比特，以比特/秒（秒（bitss）或奈特）或奈特/秒秒（natss）为信道容量单位。）为信道容量单位。l对信道容量的进一步理解：对信道容量的进一步理解：C存在存在平均平均互信息性质互信息性质1,1,上凸函数极值存在上凸函数极值存在达到达到C时的两个条件：时的两个条件：信道输入（信源）是离散无记忆的。信道输入（信源）是离散无记忆的。信道输入的概率分布是使信道输入的概率分布是使I(X,Y)达到最大的分布。达到最大的分布。C的值不是由信源的的值不是由信源的p(x)决定的决定的,而是由而是由p(y/x)决定的决定的.C是信道作为信息传输通道的性能度量是信道作为信息传输通道的性能度量.只有信道输入（信源）只有信道输入（信源）X 满足一定条件时，才能充分利满足一定条件时，才能充分利用信道传输信息的能力。用信道传输信息的能力。三、信道疑义度三、信道疑义度H(X/Y)信源熵信源熵H(X)表示在接收到输出表示在接收到输出Y以前，关于输入变以前，关于输入变量量X的先验不确定性的度量。如果信道中无干扰（噪的先验不确定性的度量。如果信道中无干扰（噪声），信道输出符号声），信道输出符号Y与输入符号与输入符号X一一对应，那么，一一对应，那么，接收到传送过来的符号后就消除了对发送符号的先验接收到传送过来的符号后就消除了对发送符号的先验不确定性。但一般信道中有不确定性。但一般信道中有干扰干扰存在，接收到输出存在，接收到输出Y后后对发送的是什么符号仍有不确定性。那么，怎样来度对发送的是什么符号仍有不确定性。那么，怎样来度量接收到量接收到Y后关于后关于X的不确定性呢？一般用信道疑义度的不确定性呢？一般用信道疑义度H(X/Y)表示。表示。信道疑义度：信道疑义度：表示在输出端收到输出变量表示在输出端收到输出变量Y的符号的符号后，对于输入端后，对于输入端X的变量尚存在的平均不确定性（存的变量尚存在的平均不确定性（存在疑义）。这个尚存在的不确定性是由于干扰（噪声）在疑义）。这个尚存在的不确定性是由于干扰（噪声）引起的。如果是一一对应信道，那么接收到输出引起的。如果是一一对应信道，那么接收到输出Y后，后，对对X的不确定性将完全消除，则信道疑义度为的不确定性将完全消除，则信道疑义度为0。由于。由于一般情况下条件熵小于无条件熵，即有一般情况下条件熵小于无条件熵，即有H(X/Y)H(X)。这正说明接收到变量。这正说明接收到变量Y的所有符号后，关于输的所有符号后，关于输入变量入变量X的平均不确定性将减少，即总能消除一些关的平均不确定性将减少，即总能消除一些关于输入端于输入端X的不确定性，从而获得了一些信息。的不确定性，从而获得了一些信息。3.2.2 几种特殊离散信道的信道容量几种特殊离散信道的信道容量 1.具有一一对应关系的具有一一对应关系的无噪无损无噪无损信道信道(;)()(/)()(/)I X YH XH X YH YH YX一、离散无噪信道的信道容量一、离散无噪信道的信道容量输入输出之间有确输入输出之间有确定的一一对应关系定的一一对应关系H(X/Y)信道疑义度或损失熵，信道疑义度或损失熵，H(Y/X)噪声熵。凡是噪声熵。凡是H(X/Y)=0的的信道称为信道称为无损无损信道。凡是信道。凡是H(Y/X)=0的信道称为的信道称为无噪无噪信道。信道。a2a1anb1b2bnb1b2bnB2n-1a2a1ana2n=1特点：特点：1）输入）输入X和输出和输出Y符号集的元素个数相等，即符号集的元素个数相等，即n=m。2）输入）输入X和输出和输出Y有确定的对应关系，所以噪声熵有确定的对应关系，所以噪声熵H(Y/X)=0 信道疑义度信道疑义度 H(X/Y)=0 故有故有 I(X;Y)=H(X)=H(Y)3）信道容量只取决于）信道容量只取决于信道的输入符号数信道的输入符号数n，与，与信源信源无无 关，是表征信道特性的一个参量。关，是表征信道特性的一个参量。2()()max(;)max()logiip xp xCI X YH Xn由信道容量的定义有由信道容量的定义有(;)()(/)()(/)I X YH XH X YH YH YX2.具有扩展性能的具有扩展性能的有噪无损有噪无损信道信道(一个输入对应多个输出一个输入对应多个输出)()2()max(;)max()logiip ap aCI X YH Xn()()H XH Yl此时此时l这时的输入概率这时的输入概率分布为等概率分布分布为等概率分布.此种情况是信道疑义度此种情况是信道疑义度 H(X/Y)=0(;)()(/)I X YH XH X Y噪声熵噪声熵H(Y/X)0a3a2a1b1b2b3b4b5b6b7b8特点：特点：1)输入输入X的符号集个数小于输出的符号集个数小于输出Y的符号集的元素个数，即的符号集的元素个数，即nm.2)信道转移矩阵中每一列有且仅有一个非零元素（即每一个输出信道转移矩阵中每一列有且仅有一个非零元素（即每一个输出符号对应着惟一的一个输入符号），则该信道一定是符号对应着惟一的一个输入符号），则该信道一定是无损信道无损信道.3)已知已知Y后能确切地知道对应的后能确切地知道对应的X，或接收到符号，或接收到符号Y后后,对发送的对发送的X符号是完全确定的，则信道疑义度符号是完全确定的，则信道疑义度H(X/Y)=0,故有故有I(X;Y)=H(X),由信道容量的定义有由信道容量的定义有4)与一一对应信道不同的是，此时输入端符号熵小于输出端符号与一一对应信道不同的是，此时输入端符号熵小于输出端符号熵，即熵，即H(X)H(Y).2()()max(;)max()logiip ap aCI X YH Xn信道疑义度信道疑义度 H(X/Y)=0l无噪信道的信道容量无噪信道的信道容量C只决只决定于信道的输入符号数定于信道的输入符号数n，或，或输出符号数输出符号数m，与信源无关与信源无关，是表征信道特性的一个参量是表征信道特性的一个参量.2()()max(;)max()logiip ap aCI X YH Ym3.具有归并性能的具有归并性能的无噪有损无噪有损信道信道(/)0(/)0H YXH X Y多个输入对应一个输出，每多个输入对应一个输出，每一行只有一个非零元素一行只有一个非零元素1l这时的输入概率分布应该这时的输入概率分布应该是使得信道是使得信道输出概率分布输出概率分布为为等概分布。等概分布。b1b2b3a4a1a2a3a5二、强对称离散信道的信道容量二、强对称离散信道的信道容量若单符号离散信道的输入随机变量若单符号离散信道的输入随机变量X和输出随机变量和输出随机变量Y取值取值的集合均由的集合均由n个不同符号组成，每个符号的正确传递概率为个不同符号组成，每个符号的正确传递概率为 ，其他（其他（n-1）个符号的错误传递概率为）个符号的错误传递概率为p/(n-1)，则信道矩阵，则信道矩阵（nn）为对称矩阵）为对称矩阵 111111n npppnnpppPnnpppnn()max()inip aCH YHp2122(/)log(/)log(1)log11nnijijijHp bap bappppnnn 式中式中(;)()(/)()(/)I X YH XH X YH YH YX定理定理 对于对于强对称信道强对称信道，当输入为等概率分布时，输出分布必，当输入为等概率分布时，输出分布必能达到等概率分布。能达到等概率分布。()max()inip aCH YH此时此时2()logH Yn相应的信道容量为相应的信道容量为222logloglog1pnpppnl它具备三个特征：它具备三个特征：1.矩阵中的每一行都是矩阵中的每一行都是第一行第一行的的重排列重排列；矩阵中的每一列都是矩阵中的每一列都是第一列第一列的的重排列重排列。2.错误分布是均匀的，为错误分布是均匀的，为 p/(n-1)。3.信道输入与输出消息（符号）数相等，即信道输入与输出消息（符号）数相等，即m=n。显然，对称性基本条件是显然，对称性基本条件是1，而，而2、3是加强条件。是加强条件。三、对称离散信道的信道容量三、对称离散信道的信道容量定义定义1 1 若信道矩阵中，每一行都是第一行元素的不同排列若信道矩阵中，每一行都是第一行元素的不同排列（每每行包含同样元素行包含同样元素），称此类信道为，称此类信道为行行（输入）对称信道。如（输入）对称信道。如11 1113 36611116363P 21111336611116633P行（输入）行（输入）对称信道对称信道定义定义2 2 若信道矩阵中，不仅每一行都是第一行元素的不同排列，若信道矩阵中，不仅每一行都是第一行元素的不同排列，而且每列而且每列都是第一列元素的不同排列，都是第一列元素的不同排列，称此类信道为对称信道。称此类信道为对称信道。如如31111336611116633P4111236111623111362P对称信道对称信道定理定理1 1 对于对称信道，当输入为等概率分布时，输出分布必能对于对称信道，当输入为等概率分布时，输出分布必能达到等概率分布。达到等概率分布。证明：证明：当当输入输入为等概率分布时为等概率分布时()/1/jjp yHnm()1/1,2,ip anin1111()()(/)(/)nnjijijijiip yp a p bap baHnn1(/)njjiiHp ba其中其中，表示信道矩阵中第，表示信道矩阵中第 j 列元素之和，而列元素之和，而信道矩阵中每行元素之和为信道矩阵中每行元素之和为1，并且，并且n行行元素之和必等于元素之和必等于m列列元素之和，即元素之和，即 n=mHj，因而，因而l当当输入输入为等概率分布为等概率分布p(xi)=1/n 时，时，输出输出亦为等概率分布亦为等概率分布p(yj)=1/m。输出输出分布分布定理定理2 2 若一个离散对称信道具有若一个离散对称信道具有n个输入符号，个输入符号，m个输出符号，个输出符号，则当则当输入为等概率分布输入为等概率分布时达到信道容量，有时达到信道容量，有212log(,)mCmH q qq q1,q2,qm任一行各元素任一行各元素(;)()(/)I X YH YH YX2111(/)()(/)log(/)()(/)nmijijiijniiiH YXp aP baP bap a H YXa 12(/)(,)imH YXaH q qq此项是固定此项是固定xi时对时对Y求和，即对信道矩阵的求和，即对信道矩阵的行求和行求和，为一为一常数常数。证明：证明：其中噪声熵为其中噪声熵为由于信道对称性，由于信道对称性，H(Y/X=ai)=Hni 与与xi无关无关，且，且对应的信道矩阵为对应的信道矩阵为()max()inip aCH YH于是问题就简化为求于是问题就简化为求 H(Y)的最大值。的最大值。由信息论原理，当输出符号集的各符号等概率出现时可得最由信息论原理，当输出符号集的各符号等概率出现时可得最大信源熵，即大信源熵，即 H(Y)log2m 或者或者 max H(Y)=log2 m所以所以l其中其中m为信道矩阵中为信道矩阵中任一行元素的个数任一行元素的个数（列数）；（列数）；l q1,q2,qm信道转移矩阵任一行元素。信道转移矩阵任一行元素。212log(,)mCmH q qq1221(,)(/)log(/)mmjijijH q qqP baP ba 对称信道对称信道31316161616131311P31316161616131313121616121613131212161313121616131212p例例3.1 求信道容量求信道容量C。31316161616131311P解：解：信道容量信道容量C212log(,)mCmH q qqm为任一行元素的个数为任一行元素的个数2221111log 42log2log3366 0.082/bit sign定义定义1 1 若信道矩阵中，每一行都是第一行元素的不同排列，每若信道矩阵中，每一行都是第一行元素的不同排列，每列并不列并不都是第一列元素的不同排列，但是可以按照信道矩阵的都是第一列元素的不同排列，但是可以按照信道矩阵的列将信道矩阵划分成若干列将信道矩阵划分成若干对称的子矩阵对称的子矩阵，则，则称此类信道为准对称此类信道为准对称信道。如称信道。如信道矩阵信道矩阵0.8 0.1 0.10.1 0.1 0.8P120.8 0.10.10.1 0.80.1PP因为它可以划分成两个对称的子矩阵因为它可以划分成两个对称的子矩阵是准对称矩阵是准对称矩阵四、准对称离散信道的信道容量四、准对称离散信道的信道容量3.02.03.02.03.02.02.03.0P又又是准对称矩阵是准对称矩阵1212,SSMMMMMMP若信道矩阵若信道矩阵P的列可划分成的列可划分成s个互不相交的子矩阵个互不相交的子矩阵Mk，且（且（m1 m2 msm），若以），若以mk为列组成的为列组成的子子矩阵矩阵Mk是对称矩阵是对称矩阵，则称信道矩阵，则称信道矩阵P所对应的信道为所对应的信道为准对称信道准对称信道。0.30.20.20.30.20.30.20.3P0.30.20.20.30.20.30.20.3m12m21m31m1+m2+m34例：例：123MMM只要使只要使输出随机变量输出随机变量Y呈呈等概率等概率分布，上式第一项即可达到最大分布，上式第一项即可达到最大值，从而达到信道容量值，从而达到信道容量C。但由于转移矩阵中的各列不具有可排。但由于转移矩阵中的各列不具有可排列性，要使列性，要使p(bj)=1/m，则可能使输入概率分布，则可能使输入概率分布p(ai)的某些概率的某些概率出现出现负值负值，这是不行的。为了在，这是不行的。为了在p(ai)非负的条件下使非负的条件下使H(Y)达到达到最大值，将信道矩阵的列划分成若干个互不相交的子集最大值，将信道矩阵的列划分成若干个互不相交的子集M1,M2,Ms，各子集分别有，各子集分别有m1,m2,ms个个列列，则，则12211()22()()()()log()()log()()log()()log()jkjjsmsjjjjjkp bMjjjjp bMp bMH Yp bp bp bp bp bp bp bp b 12(/)(,)mH YXH q qq12()()(,)imp aCH YH q qq由行的可排列性有由行的可排列性有得其信道容量得其信道容量令第令第k个子矩阵个子矩阵MK输出符号概率的算术平均值为：输出符号概率的算术平均值为：()()()(1,2,)jkjp bMkkp bp bksm ：第第k个子矩阵个子矩阵Mk中所有输出符号概率之和中所有输出符号概率之和.s：子矩阵的个数；：子矩阵的个数；mk：第：第k个子矩阵个子矩阵Mk的的列列数。数。()()jkjp bMp b22()()()()()log()lnlog()()jkjkkkjjp bMp bMjjp bp bp bp bep bp b2()()()1 log()jkkjp bMjp bp bep b2()()()log0jkkkjp bMp b mp be故有故有22()()()log()()log()jkjkjkjjp bMp bMp bp bp bp b22()()()log()()log()jkjkjjjkp bMp bMp bp bp bp b 121()()()()()()()kkmjmjkkkkkkkp bp bp bp bm p bp bp bmmm（1）当第当第k个子矩阵个子矩阵Mk中中各个输出符号概率完全相等各个输出符号概率完全相等（且（且等于等于 ）时，（）时，（1）式取等号。）式取等号。()kp b即即注意：注意：22log()()()log()kkkkkkp bm p bm p bp b 2121()log()(,)skkkmkCm P bP bH q qq（3.2.19）q1,q2,qm信道转移矩阵信道转移矩阵任一行任一行元素。元素。mk：子阵的列数；子阵的列数；s：子矩阵的个数：子矩阵的个数。式中：式中：()()()jkjp bMkkp bp bm()kkMP bnn：信道转移矩阵中的行数；：信道转移矩阵中的行数；Mk：第：第k个子矩阵中个子矩阵中任一列任一列元素之和。元素之和。方法二：方法二：将信道矩阵将信道矩阵P划分成若干个互不相交的对称子集，划分成若干个互不相交的对称子集，也可根据下面公式来计算也可根据下面公式来计算.n：信道转移矩阵中的行数；：信道转移矩阵中的行数；P(bj/ai)：信道矩阵中任一行中的元素；：信道矩阵中任一行中的元素；Nk：第：第k个子矩阵中个子矩阵中任一行任一行元素之和；元素之和；Mk：第：第k个子矩阵中个子矩阵中任一列任一列元素之和元素之和.l准对称离散信道信道容量的准对称离散信道信道容量的求解方法求解方法：方法一：方法一：根据信道容量的定义式来计算；根据信道容量的定义式来计算；2121()log()(,)skkkmkCm P bP bH q qq 22121loglog(,)skkmkCnNMH q qq或或【例【例3.2】0.5 0.3 0.20.3 0.5 0.2P解法一：解法一：该信道为该信道为准对称准对称信道，该信道输入符号有两个信道，该信道输入符号有两个a1，a2，信道输出符号有三个信道输出符号有三个 b1,b2,b3。设输入概率分布。设输入概率分布p(a1)=a，p(a2)=1-a。计算联合概率计算联合概率p(aibj)和和p(bj)由由p(aibj)=p(ai)p(bj/ai)得联合概率的矩阵为得联合概率的矩阵为又又则输出符号的概率分布为则输出符号的概率分布为p(b1)=0.5a+0.3(1-a)=0.3+0.2 a p(b2)=0.3a+0.5(1-a)=0.5-0.2 a，p(b3)=0.2a+0.2(1-a)=0.2其中其中p(b3)是是固定固定的，与的，与ai无关。无关。)1(2.0)1(5.0)1(3.02.03.05.01()()njijip bp ab已知信道转移矩阵为已知信道转移矩阵为 ，求信道容量，求信道容量.(;)()(/)I X YH YH YX32322111()log()()(/)log(/)jjijijijijp bp bp ap bap ba 计算平均互信息量计算平均互信息量(;)()(/)I X YH YH YX22(0.30.2)log(0.30.2)(0.50.2)log(0.50.2)22220.2log 0.20.5log 0.50.3log 0.30.2log 0.2计算信道容量计算信道容量C220.2log(0.30.2)0.20.2log(0.50.2)0.20解得解得a=1/2，即输入等概分布时，即输入等概分布时，I(X;Y)达到极大值，且有达到极大值，且有 C=maxI(X;Y)=0.036 (bit/sign)由由(;)0I X Y解法二：解法二：将此信道矩阵分为两个子集将此信道矩阵分为两个子集0.5 0.30.20.3 0.50.2 2121()log()(,)skkkmkCm P bP bH q qq 所以信道容量为所以信道容量为=(0.5+0.3)/2=0.4=(0.2+0.2)/2=0.21()p b2()p b由下面公式可计算出信道容量由下面公式可计算出信道容量C=20.4log20.41 0.2log20.2 H(0.5,0.3,0.2)=0.036 (bit/sign)()kkMP bn因为因为 n=2,m1=2,s=2,m2=1,1()()(/)njijiip bp a p ba0.5 0.3 0.20.3 0.5 0.2P12()()1/2p ap aP(b1)=0.4,P(b2)=0.4,P(b3)=0.22()322()()()0.21jjp bMp bp bp bm1()1211()()()0.40.4()0.422jjp bMp bp bp bp bm解法三：解法三：将此信道矩阵分为两个子集将此信道矩阵分为两个子集0.5 0.30.20.3 0.50.2 22121loglog(,)skkmkCnNMH q qq因为因为 n=2 N1=0.5+0.3=0.8 M1=0.5+0.3=0.8 s=2 N2=0.2 M2=0.2+0.2=0.4所以信道容量为所以信道容量为由下面公式可计算出信道容量由下面公式可计算出信道容量C=log22H(0.5,0.3,0.2)0.8log20.8 0.2log20.4 =0.036 (bit/sign)3.2.3 离散信道容量的一般计算方法离散信道容量的一般计算方法1()1niip al由信道容量由信道容量 可知，在固定信道条件可知，在固定信道条件下，对所有可能的输入概率分布下，对所有可能的输入概率分布P(ai)，求平均互信息，求平均互信息I(X;Y)的极大值。而的极大值。而I(X;Y)是输入随机变量概率分布是输入随机变量概率分布P(ai)的上凸函数，因此极大值一定存在。的上凸函数，因此极大值一定存在。lI(X;Y)是是n个变量个变量P(a1),P(a2),P(an)的多元函数，并的多元函数，并满足满足 ，所以是求多元函数条件极值的问题，所以是求多元函数条件极值的问题，可用拉格朗日乘子法来计算这个条件极值。可用拉格朗日乘子法来计算这个条件极值。()max(;)ip aCI Y Yl补充：补充：拉格朗日乘子法：拉格朗日乘子法：目的目的：要找函数：要找函数z=f(x,y)在条件在条件(x,y)=0 下的可能极下的可能极值点。值点。方法：方法：先构造函数先构造函数F(x,y)=f(x,y)+(x,y)其中其中 为一常数，可由为一常数，可由fx(x,y)+x(x,y)=0fy(x,y)+y(x,y)=0(x,y)=0解出解出x,y,，其中，其中x,y 就是可能极值点的坐标。就是可能极值点的坐标。l用拉格朗日乘子法求用拉格朗日乘子法求离散信道容量：离散信道容量：构造函数构造函数1(;)()1niiI X Yp a解方程组解方程组11(;)()10()()()1niiiiniiI X Yp ap ap ap a存在最佳分布，但信道不唯一。存在最佳分布，但信道不唯一。可得一般信道容量可得一般信道容量C。（1）211(/)(;)()(/)log()nmjiijiijjp baI X Yp a p bap b解方程组解方程组（1）式得：）式得：1()()(/)njijiip bp a p ba222log()ln()(/)loglog()()()jjjiiijp bp bp baeep ap ap b222111(/)log(/)(/)log()(/)log0mmmjijijijjijjjp b ap b ap b ap bp b ae（对（对i1，2，n都成立）都成立）因为因为而而又又()(/)()jjiip bp bap a221111()(/)log(/)()log()nmnmijijiijjijijp a p bap bap abp b22111()(/)log(/)()log()nmmijijijjijjp a p bap bap bp b2211(/)(/)log(/)log0()mmjijijijjjp bap bap baep b又因为又因为所以所以方程组（方程组（1）变为：）变为：2211(/)(/)loglog()()1mjijijjniip bap baep bp a1(/)11,2,mjijp bain（2）2211(/)(/)log(/)log0()mmjijijijjjp bap bap baep b2211(/)(/)loglog()nmjiijiijjp bap p baep b 2log(3)Ce 假设解得使平均互信息假设解得使平均互信息I(X;Y)达到极值的输入概率分布是达到极值的输入概率分布是pi，然后把式（然后把式（2）中前）中前n个方程式两边乘以个方程式两边乘以达到极值的输入概率达到极值的输入概率pi，并求和得并求和得上式左边为上式左边为平均互信息的极大值平均互信息的极大值，就是信道容量，所以得，就是信道容量，所以得（3）代入（）代入（2）得：）得：2211(/)log(/)(/)log()mmjijijijjjp bap bap bap bC+221(/)(/)loglog()mjijijjp bap baep b21211(/)log(/)(/)log()(/)mjijijmmjijjijjjp bap bap bap bCp ba+式中：式中：2log()jjp bC+2log()jjp bC11()21jCmmjjjp b122jmCj21log(2)jmjC2211(/)log(/)(/)log()mmjijijijjjp bap bap bap bC+()2jCjp b211(/)(/)log(/)mmjjijijijjp bap bap ba所以对于一般离散信道容量得计算步骤如下：所以对于一般离散信道容量得计算步骤如下：1由由，求，求j。1()()(/)njijiip bp a p ba4由由，求，求 p(ai)。()2jCjp b，求，求 p(bj)。3.由由，求，求C；21log2jmjC2.由由l最后要检验所有的最后要检验所有的p(ai)大于大于0时，所求的时，所求的C才存在。才存在。【例【例3.3】设离散无记忆信道输入符号集为设离散无记忆信道输入符号集为a1,a2,a3,a4，输，输出符号集为出符号集为b1,b2,b3,b4，如图所示，求信道容量。，如图所示，求信道容量。解：解：由图求得其由图求得其信道转移矩阵信道转移矩阵为为11110244010000101110442P这是一个一般离散信道。这是一个一般离散信道。a1a2a3a4b1b2b3b4211(/)(/)log(/)mmjjijijijjp bap bap ba(1)由由 求求j12422223134222111111111logloglog24422444400111111111logloglog444444422解方程组得解方程组得23140,2 21log2jmjC(2)由由 得信道容量得信道容量 200222log22221 log 5 1.322/Cbit sign 11110244010000101110442P()2jCjp b(3)由由 得得 p(bj)22(2 1 log 5)14(1 log 5)231()()2102()()25p bp bp bp b 14123414111()()102421()()5421()()54111()()1042p ap ap ap ap ap ap ap a(4)由由 得得 p(ai)1()()(/)njijiip bp a p ba因为因为p(ai)都大于都大于0，故结果是正确的。故结果是正确的。14232()()1511()()30p ap ap ap a231402 21 log 5C