信道及其容量课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,信道及其容量,*,第3章 信道容量和编码,Enjoy Science,第三章 信道及其容量,信道的任务是以信号方式传输信息和存储信息。,研究信道中能够传送或存储的最大信息量，即信道容量。,本章内容：,信道的分类及离散信道的数学模型,平均互信息及其性质,信道容量的概念及几种典型信道的信道容量计算,信源与信道的匹配,信道编码定理,3.1,信道的数学模型和分类,图3.1.1 通信系统的一般模型,3.1,信道的数学模型和分类,一、信道的分类,根据载荷消息的媒体不同,根据信息传输的方式,邮递信道,电信道,光信道,声信道,输入和输出信号的形式,信道的统计特性,信道的用户多少,根据信息传输的方式分类中,根据信道的用户多少：,两端(单用户)信道,多端(多用户)信道,根据信道输入端和输出端的关联：,无反馈信道,反馈信道,根据信道的参数与时间的关系：,固定参数信道,时变参数信道,根据输入和输出信号的特点：,离散信道,连续信道,半离散或半连续信道,波形信道,二、离散信道的数学模型,条件概率 p(,y,/,x,) 描述了输入信号和输出信号之间统计依赖关系。,它反映了,信道的统计特性,。,i,i,p(,y,/,x,)=1,p(,y,/,x,),例如,其中:p(,a,i,)表示输入某符号的概率,p(b,j,)表示输出某符号的概率,p(b,j,|,a,i,)表示发送,a,i,而接收为b,j,概率,-条件概率。,显然可以用条件（,转移）,概率表示信道的噪声干扰特性。,根据信道的,统计特性即条件概率 p(,y,/,x,)的不同，离散信道又可分成三种情况：,无干扰信道,有干扰无记忆信道,有干扰有记忆信道,(1)无干扰(噪声)信道,信道中没有随机性的干扰或者干扰很小，输出信号,y,与输入信号,x,之间有确定的、一 一对应的关系。即：,y,f,(,x,),(2)有干扰无记忆信道,信道输入和输出之间的条件概率是一般的概率分布。,如果任一时刻输出符号只统计依赖于对应时刻的输入符号，则这种信道称为无记忆信道。,(3) 有干扰(噪声)有记忆信道,实际信道往往是既有干扰(噪声)又有记忆的这种类型。,例如在数字信道中，由于信道滤波使频率特性不理想时造成了码字之间的干扰。,在这一类信道中某一瞬间的输出符号,不但与对应时刻的输入符号有关，而且还与此前其他时刻信道的输入符号及输出符号有关，,这样的信道称为有记忆信道。,处理有记忆有干扰信道的两种方法：,（1）最直观的方法是把记忆较强的N个符号当作一个N维矢量，而把各矢量之间认为是无记忆的，这样就,转化成无记忆信道,的问题。当然，这样处理会引入误差：,N,，误差,。,（2）另一种处理方法是,把 p(,y,/,x,) 看成马尔可夫链,的形式，这是有限记忆信道的问题。,此时，信道的统计特性可用在已知时刻的输入符号和前时刻信道所处的,状态,的条件下，信道的输出符号和所处的,状态,的联合条件概率来描述，即用 p(,y,n,S,n,/,x,n,S,n-1,) 来描述。,三、单符号离散信道,单符号离散信道：,输入符号为,X,，,取值于,a,1,a,2, ,a,r,。,输出符号为,Y,，,取值于,b,1,b,2, ,b,s,。,条件概率：,p(,y,/,x,),p(,y,=,b,j,/,x,=,a,i,),p(b,j,/,a,i,),这一组条件概率称为,信道的传递概率,或,转移概率,，可以利用条件概率来,描述干扰对信道影响,的大小。,用传递概率 p(b,j,/,a,i,) 来描述干扰影响的大小,一般,简单的单符号离散信道,可以用X, p(,y,/,x,) ,Y 三者加以描述。,其数学模型可以用概率空间X, p(,y,/,x,) ,Y描述。,当然，也可用下图来描述：,a,1,b,1,a,2,b,2,X,.,.,Y,. .,a,r,b,s,p(b,j,/,a,i,),一般离散单符号信道的传递概率可用矩阵形式表示，即,矩阵P完全描述了信道的特性，可用它作为离散单符号,信道的另一种数学模型,的形式。,P中有些是信道干扰引起的错误概率，有些是信道正确传输的概率，所以该矩阵又称为,信道矩阵,（转移矩阵）,。,b,1,b,2,b,s,a,1,p,(,b,1,|,a,1,),p,(,b,2,|,a,1,) ,p,(,b,s,|,a,1,),a,2,p,(,b,1,|,a,2,),p,(,b,2,|,a,2,) ,p,(,b,s,|,a,2,), . ,a,r,p,(,b,1,|,a,r,),p,(,b,2,|,a,r,) ,p,(,b,s,|,a,r,),在这里直观表示矩阵P中每行之和应等于“l”,表明：在信道输入为,a,i,时，在输出端接收到的一定是符号b,1,，b,2,， ，b,s,中一个。,例1,二元对称信道，BSC，Binary Symmetrical Channel,解：,此时，X:0,1 ; Y:0,1 ; r=s=2，,a,1,=b,1,=0；,a,2,=b,2,=1。,传递概率:,p,是单个符号,传输发生错误,的概率，表示信道输入符号,“,0”,而接收到的符号为,“,1”,，或信道输入符号为,“,1”,而接收到的符号为,“,0”,的概率的概率。,（,1-,p,）,表示是,无错误传输,的概率。,转移矩阵,:,0 1,0,1,1,p,a,1,=0,0=b,1,1,p,a,2,=1,1=b,2,p,p,输出,输入,符号“2”表示接收到了“0”、“1”以外的特殊符号,这种信道实际是存在的,。,0 2 1,0,1,p,0,0,1,p,1,1,q,1,q,2,例2,二元删除信道。BEC，Binary Eliminated Channel,解：,X:0,1 Y:0,1,2,此时，r 2，s 3，,传递矩阵为：,设有一个信道，其输入为正、负方波信号，那么，信道输出送入译码器的将是受干扰后的方波信号R(,t,)，如图(b)。,0 2 1,0,1,如果信道干扰不是很严重的话，则“10”和“01”的可能性比“02”和“12”的可能性小得多，所以假设： p(,y,=1/,x,=0)p(,y,=0/,x,=1)0是合理的。,一般单符号离散信道的一些概率关系,设信道的输入概率空间为：,信道输出Y的符号集为B=b,1,b,2,b,s,。,给定信道矩阵为：,(1),输入和输出符号的联合概率,:,式中：,p(b,j,|,a,i,) -,前向概率,（信道的传递概率），发送为,a,i,，通过信道传输接收到为b,j,的概率。它是由于信道噪声引起的，所以描述了信道,噪声,的特性。,p(,a,i,/b,j,)-,后向概率,，已知信道输出端接收到符号为b,j,，但发送的输入符号为,a,i,的概率。它描述了信道引起的,疑义,性。,p(,a,i,)-,先验概率,，接收到一个输出符号以前输入符号概率,p(b,j,),-,输出某符号的概率,(2)根据条件概率可得输出符号的概率:,输出/输入符号与转移概率关系的矩阵形式为,:,(3) 根据贝叶斯定律可得后验概率:,表明：在信道输出端接收到任一符号b,j,，一定是输入符号,a,1,，,a,2,， ，,a,r,中的某一个送入到信道。,3.2,信道疑义度与平均互信息,本节进一步研究离散单符号信道的数学模型下的信息传输问题。,一、信道疑义度,信道输入信源X的熵,H(X)是在接收到输出Y以前，关于输入变量X的先验不确定性，称为,先验熵,。,如果信道中无干扰(噪声)，则信道的输出符号与输入符号一一对应，那么，接收到传送过来的符号后就消除了对发送符号的先验不确定性。,但如果信道中有干扰(噪声)存在，接收到符号Y后对发送的是什么符号仍存在有不确定性。,接受到b,j,后，关于X的不确定性为,后验熵在输出符号集Y范围内是个随机量，对后验熵在符号集Y中,求数学期望,，得条件熵-,信道疑义度,：,这是接收到输出符号b,j,后关于X的,后验熵,。,后验熵是当信道接收端接收到输出符号b,j,后，关于输入符号的信息测度。,信道疑义度（含糊度）,：它表示在输出端收到全部输出符号Y集后，对于输入端的信号集X,尚存在,的不确定性(存在疑义)。,这个不确定性是由于干扰(噪声)引起的。,如果是一一对应信道，那么接收到符号Y后，对X的不确性完全消除，则信道疑义度H(X/Y)0。,条件熵小于无条件熵，即H(X/Y),H(X)。,这说明接收到符号集Y的所有符号后，关于输入符号X的平均不确定性减少了，即,总能,消除一些关于输入端X的不确定性，从而,获得,了一些信息。,互信息量,I(,x,i,;,y,j,),：收到消息,y,j,后获得关于,x,i,的信息量,即：互信息量表示先验的不确定性减去尚存的不确定性，这就是,收信者获得的信息量,对于无干扰信道，I(,x,i,;,y,j,) = I(,x,i,)；,对于全损信道，I(,x,i,;,y,j,) = 0；,二、平均互信息,平均互信息,I(X; Y)：,I(,x,i,;,y,j,)的,统计平均。,定义,I(X;Y)=H(X)-H(X/Y),为,X,和,Y,之间的,平均互信息,。,它代表接收到符号集,Y,后平均每个符号获得的关于,X,的信息量，也表示了输入与输出两个随机变量之间的统计约束程度。,关于平均互信息I(X,;,Y),互信息,I(,x,;,y,),代表收到某消息,y,后获得关于某事件,x,的信息量。,它可取正值，也可取负值。,若,I(,x,;,y,)= 0,。,若,I(X,;,Y),= 0,，,表示,在,信道,输出端接收到输出符号,Y,后不获得任何关于,输,入符号,X,的信息量,-,全损信道,。,信道疑义度（损失熵）,，信源符号通过有噪信道传输后所引起的信息量的损失。,I(X;Y) = H(X) - H(X|Y),I(X;Y) = H(Y) - H(Y|X),I(X;Y) = H(X)+H(Y)-H(XY),其中：,平均互信息与各类熵的关系,噪声熵(或散布度),，反映了信道中噪声源的不确定性,。,平均互信息与各类熵之间关系的说明,I(X;Y) = H(X) - H(X|Y),：从,Y,中获得关于,X,的平均互信息,I(X;Y),，,等于接收到输出,Y,的前、后关于,X,的平均不确定性的消除,;,I(X;Y) = H(Y) - H(Y|X),：平均互信息,I(X;Y),也等于发出,X,的前、后关于,Y,的平均不确定性的消除,;,熵只是平均不确定性的描述，,I(X;Y),才是接收端所获得的信息量（不确定性的消除）。,平均互信息量,I(X;Y),确定了通过信道的信息量的多少，因此称它为,信息传输率或传信率,。,平均互信息与各类熵之间关系的集合图,（,维拉图,）,表示：,H(X|Y) = H(X) - I(X,;,Y),H(Y|X) = H(Y) - I(X,;,Y),H(XY) = H(X)+H(Y)- I(X,;,Y),如果用X表示案情，Y表示犯人讲话，那么，H(X|Y) 表示犯人讲话后警察对案件的不解，I(X;Y)表示警察从对话中了解案件的情况。,如果H(X|Y)=0，说明警察听了罪犯的讲话后完全了解案情。,如果I(X;Y)=0，说明罪犯的讲话对案情毫无帮助。,信道疑义度（损失熵）,噪声熵(或散布度),两种特殊信道,（1）、离散无干扰信道 (无噪无损信道 ),信道的输入和输出一一对应，信息无损失地传输，,-,无噪无损信道,。,H(X|Y) = H(Y|X) = 0,损失熵和噪声熵都为“,0” ,由于噪声熵,/,损失熵等于零，因此，输出端接收的信息就等于平均互信息,:,I(X;Y) = H(X) = H(Y),（2）、输入输出独立信道 ( 全损信道 ),信道输入端,X,与输出端,Y,完全统计独立,H(X|Y) = H(X) , H(Y|X) = H(Y),所以,I(X;Y) = 0,I(X;Y) = H(X) - H(X|Y),信道的输入和输出没有,依赖,关系，信息无法传输，所以称为,全损信道,。,接收到,Y,后不可能消除有关输入端,X,的任何不确定性，所以获得的信息量等于零。同样，也不能从,X,中获得任何关于,Y,的信息量。,平均互信息,I(X,;,Y),等于零，表明了,信道两端随机变量的统计约束程度等于零,。,二种极限信道各类熵与平均互信息之间的关系,H(X|Y) = H(X),H(Y|X) = H(Y),I(X;Y) = 0,H(X|Y)=H(Y|X)=0,I(X;Y)=H(X)=H(Y),无噪无损信道：完全重迭,全损信道：完全独立,无噪无损信道：,全损信道：,3.2.2,平均互信息的性质,平均互信息,I,(X,;,Y) 具有以下特性：,（1）非负性,即,I,(X,;,Y) = 0，当X、Y统计独立时等式成立。,证明：利用詹森不等式,（2）极值性,即,I,(X,;,Y) = H(X),当 H(X/Y)=0 时，即信道中传输信息无损时，等式成立。,（3）交互性（对称性）,即,I,(X;Y) =,I,(Y;X),当 X、Y统计独立时，,I,(X;Y) =,I,(Y;X)=0,当信道无干扰时，,I,(X;Y)=,I,(Y;X)=H(X)=H(Y),（4）凸状性,平均互信息I(X,;,Y)只是信源X的概率分布p(,x,)和信道的传递概率p(,y/x,)的函数，,即：,I(X;Y) =,f,p(x,), p(y|x),I(X;Y),是输入信源的概率分布,p(,x,),的,型凸函数。,I(X;Y),是信道传递的概率,p(,y/x,),的,型凸函数。,例,3.2.1,设BSC的输入概率空间为：,信道如图：,计算得平均互信息：,I(X;Y) = H(Y)- H(Y/X),X 1,p Y,0,0,1,p,1,1,p,p,同时，根据离散无记忆信道的性质，可得：,所以：,当信道固定时，,I(X;Y)是信源概率,的,型函数。,是0，1区域上的熵函数。,本例中,I,(X;Y)H(,p +,p,) - H (,p,) 若信源固定，,I,(X;Y) 是 信道概率,p,的,型凸函数。,平均互信息,I,(X,;,Y),是输入信源的概率分布,p(,x,),的,型凸函数。,该结论意味着:,(当信道固定时),（1）,对固定信道，选择不同的信源(其概率分布不同)与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。,（2）,对于每一个固定信道，一定存在有一种,最佳,的信源(某一种概率分布,p,(x)，使输出端获得的平均信息量为最大。,平均互信息,I,(X;Y),是信道传递的概率,p(,y/x,),的,型凸函数。,该,结论,说明，当,信源固定,后，选择不同的信道来传输同一信源符号，在信道输出端获得关于信源的信息量是不同的。,对每一种信源都存在一种,最差,的信道，此时干扰 (噪声) 最大，而输出端获得的信息量最小。,3.3,离散无记忆信道的扩展信道,对于离散无记忆信道 ，其扩展,信道的,传递概率满足,：,用 X，p(,y,/,x,)，Y 概率空间来描述。,设离散无记忆信道的,输入符号集Aa,1,， ， a,r,，,输出符号集Bb,1,， ， b,s,，信道矩阵为:,则此无记忆信道的,N,次扩展信道,的数学模型如图所示:,而,信道矩阵,：,其中：,例3.3.1,求二元无记忆对称信道（BSC）的二次扩展信道。,解：BSC的输入和输出变量X和Y的取值都是0或1，因此，二次扩展信道的输入符号集为A00，01，10，11，,共有2,2,4个符号,，,输出符号集为B 00，01，10，11。,由于是无记忆信道，可求得,二次扩展信道的传递概率,：,信道矩阵,：,按照,平均互信息的定义，可得,无记忆信道的N次扩展信道的平均互信息,：,若信道的输入随机序列为,X= (,X,1,X,2,X,N,),，,通过信道传输，接收到的随机序列为,Y,(,Y,1,Y,2,Y,N,),。,假若信道是无记忆的,，即信道传递概率满足：,则有：,式中,X,i,Y,i,是对应第 i,位的随机变量。,若信源是无记忆的，则等式成立。,直观分析,：如果信源有记忆，前面传送的符号带有后面符号的信息，使得后面传送的符号的互信息减少,若信道的输入随机序列为,X= (,X,1,X,2,X,N,),，,通过信道传输，接收到的随机序列为,Y,(,Y,1,Y,2,Y,N,),。,假若信源是无记忆的,，则有：,其中,X,i,和,Y,i,是随机序列X和Y中的第,i,位随机变量。,直观分析,：如果信道有记忆，后面传送的符号带有前面符号的信息，使得前面传送的符号的互信息增加。,若,信道和信源都是无记忆的,，则：,研究信道的,目的,是要讨论信道中平均每个符号所能传送的信息量-,信息传输率R,平均互信息,I(X;Y),就是接收到符号Y后平均每个符号获得的关于X的信息量。,所以：,R = I(X;Y) = H(X) H(X|Y) (比特/符号),3.4,离散信道的信道容量,一、,信道容量的定义,由于平均互信息,I,(X;Y)是输入随机变量的型凸函数 ，所以对一固定的信道，总存在一种信源，使传输每个符号平均获得的信息量最大。,即存在一个最大的信息传输率 -定义为,信道容量,C,（比特/符号）,(bit/s),C,t,仍称为,信道容量,若平均传输一个符号需要 t 秒钟，则信道在单位时间内平均传输的最大信息量为C,t,：,即：,例,信道容量的计算,因此，BSC的信道容量为：,二元对称信道，I(X,;,Y),时，I(X;Y)最大。,当,(比特符号),离散无噪无损信道,二、简单离散信道的信道容量,例如：,其信道矩阵是单位矩阵：,满足：,I(X;Y)=H(X)=H(Y),H(Y/X)=0,H(X/Y)=0,有噪无损信道：,接收到符号Y后，对X符号是完全确定的。,损失熵H(X/Y)=0，,其信道矩阵：,所以 ：,I(X;Y)=H(X),如果信道的,前向概率,p(,y,/,x,),等于0或1,，即输出,y,是,x,的确定函数，但不是一一对应的，而是多一对应关系。这类信道称为,无噪有损信道(确定信道),。,满足：,I(X;Y)=H(Y)H(X),信道的疑义度,（损失熵）,H(X/Y) 0,而噪声熵 H(Y/X)=0。,即接收到符号Y后不能完全消除对X的不确定性,无噪有损信道,在,维拉图,上,有噪无损信道和无噪有损信道中平均互信息、损失熵、噪声熵以及信源熵,之间的关系,。,损失熵,H(X/Y),=,0,的信道称为,无损信道,，其信道容量为：,噪声熵,H(Y/X),=,0,的信道称为,无噪信道,，其信道容量为：,所谓对称信道，是指,信道矩阵P中每一行都是由同一集合p,1,，p,2,，p,s,中诸元素的不同排列组成，且每一列也都是由q,1,，q,2,，q,r, 中诸元素的不同排列组成,。,具有这种对称信道矩阵的信道称为,对称离散信道,。,一般sr。,三、对称离散信道的信道容量,例如：,都是对称离散信道,都不是对称离散信道,若输入/输出符号个数相同，都等于r，且信道矩阵为：,则此信道称为,强对称信道或均匀信道,。,这类信道中总的错误概率为,p,，对称地平均分配给r-1个输出符号。,这一项是固定X,x,时对Y求和，即对信道矩阵的行求和。,由于信道的对称性，所以H(Y/X=,x,)与,x,无关,，为一常数，即,因此,对称离散信道的信道容量,：,对称离散信道的平均互信息为：,I(X;Y)=H(Y)-H(Y/X),当,p(x,),等概分布时，达到,信道容量,在这个信道中，每个符号平均能够传输的最大信息为0.0817比特。,只有当信道的输入符号是等概率分布时,才能达到这个最大值。,例5,某对称离散信道的信道矩阵如下，求其信道容量。,解：s=4, r=2,四、离散无记忆N次扩展信道的信道容量,一般离散无记忆信道的N次扩展信道,即：C,N,= NC,所以，对于,一般的离散无记忆信道的N次扩展信道,，其,信道容量,是：,由于输入序列中的各分量是在同一信道中传输的,一般情况下,，消息序列在离散无记忆的N次扩展信道中传输的信息量：,I（X,;,Y）,NC,3.5,连续信道的信道容量,在连续信源的情况下，如果取两个相对熵之差，则连续信源具有与离散信源一致的信息特征；,而互信息就是两个熵的差值，与离散信道类似，可定义互信息的最大值为信道容量。,因此，连续信道具有与离散信道类似的信息传输率和信道容量的表达式。,一、连续单符号加性高斯噪声信道的信道容量,单符号连续信道的平均互信息为：,信息传输率为：,(比特/符号),信道容量为：,由于条件熵,h,(Y/X) (即噪声熵)是由信道的噪声引起的不确定性，因而条件熵等于噪声信源,h,(,n,)的熵。所以：,设信道迭加的噪声,n,是均值为零，方差为,2,的一维高斯噪声，则噪声信源的熵为：,如果信道输出信号,Y,的平均功率限制在,P,0,以下，由第二章知，当,Y,是均值为零的高斯变量时，其熵,h(Y),为最大。,因此，得,平均功率受限高斯加性信道,的信道容量,(,每个自由度,),为：,如果信道加入信道的噪声是加性高斯噪声，则输出,Y、,信道噪声的概率密度函数为：,即：,因此，当信道的输入,X,是均值为“0”、方差为“”的高斯分布时，,平均功率受限高斯加性信道,的信息传输率达到最大值：,其中是输入信号X的平均功率，P,n,=,2,是高斯噪声的平均功率,在实际中，天电干扰、工业干扰和其它脉冲干扰都属于加性干扰，它们是非高斯型分布。,如果在通信系统中噪声不是高斯型的，但为加性的，则可以根据式,(3.5.2),求出信道容量的上下限；如为乘性噪声，则很难进行定量分析。,非高斯噪声信道的信道容量要大于高斯噪声信道的信道容量，所以在实际中，我们常常采用计算高斯噪声信道容量的方法来保守地,估计信道容量,，这样做同时还可以带来信道容量的计算比较容易的好处。,二、多维无记忆高斯加性连续信道的信道容量,(比特个自由度),加性信道,输入信号序列,X,1,X,2,X,输出信号序列,Y,1,Y,2,Y,高斯噪声n,1,n,2,n,X,1,Y,1,=X,1,+n,1,n,1,X,Y,=X,+n,n,上式同样也是,个独立、并联组合高斯加性信道的信道容量。,此时分两种情况：,(1) 若,各单元时刻,(i1,),上的噪声都是均值为零、方差为,P,n,的高斯噪声，而,P,i,=S，,则：,(2) 若各单元时刻(i1,)上的噪声是均值为零，方差为不同P,ni,的高斯噪声，但输入信号的总平均功率受限，其约束为：,则：,单位：(比特个自由度),(常数), i=1,2,这结论说明，个独立并联的组合高斯加性信道，当各分信道(或各时刻)的噪声平均功率不相等时，为达到最大的信息传输率，要对输入信号的总能量适当地进行分配。,当常数,P,ni,时，此信道(或此时刻信号分量)不分配能量，使不传送任何信息，,当,P,ni,，在这些信道分配能量，并使满足,P,i,+,P,ni,=,，这样得到的信道容量为最大。,这与实际情况也相符：我们总是在噪声大的信道少传或不传送信息，而在噪声小的信道多传送些信息。,这一结论可以形象地解释为容器中水流动的情况。,将,容器底部,看成是,由噪声平均功率,P,ni,(即方差)所形成,的高低不平的底部，将信号的总能量,P,看作总水量，将这些水倒入容器中，水流动达到平衡。,水平面的高度为,，,当,P,ni,的单元内没有水；,P,ni,越小的单元内水就越多，,当总能量P增加，水面(,)抬高，图中第三单元也可能流入水。若总能量P减少时，水面(,)降低，图中第5单元可能也没有水了。,例3.5.1,设在各单元时刻上，噪声是均值为零，方差为,P,ni,的高斯加性噪声。,输入信号X是10个相互统计独立、均值为零、方差为P,i,的高斯变量，且： 求各子信道的信号功率分配。,(1)由常数,的约束条件，得：,解：,比较后得最后四个信道应排除，即令：,P,7,=0，,P,8,=0 ，,P,9,=0 ，,P,10,=0,P,n1,=0.1，,P,n2,=0.2 ，,P,n3,=0.3 ，,P,n4,=0.4 ，,P,n5,=0.5 ，,P,n6,=0.6，,P,n7,=0.7 ，,P,n8,=0.8 ，,P,n9,=0.9 ，,P,n10,=1.0 （单位为W）,(2)再计算常数,（此时可用信道为 6个）,，得：,比较得：,P,6,= - 0.083，第六个信道也应排除，令：,P,6,=0,(3)再计算常数,（此时可用信道为 个）,，得：,可见，第五个信道也应排除，令：,P,5,=0,(4) 再计算常数,（此时可用信道为 4个）,，得,所以，功率分配为,：,P,1,=0.4，,P,2,=0.3 ，,P,3,=0.2 ，,P,4,=0.1,本例结果表明，,噪声分量功率小的信道分配得到的相应信号分量功率要大一些，,那些噪声太大的信道就不去用它，可使总的信道容量最大。,若提高信号的总平均功率，可使有些信道相应的输入信号也分配到一些能量。,(比特10个自由度),信道容量：,若提高信号的总平均功率，使：,功率分配为,：,P,1,=0.725，,P,2,=0.625 ，,P,3,=0.525 ，,P,4,=0.425，,P,5,=0.325，,P,6,=0.225 ，,P,7,=0.125 ，,P,8,=0.025,(比特10个自由度),信道容量：,比较得最后两个信道应排除，令： P,9,=0 ，P,10,=0,三、限频限时限功率的加性高斯白噪声信道的信道容量,一般信道的频带宽度总是有限的，设频带宽度为W，在这种波形信道中，信号满足限频、限时、限功率的条件，可通过取样将输入和输出信号转化为L维的随机序列：,和,而在频带内的高斯噪声是彼此独立的，从而有：,按照采样定理，在0,T范围内要求：,这种信道叫高斯白噪声加性信道，是一种假设的波形信道。此,信道的输入和输出信号是随机过程,x,(t),和,y,(t),，而加入信道的噪声是加性高斯白噪声,n,(t),(其均值为零、功率谱密度为,N,0,/2,)。加性高斯信道的信道容量,平均功率受限的信源最大熵是在高斯分布时出现。,高斯白噪声加性信道,单位时间的信道容量：,例4 设信道传输每比特的能量为E,b,，请根据带宽效率C/W与E,b,/N,0,的曲线图，说明信息传输率和信噪比的关系。,解 通信系统的平均互信息就是信道的信息传输率R，它表示信道传输数据的比特率。假设R=C，则传输数据的平均功率为,依此将信道容量定理写为,信道及其容量,依此画出C/W与E,b,/N,0,的曲线图,从曲线来看，即使在E,b,/N,0,小于1的情况下， C/W也是一个正数。,信道及其容量,这说明，在带宽很大的情况下，,信噪比,这是个小数，说明信号功率小于噪声功率。此时的信道容量,信道及其容量,它说明，即使在信号功率小于噪声功率的情况下，只要有足够的带宽，信道容量就不会为零。,根据信道编码定理，只要我们通信系统的信息传输率R不大于C，就有办法实现可靠通信。这是扩频通信系统的理论基础。,信道及其容量,例3.5.2,在电话信道中常允许多路复用。一般电话信号的带宽为3.3kHz。若信噪功率比为20dB(即Ps/(N,o,W)=100)，代入香农公式计算可得,电话信道的信道容量,为22k比特秒。,而实际信道能达到的最大信息传输率约为19.2k比特秒。因为在实际电话通道中，还需考虑串音、干扰、回声等等的因素，所以比理论计算的值要小。,说明：实际信道通常是非高斯波形信道。,香农公式可适用于其他一般非高斯波形信道,，由香农公式得到的值,是非高斯波形信道的信道容量的下限值,。,在香农公式中决定信道容量的是三个物理参量：,三个参数的乘积是一个“可塑”性的体积，三者之间可以互换。下面举例说明：,用频带换取信噪比,(这是扩频通信的原理),模拟通信中，调频优于调幅，且频带越宽，抗干扰性就越强。,用信噪比换取频带,在卫星、数字微波通信中常采用多电平调制、多相调制、高维星座调制等等，它们利用高质量信道中富裕的信噪比换取频带，以提高传输有效性。,用时间换取信噪比,弱信号累积接收基于这一原理。,香农公式的,物理意义,为：,当信道容量一定时，增大信道的带宽，可以降低对信噪功率比的要求；,反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。,香农公式是在噪声信道中进行可靠通信的信息传输率的上限值。,3.6,信源与信道的匹配,在一般情况下，当信源与信道相连接时，其信息传输率并未达到最大。我们总希望能使信息传输率越大越好，能达到或尽可能接近于信道容量.,由前面的分析可知，信息传输率接近于信道容量只有在信源取最佳分布时才能实现。由此可见，当信道确定后，信道的信息传输率与信源分布是密切相关的。,当达到信道容量时，我们称,信源与信道达到匹配,，否则认为信道有剩余。,信道剩余度定义为：,信道剩余度,=,表示信道的实际传信率和信道容量之差。,相对信道剩余度,=,信道剩余度,可以用来衡量信道利用率的高低。,在无损信道中，信道容量 Clogr (r是信道输入符号数)。而I(X,;,Y,)H(X)，因而：,无损信道的相对,剩余度,=,上式说明提高无损信道信息传输率就等于减少信源的剩余度。,对于无损信道，可以通过信源编码、减少信源的剩余度，使信息传输率达到信道容量。,因此引入问题,：在一般通信系统中，如何将信源发出的消息,(,符号,),转换成适合信道传输的符号,(,信号,),从而达到信源与信道的匹配。,注意：,信道容量C和输入信号的概率分布无关，它只是信道传输概率的函数，只与信道的统计特性有关。,例如，某离散无记忆信源,通过一个无噪无损二元离散信道进行传输。,对,二元离散信道的信道容量,为：C1(比特信道符号),对本信源的信息熵为 H(X)1.937(比特信源符号),要使信源在此二元信道中传输，必须对信源X进行二元编码（例如）：,因此，,必须通过合适的编码,，使信道的信息传输率接近或等于信道容量。,对于码,(比特信道符号),对于码,(比特信道符号),3.7,信道编码定理,定理3.7.1,有噪信道编码定理(,香农第二定理,)：,若有一离散无记忆平稳信道，其容量为,C,，输入序列长度为,L,，只要待传送的信息率,RC,时，任何编码的 必大于零，当 时， 。,即在任何信道中，信道容量是保证信息可靠传输的最大信息传输率。,对于连续信道，有类似的结论。,与无失真信源编码定理(香农第一定理)类似，香农第二定理只是一个存在性定理，它指出在保证信息传输率低于信道容量的前提下，错误概率趋于“0”的编码是存在的。,虽然定理设有具体说明如何构造这种码，但它对信道编码技术与实践仍然具有根本性的指导意义。,二十世纪六十年代以来，这方面的研究非常活跃，出现了代数编码、循环码、卷积码、级联码、格型码等等，为提高信息传输的可靠性作出了重要的贡献。,我们将在第六章介绍信道编码的典型编码方法。,