第三章离散信道及信道容量课件

,单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第三章 离散信道及其信道容量,3.1 信道的数学模型及分类,3.2 平均互信息及平均条件互信息,3.3 平均互信息的特性,3.4 信道容量及其一般计算方法,3.6 离散无记忆扩展信道及其信道容量,3.7 独立并联信道及其信道容量,3.8 串联信道的互信息和数据处理定理,3.9 信源与信道的匹配,第三章 离散信道及其信道容量3.1 信道的数学模型及分类,1,3.1 信道的数学模型及分类,3.1.1 信道的分类,3.1.2 离散信道的数学模型,3.1.3,单符号离散信道的数学模型,3.1 信道的数学模型及分类3.1.1 信道的分类3.1.,2,3.1.1 信道的分类,两端信道：,只有一个输入端和一个输出端,多端信道：,在输入端或输出端至少有一端,有两个以上的用户。,无反馈信道：,输出端信号对输入端信号无,影响。,反馈信道：,输出端信号对输入端信号有影,响。,3.1.1 信道的分类两端信道：只有一个输入端和一个输出端,3,固定参数信道：,信道参数不随时间变化。,时变参数信道：,信道参数随时间变化。,离散信道：,输入和输出的随机序列取值都,是离散的。,连续信道：,输入和输出的随机序列取值都,是连续的。,半离散或半连续信道：,一端序列取值是离,散的一端序列取值是连续的。,波形信道：,输入输出都是时间上连续,的随机信号,X,(,t,),Y,(,t,).,固定参数信道：信道参数不随时间变化。离散信道：输入和输出的随,4,3.1.2 离散信道的数学模型,信 道,信道统计特性用条件概率表示,3.1.2 离散信道的数学模型 信 道信道统计,5,1、无干扰（无噪）信道,2、有干扰无记忆信道,无记忆信道：,信道任一时刻输出符号只统计依赖于对应时刻的输入信号，而与非对应时刻的输入符号及输出符号无关。,有干扰：,输出符号与输入符号之间无确定的对应关系，符合某种概率分布。,1、无干扰（无噪）信道2、有干扰无记忆信道有干扰：输出符号与,6,a,1,b,1,a,2,b,2,a,r,b,s,3.1.3,单符号离散信道的数学模型,条件概率,称,传递概率,或,转移概率,a1,7,例3.1,二元对称信道,BSC,X,Y,a,1,=,0,b,1,=,0,a,2,=,1,b,2,=,1,且,二元对称信道的传递矩阵,Y,例3.1 二元对称信道BSC X,8,例3.2,二元删除信道,BEC,a,1,=0,a,2,=1,b,1,=0,b,3,=2,b,2,=1,例3.2 二元删除信道BECa1=0a2=1b1=0,9,单符号信道的传递概率用矩阵表示：,简写 ，信道传递矩阵为,且,矩阵中每行元素之和等于1。,单符号信道的传递概率用矩阵表示：简写,10,可求：,已知,输入概率,信道矩阵,(1) 联合概率,(2) 输出符号概率,(3) 后向概率,可求：已知输入概率 信道矩阵(1) 联合概率(2),11,3.2 平均互信息及平均条件互信息,3.2.1,信道疑义度,3.2.2,平均互信息,3.2.3,平均条件互信息,3.2 平均互信息及平均条件互信息3.2.1 信道疑义度3.,12,3.2.1,信道疑义度,1、先验熵,H,（,X,）,接收到输出,Y,以前，关于输入变量,X,的先验不确定性的度量。,2、后验熵,当接收到输出符号,y,b,j,后，输入符号的概率分布成为 ，则关于,x,的平均不确定性为,3.2.1 信道疑义度1、先验熵 H（X）2、后验熵,13,3、条件熵,信道疑义度,H,（,X,|,Y,）,表示输出端收到输出变量,Y,的符号后，对输入端变量,X,尚存在的平均不确定性。,3、条件熵信道疑义度H（X|Y） 表示输出端收到,14,讨论：,（1）一般情况下，H（X|Y）H（X）,说明接收到Y后，关于输出变量X的不确定,性减少了。,（2）对于无扰信道,接收到Y后，完全消除了对X的不确定,性，从而获得全部信息。,讨论：,15,3.2.2,平均互信息,1、定义式平均互信息,表示收到输出符号Y后，平均每个符号获得的关于X的信息量。,对称性,3.2.2 平均互信息1、定义式平均互信息表示收到输出,16,2、互信息定义式,（1） 可正、可负、可零,（2）平均互信息 永远不会取负值,2、互信息定义式（1） 可正、可负、可,17,3、其它熵的定义式及计算,损失熵, 信道疑义度H（X|Y）,表示信源符号通过有噪信道传输后所引起的信息量的损失。,噪声熵, 散布度 H（Y|X）,表示在已知X的条件下，对于随机变量Y尚存在的不确定性，此不确定性完全是由信道中的噪声引起。,3、其它熵的定义式及计算损失熵 信道疑义度H（X|Y）,18,维拉图表示熵的公式,维拉图表示熵的公式,19,4、两种极端信道,结论：,（1）无噪一一对应信道,（2）输入端与输出端完全统计独立,接收到Y后不可能消除X的任何不确定性，也不能从X中获得任何关于Y的信息量。,结论：,4、两种极端信道结论：（1）无噪一一对应信道（2）输入端与输,20,3.2.3,平均条件互信息,1、条件互信息,设有三个概率空间X、Y、Z，且有,系统1,系统2,Z,Y,X,系统1,YZ,X,串出,Z,Y,系统1,X,并出,3.2.3 平均条件互信息1、条件互信息系统1系统2ZYX,21,定义：,2、平均条件互信息,定义：2、平均条件互信息,22,3、联合互信息,4、平均联合互信息,3、联合互信息4、平均联合互信息,23,3.3 平均互信息的特性,3.3.1 平均互信息的非负性,3.3.2,平均互信息的极值性,3.3.3,平均互信息的交换性（对称性）,3.3.4,平均互信息,I,(,X,;,Y,),的凸状性,3.3 平均互信息的特性3.3.1 平均互信息的非负性3.,24,3.3.1,平均互信息的非负性,当X、Y统计独立时，,通过一个信道获得的平均信息量不会是负值。也就是说，观察一个信道的输出，从平均的角度来看总能消除一些不确定性，接收到一定的信息。,3.3.1 平均互信息的非负性当X、Y统计独立时，通过一个信,25,3.3.2,平均互信息的极值性,3.3.2 平均互信息的极值性,26,3.3.3,平均互信息的交换性（对称性）,3.3.4,平均互信息,I,(,X,;,Y,),的凸状性,3.3.3 平均互信息的交换性（对称性）3.3.4 平均互信,27,定理3.1,平均互信息 是输入信源概率分布 的 型凸函数。,p,0,1,1,0,p,例3.4,已知二元对称信道,输入信源：,求I（X；Y）,定理3.1 平均互信息 是输入信源,28,信道固定后，接收到的信息量I（X；Y）与输入概率分布,P,（x）有关。当,1/2（等概率分布）时，信道接收端平均每个符号获得最大的信息量。,信道固定后，接收到的信息量I（X；Y）与输入概率分布P（x）,29,1.0,1.0,0.5,0,I,(,X,;,Y,),固定信道,1-,H,(,p,),1.01.00.50I(X;Y)固定信道1-H(p),30,定理3.2,平均互信息 是信道传递概,率 的 型凸函数.,例3.4,续,固定 时， 是,p,的 型凸函数.,当信源固定后，选择不同的信道来传输同一信源符号时，在信道的输出端获得关于信源的信息量是不同的。,定理3.2 平均互信息 是信道传递,31,1.0,0.5,0,P,I,(,X,;,Y,),固定信源,H,(,),1.00.50PI(X;Y)固定信源H(),32,3.4 信道容量及其一般计算方法,3.4.1,离散无噪信道的信道容量,3.4.2,对称离散信道的信道容量,3.4.3,准对称信道的信道容量,3.4 信道容量及其一般计算方法3.4.1 离散无噪信道的,33,信息传输率R：,信道中平均每个符号所能传送的信息量。,平均互信息,：接收到Y后，平均,每个符号获得的关于X的信息量。,符号,信息传输率R：信道中平均每个符号所能传送的信息量。平均互信息,34,相应的输入概率分布称,最佳输入分布,.,信道容量定义：,对于一个固定信道，总存在一种信源（概率分布 ），使传输每个符号平均获得的信息量最大。这就是固定信道的最大信息传输率，定义为信道容量C。,相应的输入概率分布称最佳输入分布.信道容量定义：,35,信道容量的,物理意义,：,信道容量已与输入信道的概率分布无关，它只是信道传输概率的函数，只与信道的统计特性有关。所以，信道容量是能完全描述信道特性的参量,是信道能够传输的最大信息量。,如例3.4中,信道容量的物理意义：如例3.4中,36,3.4.1,离散无噪信道的信道容量,1、无噪无损信道,3.4.1 离散无噪信道的信道容量1、无噪无损信道,37,2、有噪无损信道,2、有噪无损信道,38,2、有噪无损信道,I,（,X,;,Y,）,H,（,Y,|,X,）,H,（,X,）,H,（,Y,）,2、有噪无损信道I（X;Y）H（Y|X）H（X）H（Y）,39,2、有噪无损信道,信道特点：,信道的传递矩阵中每一列有一个也,仅有一个非零的元素,。,I,（,X,;,Y,）,H,（,Y,|,X,）,H,（,X,）,H,（,Y,）,2、有噪无损信道信道特点：信道的传递矩阵中每一列有一个也仅有,40,3、无噪有损信道,1,1,1,1,1,1,I,（,X,;,Y,）,H,（,X,|,Y,）,H,（,Y,）,H,（,X,）,信道特点：,信道的传递矩阵中每一行有一个也,仅有一个非零的元素,。,3、无噪有损信道111111I（X;Y）H（X|Y）H（Y）,41,3.4.2,对称离散信道的信道容量,1、对称离散信道,3.4.2 对称离散信道的信道容量1、对称离散信道,42,下列信道是否对称离散信道？,下列信道是否对称离散信道？,43,2、强对称信道,（均匀信道）,3、对称离散信,道的信道容量,2、强对称信道3、对称离散信,44,第三章离散信道及信道容量课件,45,第三章离散信道及信道容量课件,46,3.4.3,准对称信道的信道容量,1、准对称信道定义,信道矩阵Q可按列组合成对称矩阵，Q,K,.（每行元素相同，只是不同排列）,判断下列信道是否是准对称离散信道？,3.4.3 准对称信道的信道容量1、准对称信道定义信道矩阵Q,47,2、准对称信道的信道容量,（1）要求的输入分布是等概率分布,（2）信道容量,N,k, 行元素之和,M,k, 列元素之和,2、准对称信道的信道容量Nk 行元素之和,48,例：,例：,49,例：,例：,50,3.6 离散无记忆扩展信道及其信道容量,3.6.1,数学模型,3.6.2,离散无记忆扩展信道的,信道容量,3.6 离散无记忆扩展信道及其信道容量3.6.1 数学模型3,51,3.6.1,数学模型,1、单符号,3.6.1 数学模型1、单符号,52,2、消息序列,3、N次扩展信道,2、消息序列3、N次扩展信道,53,N次扩展信道矩阵,N次扩展信道矩阵,54,例3.11,求二元无记忆对称信道的二次扩,展信道 。已知：,解：,同理得,结论：,对无记忆信道，由信道矩阵可求得N次扩展信道矩阵。,例3.11 求二元无记忆对称信道的二次扩解：同理得结论：,55,3.6.2,离散无记忆扩展信道的信道容量,1、N次扩展信道的平均互信息,3.6.2 离散无记忆扩展信道的信道容量1、N次扩展信道的平,56,若信道的输入随机序列为 ，通过信道传输，接收到的随机序列为,。若信道是无记忆的，则存在,2、定理3.5, 给出了I（X；Y）的,极大值,若信道的输入随机序列为,57,3、定理3.6,若信道的输入随机序列为 ，通过信道传输，接收到的随机序列为,。若信源是无记忆的，则存在, 给出了I（X；Y）的,极小值,3、定理3.6若信道的输入随机序列为,58,4、,离散无记忆信道、无记忆信源时,当信源无记忆时，无记忆的N次扩展信道的平均互信息等于原信道平均互信息的N倍。,4、离散无记忆信道、无记忆信源时 当信源无记忆时，无,59,5、离散无记忆信道的N次扩展信道的信,道容量,5、离散无记忆信道的N次扩展信道的信,60,结论：,离散无记忆的N次扩展信道的信道容量等于单符号时信道容量的N倍.,条件：,（1）输入信源是无记忆的;,（2）每一输入X,i,的分布各自达到最佳分,布，使传输达到信道容量C。,一般情况下：,结论：离散无记忆的N次扩展信道的信道容量等于单符号时信道容量,61,3.7 独立并联信道及其信道容量,N,个独立并联信道中，每个信道输出的,Y,i,只与本信道的输入,X,i,有关，与其它信道的输入、输出都无关，此并联信道是无记忆的.,3.7 独立并联信道及其信道容量N个独立并联信道中，每个信,62,结论：,（2）当输入符号 相互独立，且 的概率分布达到各信道容量的最佳输入分布时，,根据定理3.5,（1）独立并联信道的信道容量不大于各个信道容量之和。,结论：（2）当输入符号 相互独立，且 的概率分布达,63,3.8 串联信道的互信息和数据处理定理,3.8.1,串联信道数学模型,3.8.2,串联信道平均互信息,3.8.3,一般通信系统模型,3.8 串联信道的互信息和数据处理定理3.8.1 串联信道数,64,3.8.1,串联信道数学模型,（1）电视卫星转播,电视台 卫星 电视接收台,二个信道的串联,信道,信道,（2）对接收信号进行数据处理,卫星测得数据 转换成脉冲,判决器 地面接收站,（0、1二元码）,（0、1二元码）,（0、1码）信道,信道,1、串联信道举例,3.8.1 串联信道数学模型（1）电视卫星转播信道信道（2）,65,2、串联信道模型,X,Z,Y,2、串联信道模型XZY,66,总信道,X,Y,总信道XY,67,证明：,即,证明：即,68,3、马尔可夫链串联信道,定义：满足条件 , 称这两个信道的输入和输出,X,，,Y,，,Z,序列构成马尔可夫链。,且,3、马尔可夫链串联信道定义：满足条件,69,3.8.2,串联信道平均互信息,1、定理3.7,联合变量XY与变量Z之间的平均互信息不小于变量Y与Z之间的平均互信息。,当且仅当,时,实际的串联信道，往往满足马尔可夫链条件。因此由Z获得的关于Y的信息量即相同于由Z获得的关于XY的联合信息量。,3.8.2 串联信道平均互信息1、定理3.7联合变量XY与变,70,2、定理3.8, 数据处理定理,定理3.8和推论表明通过串联信道传输只会,丢失更多的信息,。,若X、Y、Z组成一个马尔可夫链，则有,取等号条件,推论：,2、定理3.8 数据处理定理定理3.8和推论表明通过串联,71,表明串联第二个信道传输信息后不会增加信息的损失。,结论：,若第二个信道是数据处理系统，一般只会增加信息的损失，最多保持原来获得的信息，不可能比原来获得的信息有所增加。,需要,第二个信道是无噪无损信道,当满足条件,时,则,要满足条件,表明串联第二个信道传输信息后不会增加信息的损失。结论：若第二,72,3、一系列串联信道的信道容量,在任何信道传输系统中，最后获得的信息至多是信源所提供的信息。如果一旦在某一过程中丢失一些信息，以后的系统不管如何处理，都不能再恢复已丢失的信息。称做,信息不增性原理,。,X,信道,信道,信道,Y,W,Z,3、一系列串联信道的信道容量在任何信道传输系统中，最后获得的,73,串连信道的信道容量：,串接的无源数据处理信道越多，其信道容量可能会越小。当串接信道数无限大时，信道容量可能趋于零。,串连信道的信道容量： 串接的无源数据处理信道越多，其信道,74,(2)两个二元对称信道串联,解：,例3.13,(1)信源输出符号概率,当串联级数,n,增加时，损失的信息增加,由于实际信道中错误概率,p,很小，,若干次串接后信道容量的减少并不明显。,(2)两个二元对称信道串联解：例3.13 (1)信源输出符,75,n,级二元对称信道串联的,I,(,X,;,Y,),n级二元对称信道串联的I (X;Y),76,3.8.3,一般通信系统模型,信源,信道,信宿,译码,编码,即,则,为了获得更有用的和更有效的信息，还是需要进行适当的信息处理。,3.8.3 一般通信系统模型信源信道信宿译码编码即则为了获得,77,3.9 信源与信道的匹配,1、信源与信道匹配,指信源与信道连接时，信息传输率达到了信道容量。,2、信道剩余度,信道剩余度,信道相对剩余度,= 信源剩余度,无损信道,3.9 信源与信道的匹配1、信源与信道匹配指信源与信道连接,78,信源剩余度,3、对于无损信道，追求减少信源剩余度, 通过信源编码，使信道的信息传输率,R,接近或等于信道容量。,信源剩余度3、对于无损信道，追求减少信源剩余度,79,