信道容量课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,信道容量电信学院 汪汉新电信学院 汪汉新电信学院 汪汉新,电信学院 汪汉新,信道容量,9/10/2024,1,信道容量电信学院 汪汉新,信道的信息传输速率,如果信源熵为,H,(,X,),，希望在信道输出端接收的信息量也是,H,(,X,),，由于干扰的存在，一般只能接收到,I,(,X,;,Y,),。,信道的信息传输率,R,(信道中平均每个符号所能传送的信息量)：就是平均互信息,R,=,I,(,X,;,Y,),。,输出端,Y,往往只能获得关于输入,X,的部分信息，这是由于平均互信息性质决定的：,I,(,X,;,Y,),H,(,X,),。,9/10/2024,2,信道容量电信学院 汪汉新,I,(,X,;,Y,),是信源输入概率分布,p,(,x,i,),和信道转移概率,p,(,y,j,/,x,i,),的二元函数：当信道特性,p,(,y,j,/,x,i,),固定后，,I,(,X,;,Y,),随信源概率分布,p,(,x,i,),的变化而变化。调整,p,(,x,i,),，在接收端就能获得不同的信息量。由平均互信息的性质已知，,I,(,X,;,Y,),是,p,(,x,i,),的上凸函数，因此总能找到一种概率分布,p,(,x,i,),（即某一种信源），使信道所能传送的信息率为最大。,信道的信息传输速率,9/10/2024,3,信道容量电信学院 汪汉新,信道容量,信道容量,C,：信道中最大的信息传输率，单位是比特/信道符号。,单位时间的信道容量,C,t,：若信道平均传输一个符号需要,t,秒钟，则单位时间的信道容量为,C,和,C,t,都是求平均互信息,I,(,X,;,Y,),的条件极大值问题，当输入信源概率分布,p,(,x,i,),调整好以后，,C,和,C,t,已与,p,(,x,i,),无关，而仅仅是信道转移概率的函数，也就是只与信道统计特性有关；,对于特定的信道，其信道容量C是确定的。信道容量,是完全,描述信道特性,的参量；是信道,能够传送的最大信息量,。,9/10/2024,4,信道容量电信学院 汪汉新,几种特殊离散信道的信道容量,离散无噪信道的信道容量（三种无噪信道）,强对称离散信道的信道容量,对称离散信道的信道容量,准对称离散信道的信道容量,9/10/2024,5,信道容量电信学院 汪汉新,具有一一对应关系的无噪信道,信道模型如图,对应的信道矩阵是,无噪无损信道,9/10/2024,6,信道容量电信学院 汪汉新,因为信道矩阵中所有元素均是,“1”,或,“0”,，,X,和,Y,有确定的对应关系：,已知,X,后,Y,没有不确定性，噪声熵,H,(,Y,/,X,)=0,；,反之，收到,Y,后，,X,也不存在不确定性，信道疑义度,H,(,X,/,Y,)=0,;,故有,I,(,X,;,Y,)=,H,(,X,)=,H,(,Y,),。,当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量,:,具有一一对应关系的无噪信道,9/10/2024,7,信道容量电信学院 汪汉新,具有扩展性能的无噪信道,信道模型如图所示。,r,s,，输入,X,的符号集个数小于输出,Y,的符号集个数。其信道矩阵如下：,有噪无损信道,9/10/2024,8,信道容量电信学院 汪汉新,虽然信道矩阵中的元素不全是,“1”,或,“0”,，但由于每列中只有一个非零元素：,已知,Y,后，,X,不再有任何不确定度，信道疑义度,H,(,X,/,Y,)=0,，,I,(,X,;,Y,)=,H,(,X,) -,H,(,X,/,Y,)=,H,(,X,),。,信道容量为,与一一对应信道不同的是，此时输入端符号熵小于输出端符号熵，,H,(,X,) s,，输入,X,的符号集个数大于输出,Y,的符号集个数。其信道矩阵如下：,无噪有损信道,9/10/2024,10,信道容量电信学院 汪汉新,信道矩阵中的元素非,“0”,即,“1”,，每行仅有一个非零元素，但每列的非零元素个数大于1：,已知一个,x,i,后，对应的,y,j,完全确定，信道噪声熵,H,(,Y,/,X,)=0。,但是收到某一个,y,j,后，对应的,x,i,不完全确定，信道疑义度,H,(,X,/,Y,)0,。,信道容量为,这种信道输入端符号熵大于输出端符号熵，,H,(,X,),H,(,Y,),。,注意,：,在求信道容量时，调整的始终是输入端的概率分布,p,(,x,i,),，尽管信道容量式子中平均互信息,I,(,X,;,Y,),等于输出端符号熵,H,(,Y,),，但是在求极大值时调整的仍然是输入端的概率分布,p,(,x,i,),，使得输出端的概率分布,p,(,y,j,),达到最佳分布,。,具有归并性能的无噪信道无噪有损,9/10/2024,11,信道容量电信学院 汪汉新,例题：,下图信道的信道容量是,C,=H(Y)=log,2,3=1.585(比特/信道符号)，,求要达到这一信道容量对应的信源概率分布。,由信道矩阵得,p,(,y,1,)=,p,(,x,1,)1+,p,(,x,2,)1,p,(,y,2,)=,p,(,x,3,)1+,p,(,x,4,)1,p,(,y,3,)=,p,(,x,5,)1,只要,p,(,y,1,)=,p,(,y,2,)=,p,(,y,3,)= (1/3),，,H,(,Y,),达到最大值，即达到信道容量,C,。,此时使,p,(,y,1,)=,p,(,y,2,)=,p,(,y,3,)= (1/3),成立的信源概率分布,p,(,x,i,),i,=1,2,3,4,5,存在，但不是惟一的。,这种信道的输入符号熵大于,输出符号熵，即,H,(,X,),H,(,Y,),。,9/10/2024,12,信道容量电信学院 汪汉新,结 论,具有一一对应关系的无噪信道的信道容量：,具有扩展性能的无噪信道的信道容量：,具有归并性能的无噪信道的信道容量：,结论：离散无噪信道的信道容量,C,只决定于信道的输入符号数,r,，或输出符号数,s,，与信源无关。,9/10/2024,13,信道容量电信学院 汪汉新,强对称离散信道,单符号离散信道的,X,和,Y,取值均由,r,个不同符号组成，即,X,x,1,x,2,x,i,x,r,，,Y,y,1,y,2,y,j,y,r,信道矩阵为,这种信道称为,强对称,/,均匀,信道。,这类信道中：总的错误概率是,p,，对称平均地分配给,(,r,-1),个输出符号。,信道矩阵中每行之和等于1，每列之和也等于1。而,一般信道矩阵中，每列之和不一定等于1。,9/10/2024,14,信道容量电信学院 汪汉新,强对称信道矩阵特点,强对称信道矩阵，它的每一行和每一列都是同一集合各个元素的不同排列。,由平均互信息定义：,9/10/2024,15,信道容量电信学院 汪汉新,H(Y/X=x),的意义,：,是固定,X,=,x,i,时对,Y,求和，相当于在信道矩阵中选定了某一行，对该行上各列元素的自信息求加权和。由于信道的对称性，每一行都是同一集合的不同排列，所以,当,x,i,不同时，,H(Y/X=x),只是求和顺序不同，求和结果完全一样。所以,H(Y/X=x),与,X,无关,，是一个常数。,9/10/2024,16,信道容量电信学院 汪汉新,强对称离散信道的信道容量,由于,如何达到信道容量：,求一种输入分布使,H,(,Y,),取得最大值。,现已知输出符号集,Y,共有,r,个符号，则,H,(,Y,)log,2,r,。根据最大离散熵定理，只有当,p,(,y,j,)= (1/,r,),，,即输出端呈等概率分布时，,H,(,Y,),才达到最大值,log,2,r,。,要获得这一最大值，可通过公式,寻找相应的输入概率分布；,一般情况下不一定存在一种输入符号的概率，使输出符号达到等概率分布。但强对称离散信道存在。,9/10/2024,17,信道容量电信学院 汪汉新,输入是什么概率分布时达到信道容量,强对称离散信道的输入和输出之间概率关系可用矩阵表示为,信道矩阵中的每一行都是由同一集合,中的诸元素的不同排列组成，所以保,证了,当输入符号,X,是等概率分布，,即,p,(,x,i,)=(1/,r,)时，输出符号,Y,一定是等概率分布，这时,H,(,Y,)=log,2,r,。相应的信道容量为,9/10/2024,18,信道容量电信学院 汪汉新,结论：,当信道输入呈等概率分布时，强对称离散信道能够传输最大的平均信息量，即达到信道容量：,这个信道容量只与信道的输出符号数,r,和相应信道矩阵中的任一行矢量有关,。,9/10/2024,19,信道容量电信学院 汪汉新,对称离散信道,对称离散信道的,可排列性：,行可排列：,一个矩阵的每一行都是同一集合,中诸元素的不同排列。,列可排列：,一个矩阵的每一列都是同一集合,中诸元素的不同排列。,矩阵可排列性：,一个矩阵的行和列都是可排列的。,9/10/2024,20,信道容量电信学院 汪汉新,例：,9/10/2024,21,信道容量电信学院 汪汉新,对称离散信道的信道容量,平均互信息,9/10/2024,22,信道容量电信学院 汪汉新,对称离散信道的信道容量与强对称的形式相同，只是这里,s,r,。,由于对称信道的特点，,X,等概率分布时，,Y,也是等概率分布，从而使,Y,的熵达到最大值,log,2,s,，即达到信道的容量。,ex：3.6,9/10/2024,23,信道容量电信学院 汪汉新,3.6,某对称离散信道的信道矩阵为,1/3 1/3 1/6 1/6,1/6 1/6 1/3 1/3 ，求其信道容量,解：,P=,9/10/2024,24,信道容量电信学院 汪汉新,准对称离散信道的信道容量,准对称离散信道：一个,r,行,s,列单符号离散信道矩阵,P,的行可排列，列不可排列。但是矩阵可以分解为,n,个具有可排列性的子矩阵,P,k,。,例,两个子矩阵均是可排列的，故信道,P,是准对称信道。,9/10/2024,25,信道容量电信学院 汪汉新,准对称离散信道容量为,其中， 是第k个子矩阵中行元素的和，而 是子矩阵列元素的和,ex：3.8,了解,9/10/2024,26,信道容量电信学院 汪汉新,3.8,设信道矩阵为,计算该信道的信道容量。,解：可分解为两个互不相交的子矩阵,N1=1-q，N2=q； M1=1-q，M2=2q,利用,9/10/2024,27,信道容量电信学院 汪汉新,单符号离散无记忆信道的,N,次扩展信道的数学模型,9/10/2024,28,信道容量电信学院 汪汉新,无记忆性,：离散信道在时刻,k,的输出随机变量,Y,k,只与时刻,k,的输入随机变量,X,k,(,k,=1,2,N,),有关，与,k,时刻之前的输入随机变量,X,1,X,2,X,k,-1,和输出随机变量,Y,1,Y,2,Y,k,-1,无关。,无预感性,：,k,时刻之前的输出随机变量序列,Y,1,Y,2,Y,k,-1,只与,k,时刻之前的输入随机变量序列,X,1,X,2,X,k,-1,有关，与以后的第,k,时刻的输入随机变量,X,k,无关。,单符号离散无记忆信道与其,N,次扩展信道传递概率的关系,9/10/2024,29,信道容量电信学院 汪汉新,离散无记忆信道的,N,次扩展信道,离散无记忆信道的,N,次扩展信道的传递概率等于,各时刻,相应的单符号离散无记忆信道的传递概率的乘积。,离散无记忆信道的,N,次扩展信道既是,无记忆,的，又是,无预感,的。即输出随机变量,Y,k,只与对应的输入随机变量,X,k,有关。,接前页,9/10/2024,30,信道容量电信学院 汪汉新,离散无记忆信道,N,次扩展信道两端的平均互信息为,I(,X,;,Y,)=H(,Y,),H(,Y,/,X,),平均互信息公式,续下页,单符号离散无记忆信道与其,N,次扩展信道平均互信息的关系,9/10/2024,31,信道容量电信学院 汪汉新,第,k,个随机变量,X,k,单独通过单符号离散信道时的平均互信息,N,个输入、输出变量的平均互信息之和为,于是有：,H,(,X,1,X,2,X,N,-1,X,N,),=H,(,X,1,)+,H,(,X,2,/,X,1,) +,H,(,X,3,/,X,1,X,2,)+,H,(,X,N,/,X,1,X,2,X,N,-1,),9/10/2024,32,信道容量电信学院 汪汉新,当且仅当,信源,X,=,X,1,X,2,X,N,无记忆,，或者说,信源,X,是离散无记忆信源,X,的,N,次扩展信源,X,N,=,X,1,X,2,X,N,时，也可以说,输出端各,Y,k,(,k,=1,2,N,)相互独立,时等号成立。,结论,1,：离散无记忆信道的,N,次扩展信道的平均互信息，不大于,N,个随机变量,X,1,X,2,X,N,单独通过信道,X,P,(,Y,/,X,),Y,的平均互信息之和。即：,结论,2,：离散无记忆信道的,N,次扩展信道，当输入端的,N,个输入随机变量统计独立时，信道的总平均互信息等于这,N,个变量单独通过信道的平均互信息之和。,9/10/2024,33,信道容量电信学院 汪汉新,由于离散无记忆信源的,N,次扩展信源中的随机变量都取自同一符号集,X,k,x,1,x,2,x,N,(,k,=1,2, ,N,),，,并具有相同的概率分布，而且都通过同一个离散无记忆信道,X,P,(,Y,/,X,),Y,，,信道输出端随机变量序列中的随机变量,Y,k,(,k,=1,2, ,N,),也取自同 一符号集，并具有相同的概率分布，而且相互统计独立。,所以,I,(,X,k,;,Y,k,),=,I,(,X,;,Y,),单符号离散无记忆信道与其,N,次扩展信道平均互信息的关系,信源为有记忆时是“,=,”,9/10/2024,34,信道容量电信学院 汪汉新,结论,3,：,离散无记忆信道的,N,次扩展信道，如果信源也是离散无记忆信源的,N,次扩展信源，则信道总的平均互信息是单符号离散无记忆信道平均互信息的,N,倍,。,结论,3,的说明：因为离散无记忆信道,N,次扩展信道可以用,N,个单符号离散信道来等效，这,N,个信道之间没有任何关联关系，若输入端的,N,个随机变量之间也没有任何关联关系的话，就,相当于,N,个毫不相干的单符号离散信道在分别传送各自的信息,，所以在扩展信道的输出端得到的平均信息量必然是单个信道的,N,倍。,用,C,表示离散无记忆信道容量，用,C,N,表示其扩展信道容量，,一般情况：,C,N,=,NC,单符号离散无记忆信道与其,N,次扩展信道的信道容量关系,9/10/2024,35,信道容量电信学院 汪汉新,作业,3.1,3.3,3.10,9/10/2024,36,信道容量电信学院 汪汉新,9/10/2024,37,信道容量电信学院 汪汉新,独立并联信道,独立并联信道：输入和输出随机序列中的各随机变量取值于不同的符号集，就构成了独立并联信道。是离散无记忆信道的,N,次扩展信道的推广。,输入随机序列,X,=,X,1,X,2,X,N,，,X,k,x,1,k,x,2,k,x,nk,输出随机序列,Y,=,Y,1,Y,2,Y,N,，,Y,k,y,1,k,y,2,k,y,nk,N,个独立并联信道的容量,C,N,第,k,个单符号离散无记忆信道的信道容量为,C,k,，,则有,当输入端各随机变量统计独立，且每个输入随机变量,X,k,(,k,=1,2, ,N,),的概率分布达到各自信道容量,C,k,(,k,=1,2, ,N,),的最佳分布时，,C,N,达到其最大值：,9/10/2024,38,信道容量电信学院 汪汉新,独立并联信道推广到更一般情况：,输入各随机变量不但取值于不同的符号集，而且各集合的元素个数也不相同；,输出随机变量也取值于不同的符号集合，各集合的元素个数也不相同；,这种更一般的信道可得到与上述类似的结论。,可以把,N,个变量的独立并联信道看成是离散无记忆信道的,N,次扩展信道的推广，也可以把离散信道的,N,次扩展看成是独立并联信道的特例,。,9/10/2024,39,信道容量电信学院 汪汉新,