《信息论与编码》课件第3章

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,信息论基础,B,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,信息论基础,B,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,信息论基础,B,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第,3,章,信道与信道容量,信道分类和表示参数,离散单个符号信道及其容量,离散序列信道及其容量,连续信道及其容量,3.1,信道分类和表示参数,信道分类,用户数量：单用户、多用户,输入端和输出端关系：无反馈、有反馈,信道参数与时间的关系：固参、时变参,噪声种类： 随机差错、突发差错,输入输出特点：离散、连续、半离散半连续、,波形信道,3.1,信道分类和表示参数,信道参数,信道种类,3.1,信道分类和表示参数,二进制对称信道（,BSC,）,3.1,信道分类和表示参数,离散无记忆信道,3.1,信道分类和表示参数,离散输入、连续输出信道,3.1,信道分类和表示参数,波形信道,3.2,离散单个符号信道及其容量,信息传输率,信道在单位时间内平均传输的信息量定义为信息传输速率,R=,I,(,X,;,Y,)=,H,(,X,),H,(,X,/,Y,),比特,/,符号,R,t,=,I,(,X,;,Y,)/t,比特,/,秒,信道容量,比特,/,符号（,bits/symbol,或,bits/channel use,）,3.2,离散单个符号信道及其容量,无干扰离散信道的信道容量,3.2,离散单个符号信道及其容量,X,、,Y,一一对应,C,max,I,(,X,;,Y,),log n,多个输入变成一个输出,C,max,I,(,X,;,Y,),max,H,(,Y,),一个输入对应多个输出,C,max,I,(,X,;,Y,),max,H,(,X,),3.2,离散单个符号信道及其容量,对称,DMC,信道定义,输入对称,如果转移概率矩阵,P,的每一行都是第一行的置换,(,包含同样元素,),，称该矩阵是输入对称,输出对称,如果转移概率矩阵,P,的每一列都是第一列的置换,(,包含同样元素,),，称该矩阵是输出对称,对称,的,DMC,信,道,如果输入、输出都对称,3.2,离散单个符号信道及其容量,对称,DMC,信道例子,3.2,离散单个符号信道及其容量,输入对称,输出对称,3.2,离散单个符号信道及其容量,对称信道容量,3.2,离散单个符号信道及其容量,Eg,.,求信道容量,3.2,离散单个符号信道及其容量,Eg,.,求信道容量,信道输入符号和输出符号的个数相同，都为,n,，,且正确的传输概率为,1,，错误概率,被对称地均分给,n-1,个输出符号，此信道称为强对称信道或均匀信道，是对称离散信道的一个特例,3.2,离散单个符号信道及其容量,二进制对称信道容量,C,1,H,（,）,3.2,离散单个符号信道及其容量,串联信道,C(1,2)=,max,I,(,X,;,Z,),，,C(1,2,3)=,max,I,(,X,;,W,),3.2,离散单个符号信道及其容量,Eg,.,设有两个离散,BSC,信道串接，两个,BSC,信道的转移矩阵如下，求信道容量,3.2,离散单个符号信道及其容量,信道容量,I,(,X,;,Y,)=1-,H,(,),，,I,(,X,;,Z,)=1-,H,2,(1-,),3.2,离散单个符号信道及其容量,准对称,DMC,信道,如果转移概率矩阵,P,是输入对称而输出不对称，即转移概率矩阵,P,的每一行都包含同样的元素而各列的元素可以不同，则称该信道是,准对称,DMC,信道,3.2,离散单个符号信道及其容量,准对称,DMC,信道容量,对于准对称,DMC,信道，当输入分布为等概分布时，互信息达到最大值，即为信道容量,3.2,离散单个符号信道及其容量,Eg,.,求信道容量,方法一：,信道的输入符号有两个，可设,p,(,a,1,),，,p,(,a,2,),1,信道的输出符号有三个，用,b,1,、,b,2,、,b,3,表示,3.2,离散单个符号信道及其容量,方法二,当,p,(,a,1,),p,(,a,2,),1/2,时，,p,(,b,1,),p,(,b,2,),(1-0.2)/2,0.4,C=H(Y)-H(Y/X)=0.036bit,/,符号,方法三,将转移概率矩阵划分成若干个互不相交的对称的子集,n,为输入符号集个数；,p,1,，,p,2,，,p,s,是转移概率矩阵,P,中一行的元素，即,H,(p,1,，,p,2,，,p,s,),H,(,Y,/,a,i,),；,N,k,是第,k,个子矩阵中行元素之和，,M,k,是第,k,个子矩阵中列元素之和，,r,是互不相交的子集个数,3.2,离散单个符号信道及其容量,方法三,3.2,离散单个符号信道及其容量,Eg,.,求信道容量,3.2,离散单个符号信道及其容量,一般,DMC,信道,1972,年由,R.Blahut,和,A.Arimoto,分别独立提出的一种算法，现在称为,Blahut-Arimoto,算法,I(a,i,;Y,),=,C,对于所有满足,p,(,a,i,) 0,条件的,I,I(a,i,;Y,),C,对于所有满足,p,(,a,i,) = 0,条件的,I,当信道平均互信息达到信道容量时，输入符号概率集,p,(,a,i,),中每一个符号,a,i,对输出端,Y,提供相同的互信息，只是概率为零的符号除外,3.3,离散序列信道及其容量,离散序列信道,信道,p,(,Y,/,X,),Y,X,X,=(,X,1,X,2,X,L,),X,l,a,1,a,2,a,n,Y,=(,Y,1,Y,2,Y,L,),Y,l,b,1,b,2,b,m,3.3,离散序列信道及其容量,离散无记忆序列信道,1,1,1,1,1,进一步信道是平稳的,3.3,离散序列信道及其容量,离散无记忆序列信道,1,1,1,1,1,如果信道无记忆,如果输入矢量,X,中的各个分量相互独立,当信道平稳时,C,L,=LC,1,，,一般情况下，,I,(,X,;,Y,),LC,1,3.3,离散序列信道及其容量,扩展信道,如果对离散单符号信道进行,L,次扩展，就形成了,L,次离散无记忆序列信道,1,1,1,1,1,BSC,的二次扩展信道,X,00,01,10,11,，,Y,00,01,10,11,，,二次扩展无记忆信道的序列转移概率,p,(00/00)=,p,(0/0),p,(0/0)=(1-,p,),2,，,p,(01/00)=,p,(0/0),p,(1/0)=,p,(1-,p,),，,p,(10/00)=,p,(1/0),p,(0/0)=,p,(1-,p,),，,p,(11/00)=,p,(1/0),p,(1/0)=,p,2,00,10,11,01,00,01,10,11,3.3,离散序列信道及其容量,扩展信道,1,1,1,1,若,p,0.1,，则,C,2,2,0.938,1.062,比特,/,序列,3.3,离散序列信道及其容量,独立并联信道,序列的转移概率,p,(,Y,1,Y,2,Y,L,/,X,1,X,2,X,L,)=,p,(,Y,1,/,X,1,),p,(,Y,2,/,X,2,),p,(,Y,L,/,X,L,),1,1,1,1,X,1,p,(,Y,1,/,X,1,),Y,1,X,2,p,(,Y,2,/,X,2,),Y,2,X,L,p,(,Y,L,/,X,L,),Y,L,3.4,连续信道及其容量,连续单符号加性信道,x,(,x,R),p,(,y,/,x,),y,(,y,R),连续单符号信道,n,p,n,(n,),N(0,2,),平均互信息为,I,(,X,;,Y,),H,C,(,X,),H,C,(,X,/,Y,),H,C,(,Y,),H,C,(,Y,/,X,),H,C,(,X,),H,C,(,Y,),H,C,(,XY,),信道容量,噪声是均值为零、方差为,2,的加性高斯噪声,3.4,连续信道及其容量,连续单符号加性信道,p,Y,(,y,),N(0,P),，,p,n,(n,),N(0,2,),，,y,=,x,+,n,，,所以,p,X,(,x,),N(0,S),C,1/2 log(1+,SNR,),信道输入,X,是均值为零、方差为,S,的高斯分布随机变量时，信息传输率达到最大值,若是,加性,的，可以求出信道容量的上下界,3.4,连续信道及其容量,多维无记忆加性连续信道,信道输入随机序列,X,X,1,X,2,X,L,，,输出随机序列,Y,Y,1,Y,2,Y,L,，,加性信道有,y,=,x,+,n,，,其中,n,=,n,1,n,2,n,L,是,均值为零的高斯噪声,3.4,连续信道及其容量,连续单符多维无记忆高斯加性信道就可等价成,L,个独立的并联高斯加性信道号加性信道,比特,/L,维自由度,因此当且仅当输入随机矢量,X,中各分量统计独立，且是均值为零、方差为,P,l,的高斯变量时，才能达到此信道容量,3.4,连续信道及其容量,讨论,均值为零、方差相同,均值为零、方差不同，总平均功率受限,3.4,连续信道及其容量,讨论,各个时刻的信道输出功率相等设为常数,3.4,连续信道及其容量,eg,有一并联高斯加性信道，各子信道噪声方差为 ,0.1,， ,0.2,， ,0.3,， ,0.4,， ,0.5,， ,0.6,， ,0.7,， ,0.8,， ,0.9,， ,1.0,3.4,连续信道及其容量,限时限频限功率加性高斯白噪声信道,波形信道的平均互信息为,信道容量为,3.4,连续信道及其容量,限时限频限功率加性高斯白噪声信道,限频,(W),高斯白噪声过程可分解,L,2Wt,B,维统计独立的随机序列,其中：,3.4,连续信道及其容量,限时限频限功率加性高斯白噪声信道,信道的容量,单位时间的信道容量,香农公式,3.4,连续信道及其容量,讨论,带宽,W,一定时，信噪比,SNR,与信道容量,C,t,成对数关系,C,t,SNR,信道容量与信噪比的关系,3.4,连续信道及其容量,讨论,当输入信号功率,P,S,一定，增加信道带宽，可以增加容量,ln(1+,x,),x,P,S,/N,0,ln,2,-1.6dB,，,即当带宽不受限制时，传送,1,比特信息，信噪比最低只需,-,1.6dB,（,香农限）,3.4,连续信道及其容量,讨论,C,t,一定时，带宽,W,增大，信噪比,SNR,可降低，即两者是可以互换的,C,t,/W (bit/s/Hz),不可实现区域,可实现区域,1,-1.6 0 SNR(dB),频带利用率与信噪比的关系,3.4,连续信道及其容量,Eg,电话信道的带宽为,3.3kHz,，,若信噪功率比为,20dB,，即,SNR,100,，,求信道的容量,