资源描述
,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第四章：信道及信道容量,一、信道,分类,二、,离散单符号信道及其信道容量,三、,离散多符号信道及其信道容量,四、,组合信道及其信道容量,五、,连续信道及其信道容量,六、,波形信道及其信道容量,一,.,信道分类,第四章：信道及信道容量,信道的主要研究内容：,信道的分类和建模（信道的统计特性描述）,信道传输信息的能力（信道容量）,在有噪信道中能否实现可靠传输？怎样实现可靠传输？,信道是指信息传输的通道。包括空间传输和时间传输。空间传输：电缆、光纤、电波传输的空间、载波线路。,时间传输：磁带、光盘。,信息论中的,信道划分是人为的。,一、信道分类,幅度,时间,信道,分类,名称,离散,离散,离散信道,/,数字信道,（例如：数字电话）,连续,离散,连续信道,连续,连续,模拟信道,/,波形信道,（例如：普通电话）,离散,连续,（理论和实用价值均很小）,按输入,/,输出信号的幅度和时间特性划分：,一,.,信道分类（续,1,）,第四章：信道及信道容量,一、信道分类,按输入,/,输出之间的记忆性来划分：,无记忆信道,：信道在某时刻的输出只与信道该时刻的输入有关而与信道其他时刻的输入、输出无关。,有记忆信道,：信道在某时刻的输出与其他时刻的输入、输出有关。,根据信道的,输入,/,输出是否是确定关系,可分为,:,有噪声信道,无噪声信道,一,.,信道分类（续,2,）,第四章：信道及信道容量,一、信道分类,根据信道的统计特性是否随时间改变可分为,:,平稳信道,（恒参信道、时不变信道，如卫星通信）,非平稳信道,（变参信道、时变信道，如移动通信）,一,.,信道分类（续,3,）,第四章：信道及信道容量,一、信道分类,根据输入,/,输出的个数可分为：,单用户信道,：一个输入一个输出单向通信。,多用户信道,：,双向通信或三个或更多个用户之间相互通信的情况,，例如多元接 入信道、广播信道、网络通信信道等。,一,.,信道分类（续,4,）,第四章：信道及信道容量,一、信道分类,一,.,信道分类（续,5,）,第四章：信道及信道容量,一、信道分类,信 道,输入,X,输出,Y,干扰、噪声,P(Y|X),1.,离散单符号信道的数学模型,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,信宿,信道,信源,通信系统的简化模型,噪声,信源每发一个符号平均提供的信息量：,H,(,X,),无噪信道信宿可确切无误的接收信息,1.,离散单符号信道的数学模型（续,1,）,X,Y,x,1,x,2,x,r,y,1,y,2,y,s,P,(,Y,|,X,),满足：,（,1,）,0,p,(,y,j,|,x,i,) 1 (,i,=1,2,r,；,j,=1,2,s,),（,2,）,(,i,=1,2,r,),第四章：信道及信道容量,二、,离散单符号信道及其信道容量,1.,离散单符号信道的数学模型（续,2,）,信道传递概率可以用信道矩阵来表示：,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,1.,离散单符号信道的数学模型（续,3,）,对于离散单符号信道来说，信道的输入输出均为单个符号的消息：设信道的输入随机变量,X,的取值集合为,X,=,x,1,x,2,x,r,，,相应的概率分布为,p,(,x,i,),，,i,=1,2,r,；,输出随机变量,Y,的取值集合为,Y,=,y,1,y,2,y,s,，,相应的概率分布为,p,(,y,j,),，,j,=1,2,s,信道特性可以用转移概率矩阵来表示：,P,=,p,(,y,j,|,x,i,),rs,信道的数学模型为,X,P,(,Y,|,X,),Y,例,1,：,二元对称信道,（,BSC,：,binary symmetric channel,）,输入符号集,A,=0,1,输出符号集,B,=0,1,，,r,s,2,传递概率：,0,1,0,1,信道转移概率图,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,1.,离散单符号信道的数学模型（续,4,）,例,2,：二元删除信道,输入符号集,A=0,1,，,符号输出集,B=0,?,1,，,r=2, s=3,信道矩阵为：,0,1,0,?,1,信道转移概率图,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,1.,离散单符号信道的数学模型（续,5,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,离散信道常用的概率关系,:,已知：先验概率,:,p,(,x,i,),，,i,=1,2,r,前向概率,(,信道传递概率）,:,p,(,y,j,| x,i,),，,i,=1,2,r,，,j,=1,2,s,求：,1.,联合概率,:,p,(,x,i,y,j,)=,p,(,x,i,),p,(,y,j,| x,i,)=,p,(,y,j,),p,(,x,i,|,y,j,),i,=1,2,r,；,j,=1,2,s,1.,离散单符号信道的数学模型（续,6,）,2.,输出符号概率,:,j,=1,2,s,矩阵表示：,1.,离散单符号信道的数学模型（续,7,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,3.,后验概率（后向概率）,:,贝叶斯公式,（,i,=1,，,2,，,，,r,;,j,=1,，,2,，,，,s,）,且,j,=1，2，,s,1.,离散单符号信道的数学模型（续,8,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,理想信道，,H,(,X,|,Y,)=0,。,一般情况下，,。,当 时，表示,接收到输出变量,Y,后关于输入变量,X,的平均不确定性一点也没有减少。,信道疑义度,H,(,X,|,Y,),表示接收端收到信道输出的一个符号之后对信道输入的符号仍然存在的平均不确定性。,1.,离散单符号信道的数学模型（续,9,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,平均互信息：,平均互信息,表示接收到,Y,以后，平均每个符号所获得的关于输入变量,X,的信息量,，是信道实际传输信息的数量。,信源熵是信源输出的信息量，而,真正被接收者收到的信息量则是互信息,。,1.,离散单符号信道的数学模型（续,10,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,平均互信息的三种表达式：,平均互信息的性质：,非负性、,互易性、,极值性、,凸函数性,1.,离散单符号信道的数学模型（续,11,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,定理,1,对于固定信道，平均互信息,I,(,X,;,Y,),是信源概率分布的上凸函数。,物理意义：,对某一个确定信道，存在一种信源分布，使平均互信息最大。最大值由信道本身的特性决定。,1.,离散单符号信道的数学模型（续,12,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,定理,2,对于给定信源，平均互信息,I,(,X,;,Y,),是信道转移概率的下凸函数,。,物理意义：,每一个信源都存在一种对应的最差信道，此信道的干扰最大，输出端获得的信息量最小。,1.,离散单符号信道的数学模型（续,13,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,1.,离散单符号信道的数学模型（续,14,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,例,3,：求二元删除信道的,。,已知,解：,由先验概率和信道转移矩阵可得输出符号,Y,的概率分布,即,1.,离散单符号信道的数学模型（续,15,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,X,、,Y,的联合概率分布为,p,(,x,i,y,j,)=,p,(,x,i,),p,(,y,j,| x,i,),1.,离散单符号信道的数学模型（续,16,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,由联合概率分布和,Y,的概率分布可得后验概率为,1.,离散单符号信道的数学模型（续,17,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,1.,离散单符号信道的数学模型（续,18,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,另外，,还可以先求得后验熵： ，,，再通过下式计算：,1.,离散单符号信道的数学模型（续,19,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,2.,信道容量的概念,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,信息传输率,R,：,信道中平均每个符号所传送的信息量。,平均互信息 是接收到符号,Y,后平均获得的关于,X,的信息量。所以,设平均传输一个符号需要,t,秒，则信道每秒钟平均传输的信息量为,信息传输速率,：,在信道确定的情况下， 是信源概率分布 的上凸函数。因此，必然存在一种信源概率分布使信息传输率 最大。定义这个最大的信息传输率为,信道容量,：,相应的输入概率分布被称为,最佳输入分布,。,2.,信道容量的概念（续,1,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,信道容量：,与信源的概率分布无关；,是完全描述信道特性的参量,；,是信道能够传输的最大信息量。,信道单位时间内平均传输的最大信息量,：,2.,信道容量的概念（续,2,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,第四章：离散信道及其容量,例,4,以二元对称信道。信源的概率空间为,信道矩阵为,2.,信道容量的概念（续,3,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,2),固定信道，当 时，,平均互信息取得最大值。,1),2.,信道容量的概念（续,4,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,比特,/,符号,2.,信道容量的概念（续,5,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,3.,几种特殊信道的信道容量,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,1.,无损信道,：,有噪无损信道，一个输入对应多个输出。,(,具有扩展性能）,3.,几种特殊信道的信道容量（续,1,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,2.,无噪,信道,：,无噪有损信道，它是一个输出对应多个输入。（具有归并性能）,3.,几种特殊信道的信道容量（续,2,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,3.,几种特殊信道的信道容量（续,3,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,3.,无噪无损信道,：输入、输出之间有确定的一一对应关系。,3.,几种特殊信道的信道容量（续,4,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,3.,几种特殊信道的信道容量（续,5,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,4.,离散对称信道的信道容量,定义,1,：,若信道矩阵,P,中每行都是第一行的排列，则称此信道是,行对称信道,。,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,4.,离散对称信道的信道容量（续,1,）,定义,2,：若信道矩阵中每行都是第一行的排列，并且每列都是第一列的排列， 则称之为,对称信道,。,定义,3,：虽然不是对称信道，但是信道矩阵可以,按列分为一些对称的子阵，,则称之为,准对称信道,。,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,4.,离散对称信道的信道容量（续,2,）,定义,4,： 若,r,=,s,，,且对于每一个输入符号，正确传输概率都相等，且错误传输概率,p,均匀地分配到,r,-1,个符号，则称此信道为,强对称信道,或,均匀信道,。,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,4.,离散对称信道的信道容量（续,3,）,强对称信道具备四个特征：,1.,矩阵中的每一行都是第一行的排列；,(,行对称,),矩阵中的每一列都是第一列的排列。,(,列对称,),2.,信道输入与输出消息（符号）数相等，即,r=s,。,3.,错误分布是均匀的：,信道矩阵中正确传输概率都相等，且错误传输概率均匀地分配到,r,-1,个符号上。,4.,不仅每一行元素之和为,1,，每一列元素之和也为,1,。,显然，对称性的基本条件是,1,，而,2,、,3,、,4,是加强条件。,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,4.,离散对称信道的信道容量（续,4,）,放松对信道的约束，仅满足条件,1,，就构成一般的对称信道。,例,1,： 例,2,：,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,4.,离散对称信道的信道容量（续,5,）,再进一步放松条件，信道矩阵按列分成若干子阵，如果子阵是对称的，则称为准对称信道。,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,4.,离散对称信道的信道容量（续,6,）,定理,4.1,对于对称信道，当信道输入概率分布为等概分布时，输出概率分布,必,为等概分布。,证明：当输入为等概分布时,则输出 ，,其中,为信道矩阵第,j,列元素之和。,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,4.,离散对称信道的信道容量（续,7,）,又因为,即当信道输入为等概分布时，输出,亦为等概分布。,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,4.,离散对称信道的信道容量（续,8,）,j,=1,2,s,而对称信道每一列是第一列的不同排列。因此,定理,4.2,对称信道,当信道,输出,概率分布为等概的情况下达到信道容量：,其中 是信道矩阵中的任意一行中的元素。,证明：,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,4.,离散对称信道的信道容量（续,9,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,4.,离散对称信道的信道容量（续,10,）,推论,：对于,强对称信道,有：,C,=log,r-p,log(,r-,1),-H,(,p,),s = r,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,4.,离散对称信道的信道容量（续,11,）,例,4.2,求对称信道的信道容量，,解：,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,4.,离散对称信道的信道容量（续,12,）,准对称信道,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,4.,离散对称信道的信道容量（续,13,）,当信道输入概率分布为等概的情况下达到信道容量：,设信道矩阵可划分为,n,个子矩阵，其中,N,k,是第,k,个子矩阵中行元素之和，,M,k,是第,k,个子矩阵中列元素之和。,例,4.3,：求准对称信道的信道容量。二元对称删除信道：,解：,N,1,=1-,q,M,1,=1-,q,N,2,=,q,M,2,=2,q,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,4.,离散对称信道的信道容量（续,14,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,5.,一般离散信道的信道容量,信道容量,约束条件：,求信道容量转化为求 对信源概率分布 的条件极值。,解：,引入辅助函数,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,5.,一般离散信道的信道容量（续,1,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,5.,一般离散信道的信道容量（续,2,）,令,则,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,5.,一般离散信道的信道容量（续,3,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,5.,一般离散信道的信道容量（续,4,）,在某些条件下利用这个方法可以计算,C,：,令,这是一个含有,s,个未知数、由,r,个方程组成的方程组。,当,r,=,s,，,且信道矩阵是可逆矩阵时，该方程组有唯一解。,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,5.,一般离散信道的信道容量（续,5,）,例,4.5,：求以下信道的信道容量。,信道矩阵,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,5.,一般离散信道的信道容量（续,6,）,解：,比特,/,符号,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,5.,一般离散信道的信道容量（续,7,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,5.,一般离散信道的信道容量（续,8,）,例：,有一信道矩阵 ，求,C.,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,5.,一般离散信道的信道容量（续,9,）,1,）采用上述方法求出信道容量以后，还必须解出 ，因为在采用拉格朗日数乘法时并没有加上 的约束条件，因此算出的 可能是负值。,当计算结果为负值时，此解无效。它表明最大值在边界上，即某些输入符号的概率为,0,。设某些输入符号的概率为,0,，然后重新进行计算。,2,）如果,r,=2,，,则可以直接对,I(,X,;,Y,),求导，得到信道容量和最佳输入分布。,补充：,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,5.,一般离散信道的信道容量（续,10,）,例,4.4,：已知信道的转移矩阵为 ，求信道容量。,解：设输入概率分布,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,5.,一般离散信道的信道容量（续,11,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,5.,一般离散信道的信道容量（续,12,）,例：信道及它的输入、输出如图所示：,（,1,）,求最佳输入分布。,（,2,）,求 时的信道容量。,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,5.,一般离散信道的信道容量（续,13,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,6.,信道容量定理,定理,4.3,I,(,X,;,Y,),达到信道容量的充要条件是输入分布,p,(,x,i,),满足以下充要条件：,p,(,x,i,) 0,时,I,(,x,i,;,Y,),C,p,(,x,i,) = 0,时,I,(,x,i,;,Y,) ,C,某些特殊矩阵可以利用这个方法可以推导得到,C,。,p,(,x,3,),=,0,p,(,x,2,),=,p,(,x,4,),=,0,，,p,(,x,1,),= p,(,x,5,),=,1/2,p,(,x,3,),=,0,p,(,x,2,),=,p,(,x,4,),=p,(,x,1,),= p,(,x,5,),=,1/4,例,4.7,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,6.,信道容量定理（续,1,）,或者,例,4.6,当输入等概时,准对称信道达到信道容量。,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,6.,信道容量定理（续,2,）,在同一子阵,P,l,中,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,6.,信道容量定理（续,3,）,对于不同的,，,所以，对于任意,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,6.,信道容量定理（续,4,）,即当输入等概时，,准对称信道达到信道容量。,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,7.,信道容量的迭代算法,（,1,）,令,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,7.,信道容量的迭代算法（续,1,）,利用,约束条件,再固定,，求,关于,的,极值。,此时的约束条件是,（,2,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,7.,信道容量的迭代算法（续,2,）,令,(3),第四章：信道及信道容量,二、,离散单符号信道及其信道容量,7.,信道容量的迭代算法（续,3,）,利用约束条件,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,7.,信道容量的迭代算法（续,4,）,（,4,）,由（,3,）式移项得：,即,（,5,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,7.,信道容量的迭代算法（续,5,）,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,7.,信道容量的迭代算法（续,6,）,记：,算法：,1,、初始化信源分布,（一般为设为等概分布）,，信道容量相对误差门限,迭代计数器,2,、,3,、,4,、,5,、,第四章：信道及信道容量,二、,离散单符号信道及其信道容量,7.,信道容量的迭代算法（续,7,）,6,、,7,、如果,转向,9,；,9,、停止,(,也可以设,),第四章：信道及信道容量,二、,离散单符号信道及其信道容量,7.,信道容量的迭代算法（续,8,）,第四章：信道及信道容量,三、,离散多符号信道及其信道容量,定义,4.6,若在任意时刻信道的输出只与此时刻信道的输入有关，而与其他时刻的输入和输出无关，则称之为离散无记忆信道，简称为,DMC (discrete,memoryless,channel),。,输入、输出随机序列的长度为,N,的离散无记忆平稳信道通常称为离散无记忆信道的,N,次扩展信道。,1.,离散多符号信道,第四章：信道及信道容量,三、,离散多符号信道及其信道容量,1.,离散多符号信道（续,1,）,单符号离散信道的数学模型,X,Y,x,1,x,2,x,r,y,1,y,2,y,s,p,(,y,j,|x,i,),X,Y,p,(,y,j,|,x,i,),第四章：信道及信道容量,三、,离散多符号信道及其信道容量,1.,离散多符号信道（续,2,）,第四章：信道及信道容量,三、,离散多符号信道及其信道容量,1.,离散多符号信道（续,3,）,第四章：信道及信道容量,三、,离散多符号信道及其信道容量,1.,离散多符号信道（续,4,）,例,4.8,二元对称信道的二次扩展信道。,解：二次扩展信道的输入、,输出序列的每一个随机变量,均取值于,0,1,，输入共有,个,取值，输出共,有 个取值。根据,第四章：信道及信道容量,三、,离散多符号信道及其信道容量,1.,离散多符号信道（续,5,）,可求出,第四章：信道及信道容量,三、,离散多符号信道及其信道容量,1.,离散多符号信道（续,6,）,同理可求出其他的转移概率,，得到信道矩阵：,第四章：信道及信道容量,三、,离散多符号信道及其信道容量,1.,离散多符号信道（续,7,）,定理,4.4,若信道的输入和输出分别是,N,长序列,X,和,Y,，,且信道是无记忆的，则,当信源也是无记忆时等号成立。,第四章：信道及信道容量,三、,离散多符号信道及其信道容量,1.,离散多符号信道（续,8,）,对于,N,次扩展信道，如果信道的输入序列中的每一个随机变量间是无记忆的，且均取值于同一信源符号集并且具有同一种概率分布（取自于同一概率空间），通过相同的信道传送到输出端，则输出序列中的每一个随机变量也取自同一符号集，并且具有相同的概率分布。,第四章：信道及信道容量,三、,离散多符号信道及其信道容量,1.,离散多符号信道（续,9,）,第四章：信道及信道容量,三、,离散多符号信道及其信道容量,2.,离散多符号信道的信道容量,由定理,4.4,，输入、输出序列长为,N,的离散无记忆信道,当信源无记忆，同时输入序列中的每一个随机变量的分布各自达到最佳输入分布时，,N,次扩展信道达到信道容量,NC,。,第四章：信道及信道容量,四、,组合信道及其信道容量,1.,独立并联信道,信道模型,X,1,Y,1,P,(,Y,1,|,X,1,),X,2,Y,2,P,(,Y,2,|,X,2,),X,N,Y,N,P,(,Y,N,|,X,N,),第四章：信道及信道容量,四、,组合信道及其信道容量,1.,独立并联信道（续,1,）,级联信道的总的信道矩阵等于这两个串联信道的信道矩阵的乘积。,第四章：信道及信道容量,四、,组合信道及其信道容量,2.,级联信道,例,4.9,设有两个离散二元对称信道，其级联信道如图所示，求级联信道的信道容量。,第四章：信道及信道容量,四、,组合信道及其信道容量,2.,级联信道（续,1,）,第四章：信道及信道容量,四、,组合信道及其信道容量,2.,级联信道（续,2,）,第四章：信道及信道容量,五、,连续信道及其信道容量,1.,连续随机变量的互信息,连续随机变量集合,X,和,Y,之间的平均互信息定义为,:,连续随机变量的平均互信息的主要性质如下：,1,对称性：,2,非负性：,例,4.10,设,p,(,xy,),是二维高斯随机变量,XY,的概率密度函数,=,求平均互信息。,第四章：信道及信道容量,五、,连续信道及其信道容量,1.,连续随机变量的互信息（续,1,）,奈特,/,自由度,第四章：信道及信道容量,五、,连续信道及其信道容量,1.,连续随机变量的互信息（续,2,）,第四章：信道及信道容量,五、,连续信道及其信道容量,2.,加性噪声信道的信道容量,加性高斯噪声信道,第四章：信道及信道容量,五、,连续信道及其信道容量,2.,加性噪声信道的信道容量 （续,1,）,第四章：信道及信道容量,五、,连续信道及其信道容量,3.,多维加性高斯信道的信道容量,比特,/,n,自由度,第四章：信道及信道容量,六、,波形信道及其信道容量,1.,波形信道的信道容量,n,=2,BT,第四章：信道及信道容量,1.,波形信道的信道容量 （续,1,）,六、,波形信道及其信道容量,例：模拟电话通信中，一般电话信号的带宽,3300HZ,，,若信噪比为,20dB,（,即 ），求模拟电话信道的信道容量。,比特,/,秒,第四章：信道及信道容量,1.,波形信道的信道容量 （续,2,）,六、,波形信道及其信道容量,对于香农公式的几点讨论：,带宽,一定,信噪比,一定,保持信道的信息传输率,第四章：信道及信道容量,1.,波形信道的信道容量 （续,3,）,六、,波形信道及其信道容量,例：若想保持信道的信息传输率,C,=12,10,3,bit/s,，,当信道的带宽,B,从,4,10,3,HZ,减小到,3,10,3,HZ,，,分别求出所需要的信噪比。,第四章：信道及信道容量,1.,波形信道的信道容量 （续,4,）,六、,波形信道及其信道容量,
展开阅读全文