信息论基础复习课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,信息论基础复习,信息论基础复习,1,根据随机信号的釆样定理,可将随机信号离散化,因此,对时间离散信道的输入和输出序列可分别表示为,X=(X1,X2,)和Y=(F,y,),随机噪声可表示为Z=(Z1,Z2),则加性噪声信道可表示如下,X.),根据随机信号的釆样定理,可将随机信号离散化,2,其输入序列为X1,X2输出序列为Y2,Y2,输入和输出序列有以下关系:,Y=X1+2,其中z=(z,Z2,)与X=(X1,X2,)相互独立,当Z是平稳过程时,称该信道为平稳信道,当Z,Z,独立同分布时,称信道为无记忆加性噪声信道.,特别地,如果它们的公共分布是正态分布N(0,N)时,该信道称为无记忆高斯信道,这样的噪声称白噪声.,其输入序列为X1,X2输出序列为Y2,Y2,3,如果噪声Z的方差为0,则可以实现无干扰传输,由于X,取值于实数R,因此,信道容量为无穷.,因此通常对信道输入应有某种约束,最常用的,输入代价的约束是能量(或功率)的约束为,P,如果噪声Z的方差为0,则可以实现无干扰传输,4,定义6.4.1有输入功率约束P的高斯信道容量定义为,C-max I(X;Y),f(x):EX sP,这个信道容量的计算并不是困难,事实上,取约束,条件为EX2=P,则:,I(X;r)=h(r)-h(r X)=h(r)-h(X+X),h(r)-h(z x)=h(r)-h(z)=h(r)-log 2ten,定义6.4.1有输入功率约束P的高斯信道容量定义为,5,于是计算信道容量的问题就转化为求h(Y)的极大值问题,注意到Z与X独立,且EZ=0,EZ2=N,而YX+Z,所以,Er=E(X+Z=EX+Ez=0,EY=EX+EZ=P+M,由定理6.2.6知,有方差为P+N的连续随机变量的最大熵,在正态分布N(0,P+N)时到达,所以,h(Y)log2me(P+N),5,于是计算信道容量的问题就转化为求h(Y)的极大值问题,6,其中等号成立当且仅当YN(0,P+N),从而,I(X;Y)log 2e(P+N)-log 2eN,g(+,C=max I(X;Y)=log(l+,由于达到信道容量当且仅当YN(0,P+N),又因为Z口N(0,N),所以由X=Y-Z,可得,XN(0,P),即达到信道容量的输入分布为正态分布N(0,P),其中等号成立当且仅当YN(0,P+N),从而,7,一般无记忆加性噪声信道,当加性噪声功率为Ez2=N,输入功率约束为EX2P时,信道容量也可定义为,C-max/(X;Y),f(x):EX2P,或等价地表示为,C=max(h(r)-h(z),(x):EXP,由于有相同功率约束高斯信道是其特例,所以,log(l+,下界,一般无记忆加性噪声信道,8,另方面,由于Y=X+Z,EY=E(X+Z)=EX+EZ=0,EY=EX+EZ=P+N,所以,C-log2re(P+N)-h(Z),上界,进一步,因为与EZ2=N有相同方差的分布中,正态分布N(O,N)有最大熵,所以,h(Z)log(2eN),定义,2丌e,为具有可微熵h(Z)的熵功率,它就是具有可微熵的高斯随机变量的功率,上一页下一页8,另方面,由于Y=X+Z,EY=E(X+Z)=EX+EZ=0,9,所以Clog2ne(P+N)-h(Z)就变为,2,C-log 2e(p+N)-log(rep),P+w,g,一般无记忆加性噪声信道容量的上、下界:,P+N,P+w,og N,C-oP,所以Clog2ne(P+N)-h(Z)就变为,10,复习提要,序论,信息论的形成及历史,claude shannon及其主要贡献,、通信系统的模型,信源、信道、信宿及相互关系,、信息论的基本研究内容,复习提要,11,信息论基础复习课件,12,信息论基础复习课件,13,信息论基础复习课件,14,信息论基础复习课件,15,信息论基础复习课件,16,信息论基础复习课件,17,信息论基础复习课件,18,信息论基础复习课件,19,信息论基础复习课件,20,信息论基础复习课件,21,信息论基础复习课件,22,信息论基础复习课件,23,信息论基础复习课件,24,信息论基础复习课件,25,信息论基础复习课件,26,信息论基础复习课件,27,信息论基础复习课件,28,信息论基础复习课件,29,信息论基础复习课件,30,信息论基础复习课件,31,信息论基础复习课件,32,信息论基础复习课件,33,信息论基础复习课件,34,信息论基础复习课件,35,信息论基础复习课件,36,信息论基础复习课件,37,66,、节制使快乐增加并使享受加强。,德谟克利特,67,、今天应做的事没有做，明天再早也是耽误了。,裴斯泰洛齐,68,、决定一个人的一生，以及整个命运的，只是一瞬之间。,歌德,69,、懒人无法享受休息之乐。,拉布克,70,、浪费时间是一桩大罪过。,卢梭,66、节制使快乐增加并使享受加强。德谟克利特,38,