《信息处理与编码》课件第四章 信息与通信系统的优化

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,P.,16,信息处理与编码,主讲人,牛 凯,绪论,一、本课程的主要内容,主要介绍通信与信息系统的设计三原则：,有效性、可靠性、安全性,信息论的经典应用,无失真信源编码、信道编码、率失真信源编码、密码,二、主要的参考数目,周炯槃 信息论基础 人民邮电出版社 1983,周炯槃 信源编码原理 人民邮电出版社 1983,朱雪龙 应用信息论基础 清华大学出版社,Thomas M. Cover Elements of Information Theory Wiley,1991,Robert J.,McEliece,The Theory of Information and Coding Addison-Wesley,1977,三、信息论与编码理论学术界的大师简介,1948年，,Shannon,创立信息论；,1950年，,Hamming,发明汉明码；,1955年，三位数学家发明,BCH,码；,1962年，,Gallager,发明,LDPC,码；,1965年，,Berlekamp,提出迭代,BCH,译码算法；,1966年，,Forney,发明级联码；,1967年，,Viterbi,发明,Viterbi,算法；,1993年，,Berrou,发明,Turbo,码；,Claude E. Shannon,Andrew J. Viterbi,J. David Forney,Jr.,Claude,Berrou,第四章,通信系统的优化,4-1 通信系统的优化模型：,信,源,信源编码,加密,信道编码,信源译码,信道译码,信道,解密,信宿,密钥 源,噪声道,密钥 源,U,L,V,L,1 信 源:,u,取值集合（范围）：,U,L,=,U,U,U,(,L,个),输出矢量：,U,L,=（,U,1,U,2,U,l,U,L,）,对应样值：,u,L,=(,u,1,u,l,u,L,),对应概率：,P(,u,L,)=P(,u,1,u,l,u,L,),一）无失真：,统计描述方法:,u,=,U,L,P(,u,L,)-,序列（,L,个）信源,=,U,P,(u),=,U,P,i,-,单消息信源,信源信息度量：,H(,U,)= ,P(,u,L,)log,P(,u,L,)-,序列,H(,U,)= P(,u,)log P(,u,)-,单个,二）限失真：,描述方法 ：,u,=,U,L,P(,u,L,) ,U,L,V,L,d,(,u,L,v,L,),限失真信息度量：,1 信 源:,u,（续）：,2 信 道：,C,4-1 通信系统的优化模型（续）：,译码:,g,:,Y,n,V,L,3 编译码:（,f,g,）,码，广义地讲，数学上可看作是一种映射，物理上则可看作是一类变换,编码:,f,: U,L,X,n,其中 |,U|,L, |V|,L, |X|,n, |Y|,n,均为有限.,这时编译码为有限空间上的映射(变换),若,U = V = X = Y =GF (2) = 0,1,即为二元有限域，则称上述编译码为二元码。,4-1 通信系统的优化模型（续）：,在通信系统中,可将通信的主要性能指标归结为,数量指标 : 有效性,抗自然干扰:可靠性,抗人为干扰:安全性,质量指标,则上述编译码可进一步分解为:,3 编译码:（,f,g,）,（,续）,f,1,: U,L,S,m,为有效性信源编码,;,f,2,:,S,m,C,m,为安全性密码,;,f,3,: C,m,X,n,为可靠性信道编码,;,f =,则,其中： 为有效性信源编译码；,为安全性加解密码；,为可靠性信道编译码。,g,3,:,Y,n,C,m,为可靠性信道译码,;,g,2,: C,m,S,m,为安全性解密码,;,g,1,:,S,m,V,L,为可靠性信源译码,;,g =,4 通信系统:,S,亦可写成,、 、 分别表示有效、安全和可靠的通信系统，且有,且 、 、 、 构成马氏链；,令 ， ，,若编、译码方式给定，即：,这时，,4 通信系统:,S,（,续）,即通信系统统计特性仅决定于信源与信道的统计特性：,与 。,否则编码可分解为三个随机映射：,定义误差函数：,进一步可引入三类不同准则：,5 系统度量指标：,无失真： ，,即 或,误差准则： ，,即 或,平均误差： ，,即 或,4-1 通信系统的优化模型（续）：,C.E.Shannon,三个编码定理：,1）无失真信源编码定理：在无失真意义下实现通信系统与信源统计特性相匹配：,即当系统中传信率 (信源熵)时，最优的信源编、译码存在；反之，当 时，最优信源编、译码不存在。,称它为,Shannon,编码第一定理。,2）限失真信源编码定理：在限失真意义下，实现通信系统与信源统计特性相匹配：,即当 （信息率失真函数）时，最优的信源编、译码存在；反之，当 时，最优信源编、译码不存在，,称它为,Shannon,编码第三定理。,3）信道编码定理：在均方误差意义下，实现通信系统与信道统计特性相匹配；,即当,RC,时，最优信道编，译码不存在；,称它为,Shannon,编码第二定理。,4) 信源信道联合编码定理,点到点链路，,H(U)R,maxI(X,Y,)，,则最优的信源信道编译码存在，否则不存在，且可以分别独立的优化信源编译码和信道编译码。,5) 多用户信源编码与信道编码,C.E.Shannon,三个编码定理 （续）：,