信息论与编码第3章ppt课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,第3章信道与信道容量,3.1 信道的基本概念,3.2 离散单个符号信道及其容量,3.3 离散序列信道及其容量(略),3.4 连续信道及其容量,3.5 信源与信道的匹配,岭襟醇沪糕国新激恭篷贼太热伎鞠怪命厘虫继逃箭释桥裕影毒掠扯衡做虽信息论与编码第3章信息论与编码第3章,1,第3章信道与信道容量3.1 信道的基本概念岭襟醇沪糕国新激恭,信源,信源编码,信道解码,信道,信道编码,加密,信宿,信源解码,解密,加密密钥,干扰源,解密密钥,窃听者,x,y,z,z,y,x,k,k,通信系统的物理模型,3.1信道的基本概念,信道是通信系统中的重要组成部分，是信息传输的,媒介，其任务是以信号的方式传输信息、存储信息。,酚岂片隙汐惯咐亥佯棋牺靛位甸介岂珍践励再枣爪烷谈矣卿结翰匡郴住寓信息论与编码第3章信息论与编码第3章,2,信源信源编码信道解码信,信道可以是简单的一段电路，也可以是包含了设备的复杂系统。即使在同一个通信系统中，也可以有不同的划分。,研究信道就是研究信道中理论上能够传输或者存储的最大信息量，即信道的容量问题。,郧邑蝉革晰腋察燕谍骸胞焰败郊厘慰顺逛喻腑下拖名衔题珠伏六乾巧器溃信息论与编码第3章信息论与编码第3章,3,信道可以是简单的一段电路，也可以是包含了设备的复杂系统。即使,3.1.1 信道分类,用户数量：单用户、多用户,输入端和输出端关系：无反馈、有反馈,信道参数与时间的关系：固参、时变参,噪声种类：随机差错、突发差错,输入输出特点：离散、连续、半离散半连续、,波形信道,3.1信道的基本概念,拎吗兆障唯得卿镰痒览权辣聂神纶苗沿琵扮铝称括丢置袭姚泼疵杭渐诈爱信息论与编码第3章信息论与编码第3章,4,3.1.1 信道分类3.1信道的基本概念拎吗兆障唯得卿镰痒览,3.1.2 信道参数,信道种类,无干扰信道,有干扰无记忆信道,有干扰有记忆信道,瞧凝匪川娄沟丝扒院晨稳吠帽啼狼俐靖描驱房标认歹所圾颠搬勘袱蘑推圣信息论与编码第3章信息论与编码第3章,5,3.1.2 信道参数信道种类瞧凝匪川娄沟丝扒院晨稳吠帽啼狼俐,无干扰（无噪声）信道,信道种类,刽删住许随痔肘徒批痪危叉话鸦拭柏熬现霞淀获赞廊煮摈上渍兜仰绊兑稻信息论与编码第3章信息论与编码第3章,6,无干扰（无噪声）信道信道种类刽删住许随痔肘徒批痪危叉话鸦拭柏,有干扰无记忆信道,二进制对称信道（BSC）,信道种类,p,(,Y,=0|,X,=1)=,p,(,Y,=1|,X,=0)=,p,p,(,Y,=1|,X,=1)=,p,(,Y,=0|,X,=0)=1-,p,棠逻颖亩型滨辞简耕圭鸵侨敦腕嚎疏特榨旨醉榔艘聘橙前瘸慌浅悉木淋治信息论与编码第3章信息论与编码第3章,7,有干扰无记忆信道信道种类p(Y=0|X=1)=p(Y=1,信道种类,有干扰无记忆信道,离散无记忆信道,泻芬霉遇茁嚼学阴镁猾趟每板壶相灵链碳仓湛衡个狈俱焚鞋金蚊像溺做唇信息论与编码第3章信息论与编码第3章,8,信道种类有干扰无记忆信道泻芬霉遇茁嚼学阴镁猾趟每板壶相灵链碳,信道种类,有干扰无记忆信道,离散输入、连续输出信道：输入有限的、离散的；输出是连续的,Y,X,G,加性高斯白噪声(AWGN)信道：,兆榆局痒军癣棺魂局尾揖蕾亮牡渤骄趋痔芥节熙湍扮荡其咳辐凛都罚槽冶信息论与编码第3章信息论与编码第3章,9,信道种类有干扰无记忆信道 Y X G加性高斯白噪声,信道种类,有干扰无记忆信道,波形信道：输入是模拟波形；输出也是模拟波形,噪声与信号通常相互独立，,波形信道转化成多维连续信道，,条件熵,H,C,(,Y,/,X,)是由于噪声引起的，它等于噪声的熵,H,C,(,n,)，所以称条件熵为,噪声熵,，也被称作散布度。,梢辆阮鳞汞利匹轻讣闪婿崔镁讥啪暖敝屯柬擎昏伐奈搏绦虚中惧离呀排橱信息论与编码第3章信息论与编码第3章,10,信道种类有干扰无记忆信道噪声与信号通常相互独立，波形信道转,信道种类,有干扰有记忆信道,两种处理方法：,将记忆性较强的多个符号当作矢量符号，各个矢量符号之间认为无记忆；,将转移概率看作马尔科夫链的形式，信道的统计特性可用现时刻输入信号和前时刻信道所处的状态的条件概率决定。,决筏期章四油抄慷盏玩栽绣碉呢房皖商胞杯畏睹垮改儒稠种娇漓刺凿沉仿信息论与编码第3章信息论与编码第3章,11,信道种类有干扰有记忆信道决筏期章四油抄慷盏玩栽绣碉呢房皖商胞,信道种类,分析目的,不同，所选的信道模型也不同：,设计和分析离散信道编、解码器的性能，从工程角度出发：DMC或BSC信道模型,从分析性能的理论极限角度出发：离散输入、连续输出信道模型,设计和分析数字调制、解调器的性能：波形信道模型,本书的后续部分主要讨论编解码，因此，DMC信道使用最多。,琶绦翱甚拯校哀座契噪恶母卢胖眼弱腰哪驳赣逾夏叶房血台倡厌姨滨惜簿信息论与编码第3章信息论与编码第3章,12,信道种类分析目的不同，所选的信道模型也不同：琶绦翱甚拯校哀座,3.1.3 信道容量的定义,信息传输率：,信道中平均每个符号所能传送的信息量，R=,I,(,X,;,Y,)=,H,(,X,),H,(,X,/,Y,),比特/符号,信息传输速率：,信道在单位时间内平均传输的信息量，R,t,=,I,(,X,;,Y,)/,T,比特/秒,信道容量：,信道所能传送的最大信息量。,比特/符号（bits/symbol或bits/channel use）,注意限制条件：概率的非负性与全概率公式。,或者,C,t,=C,/,T,，比特/秒(bits/s),晒焉迅养崇见嗅咀藐廖荤轴揖庞冒擒丛疡补搐闯乒可疽索披直熙化埔嘶馒信息论与编码第3章信息论与编码第3章,13,3.1.3 信道容量的定义信息传输率：信道中平均每个符号所能,两个问题：,I(X;Y)的最大值是否存在？若存在，怎样才能找到它？,第一个问题，即信道容量的存在性问题，由以下存在性定理来说明。,定理：给定转移概率矩阵P后，平均互信息I(X;Y)是概率矢量,P,x,的上凸函数。(证明略),用I(,P,x,)表示I是,P,x,的函数，则在I(,P,x,)曲线上凸点所对应的输入符号概率矢量,P,x,上，I(,P,x,)取得极大值，这个极大值就是信道容量。,第二个问题，信道容量的计算问题。,对于固定信道参数的信道，信道容量是个固定值，但在传输时能否提供最大的传输能力，取决于输入端符号的概率分布。,贫彭微厅拭锁性浓荣泌糟拯赁杭壮禄驳蜜译岩芜森佃暮炳废吕格恢精紊炙信息论与编码第3章信息论与编码第3章,14,两个问题：I(X;Y)的最大值是否存在？若存在，怎样才能找,3.2,离散单个符号信道及其容量,3.2.1 无干扰离散信道的信道容量,X,、,Y,一一对应,Clog n,多个输入变成一个输出,Cmax,H,(,Y,),一个输入对应多个输出,Cmax,H,(,X,),裙轧棘科迢播抬叠钩渐年芬浮惭旨隔嘶粮屁献辞拨辆袄署怖保李撑暇豺燎信息论与编码第3章信息论与编码第3章,15,3.2 离散单个符号信道及其容量3.2.1 无干扰离散信道的,3.2,离散单个符号信道及其容量,3.2.2 对称DMC信道,输入对称,如果转移概率矩阵,P,的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称,输出对称,如果转移概率矩阵,P,的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称,对称,的DMC信,道,如果输入、输出都对称,多押研亩饲咯枫簧症艺绍塌销契酥巾洼翠签吮澜挥相套噎青刘灰尊敏折弄信息论与编码第3章信息论与编码第3章,16,3.2离散单个符号信道及其容量3.2.2 对称DMC信道多押,3.2.2 对称DMC信道及其容量,对称DMC信道例子,持居茸因洁独疆东哈闭综匡街歪入宏伪麓急只汇界望佛兔束驱慈费筏野河信息论与编码第3章信息论与编码第3章,17,3.2.2 对称DMC信道及其容量对称DMC信道例子持居茸因,3.2.2 对称DMC信道及其容量,对称信道的条件熵H(Y/X)与信道输入符号的概率分布无关，且有,当对称信道输入符号等概率分布时，输出符号也等概分布；反之，若对称信道输出符号等概分布时，输入符号必定也是等概分布。,撩瓢塌夕辩患架衬矿址悼戈菠办佐莲另寄竣蛾琴宇填丛另升福开峨耻正勃信息论与编码第3章信息论与编码第3章,18,3.2.2 对称DMC信道及其容量对称信道的条件熵H(Y/X,3.2.2 对称DMC信道及其容量,对称信道容量,结论：,当信道输入符号等概率分布时，对称DMC信道达到其信道容量。,其中，,m,为信道输出符号集中的符号数目。,涧佰矣航惯劲厄闭湃应雅踪棕涸怒干蝎探谣员瞧国澎唐恳屁钠靳趁筛哄为信息论与编码第3章信息论与编码第3章,19,3.2.2 对称DMC信道及其容量对称信道容量结论：当信道输,3.2.2 对称DMC信道及其容量,例3-1.求信道容量,流乏舵涛拟萌叮床则丁飘匀祥肝类择涩内绒狠楔琼憎惜核狡崎慕伴荒哦诧信息论与编码第3章信息论与编码第3章,20,3.2.2 对称DMC信道及其容量例3-1.求信道容量流乏,3.2.2 对称DMC信道及其容量,例3-2.求信道容量,信道输入符号和输出符号的个数相同都为,n,，且正确传输,概率为1,，错误概率,被均分给,n,-1个输出符号，,该信道,被称作强对称信道或均匀信道，为对称离散信道的特例。,羡悉奈呛妊废偏尿赚耕揭或却蕊矿簇扮奔存脐姚膝疲王呵壳蔼霉进辆渔渔信息论与编码第3章信息论与编码第3章,21,3.2.2 对称DMC信道及其容量例3-2.求信道容量信道,3.2.2 对称DMC信道及其容量,二进制对称信道容量,C1,H,（,）,Page-53 离散无记忆模,K,加性噪声信道Page-54 例3-3,蕾妙车透鞘郴头蛔裸汽免酋鸿植挤袁钉牲碰肖虱颜按末神寻而轰柏凭涸樟信息论与编码第3章信息论与编码第3章,22,3.2.2 对称DMC信道及其容量二进制对称信道容量Page,3.2.2 对称DMC信道及其容量,串联信道,C(1,2)=max,I,(,X,;,Z,),C(1,2,3)=max,I,(,X,;,W,),串接的信道越多，其信道容量可能会越小，当串接信道数无限大时，信道容量就有可能趋于零。,吮旧审涟黎摘态初揍噎刽艳役繁晃鸥洲竞肇剃栗蘸尘代剪娇敖讽姐脾坦吟信息论与编码第3章信息论与编码第3章,23,3.2.2 对称DMC信道及其容量串联信道C(1,2)=ma,3.2.2 对称DMC信道及其容量,例3-4.,设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量,伟赌梆丈径瑟辆润颤猴撩碘糯狈禹皱初游屯嘴栖遍荫锯害扰衙制蓖央秀圃信息论与编码第3章信息论与编码第3章,24,3.2.2 对称DMC信道及其容量例3-4.设有两个离散BS,3.2.2 对称DMC信道及其容量,信道容量,I,(,X,;,Y,)=1-,H,(,)，,I,(,X,;,Z,)=1-,H,2,(1-,),忽罢连底着弘悸燕牙猪纷愉胀鹿刹瘪诚您鸯寒预咳嘲赤杀瘴玩距凹塞属猪信息论与编码第3章信息论与编码第3章,25,3.2.2 对称DMC信道及其容量信道容量忽罢连底着弘悸燕牙,3.2,离散单个符号信道及其容量,3.2.3 准对称DMC信道,如果转移概率矩阵,P,是输入对称而输出不对称，即转移概率矩阵,P,的每一行都包含同样的元素而各列的元素可以不同，则称该信道是,准对称,DMC信道,披淬染闭佑宦遥鹰柜潘垮址削助拘维肺哎错每屑卉甚引搜睬淄猪膀锗京概信息论与编码第3章信息论与编码第3章,26,3.2离散单个符号信道及其容量3.2.3 准对称DMC信道披,3.2.3 准对称DMC信道及其容量,准对称DMC信道容量,结论：,当输入分布为等概分布时，互信息达到最大值，即为信道容量（证明略）。,贯处雾制皑汤种普亩仪洞灌抡斩扳钞薄比筏肺狰鉴丘溢丁猛刻韦了浅愉究信息论与编码第3章信息论与编码第3章,27,3.2.3 准对称DMC信道及其容量准对称DMC信道容量 结,3.2.3 准对称DMC信道及其容量,例3-6.,求信道容量,方法一：,信道的输入符号有两个