第六章-有噪信道编码课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第六章,有噪信道编码,第六章,1,第六章 有噪信道编码,内容提要：,本章介绍了信道编码和译码的基本概念，介绍了两种常用的译码准则：最大后验概率译码准则和极大似然译码准则,还介绍了在这两种译码准则下错误概率的计算方法。,本章还介绍了信道编码定理及信道编码逆定理，以及信息论中的一个重要不等式,Fano,不等式。,第六章 有噪信道编码 内容提要：,2,本章重点：,1.,信道编码的基本概念；,2.,几种典型的译码规则。,本章重点：,3,6,.1,信道编码的基本概念,将信道用图6-1所示的模型表示。,信道编码器,信道,信道译码器,u,x,y,图6-1 信道模型,信源输出序列,u,，,经信道编码器编成码字,x,=,f,(,u,),并输入信道，,由于干扰，信道输出,y,，,信道译码器对,y,估值得,=,F,(,y,),。,我们要尽可能的提高信息传输率，并控制传输误差。信源编码以提高,传输效率,作为主要考虑因素，信道编码以提高,传输可靠性,作为主要考虑因素。这一章讨论信道编码的一些基本概念及信道编码定理。,6.1 信道编码的基本概念 将信道用图6-1所示的模型表示,4,【,例6.3,】,逆重复码,离散无记忆二进制对称信道，固有误码率为,p,(,p,0.5)，,信源输出序列为三位二进制数字。,编码规则：为提高传输效率，仅向信道发送一位，预先将信源输出序列进行择多编码:,图6-3 逆重复编码传输示意图,译码规则：将接收的,一位符号重复三次译出，即若接收到1就译码为111，即若接收到0就译码为000。,信源输出的三位符号中有两位或3位是1，信源序列编码为1，,若三位符号中有两位或3位是0，就将此信源序列编码为0。,【例6.3】逆重复码 离散无记忆二进制对称信道，固有误,5,计算差错概率,p,e,：,分二步进行：,（1）,先设,p,=0，,计算这种编码方法带来的固有错误,p,1,信道输入符号集,X,=000,001,010,011,100,101,110,111,判决输出符号集,Y,=000,111,译码规则,因为后验概率,则出错概率,计算差错概率pe：译码规则,6,假设8组输入序列是等概发送的，由于信道的对称性，两个估值序列也是等概分布的，则每个序列的平均错误概率为 ，,误比特率 。,（2）再设,p,0，,计算由于信道噪声引起的错误概率,p,2,因为每个序列有三位二进制数字，但只发送一位，这一位的出错概率为,p,，,故序列差错概率为,p,，,误比特率 。,（3）总差错概率（误比特率）：,【,例6.4,】,奇偶校验码,在信息序列后面加上一位校验位，使之模2和等于1，这样的编码称为奇校验码；若使模2和等于0，这样的编码就称为偶校验码，即每个码矢中1的个数固定为奇数或偶数。,假设8组输入序列是等概发送的，由于信道的对称性，两个估值序列,7,6,.2,译码规则及错误概率,信道总不可避免会搀杂噪声，所以信息在信道传输过程中，差错是不可避免的。选择合适的译码规则可以弥补信道的不足。,1,最大后验概率译码准则,发送码矢,x,k,，,其发送概率为,q,(,x,k,)，,通过信道转移概率为,p,(,y,x,k,),的信道传输，接收到矢量,y,，,信道译码器输出 通信过程可用图6,-5,所示框图表示。,下面介绍两种典型的译码规则：,6.2 译码规则及错误概率 信道总不可避免会搀杂噪声,8,信源,信道编码器,信道,信道译码器,信宿,干扰,x,k,y,图6,-5,通信过程框图,当估值 ,x,k,时，就产生了误码，用,（,x,y,）,表示后验概率，则收到,y,估错的概率为,（6-2）,通信总希望错误概率最小，由式(6-2)可看出错误概率,p,e,(,x,k,),最小等同于后验概率,（,x,k,y,）,最大，这就是,最大后验概率译码准则,。,信源信道编码器信道信道译码器信宿干扰xky,9,根据概率关系式,（6-3）,根据式（6-3）后验概率,（,x,y,）,最的就意味着,p,（,x,y,）,全概率最大，因此最大后验概率译码准则也称为,最大联合概率译码准则,。,【,例6.5,】信源分布 ，信道,转移概率矩阵 ，信道输出符号,Y,=,y,1,y,2,y,3,，,按最大后验概率准则译码。,根据概率关系式根据式（6-3）后验概率（xy）最的就意味,10,(1),根据,p,(,xy,)=,p,(,y,x,),q,(,x,),算出全概率，用矩阵表示,(2),根据 ，算出 ,（,y,）,=,0.38 0.34 0.28,(3),再由 算出后验概率，用矩阵表示,(4),按最大后验概率准则译码，在后验概率矩阵中，每列选一最大值（矩阵中带下划线的值），译为,(1)根据p(xy)=p(yx)q(x)算出全,11,(5),若按最大联合概率译码准则译码，在全概率矩阵,p,(,xy,),中每列选一最大值（矩阵中带下划线的值），也可译出,实际应用中，一般用最大信道转移概率来确定估值 ，,即在收到矢量,y,后，在所有的,x,m,(,m=,1,2,M,),中,选一个转,移概率,p,(,y,x,m,),最大的,x,m,值，作为对,y,的估值 =,x,k,，,这一译码规则称为,极大似然译码规则,。,2,极大似然译码准则,(5)若按最大联合概率译码准则译码，在全概率矩阵 p(xy,12,3,平均错误概率,【,例6.6,】计算例6.5的平均错误概率，若信源等概分布，对其译码，并求平均错误概率。,（6-4）,(,),=,=,M,j,j,e,j,e,p,p,1,),(,y,y,w,-,=,y,x,y,y,x,xy,),(,),(,k,p,p,3平均错误概率【例6.6】计算例6.5的平均错误概率,13,（1）求平均错误概率,p,e,根据式（6-4）得,=0.01+0.12+0.07+0.12+0.1+0.02=0.44,(2)当信源等概分布，按最大似然函数译码准则译码，例,6.5已给出信道转移概率矩阵 在矩阵的每,列中选一最大值(矩阵中带下划线的值)，译码为,平均错误概率,（1）求平均错误概率pe(2)当信源等概分布，按最大,14,6,.3,信道编码定理,定理6.1,对于任何离散无记忆信道,DMC，,存在信息传输率为,R,，,长为,n,的码，当,n,时，平均差错概率,p,e,exp-,nE,(,R,)0，,式中,E,(,R,),为可靠性函数，,E,(,R,),在0,R,C，,不可能存在任何方法使差错概率任意小。,考虑到式（625），在L 条件下，H(U)=L,22,本 章 小 结,信道输入码矢,x,k,x,1,x,2,x,M,，,通过信道转移概率为,p,(,y,x,k,),的信道传输，输出矢量,y,，,信道译码器估值为 ,F,(,y,)，,x,1,x,2,x,M,。,最大后验概率译码准则,（,y,）,（,x,m,y,）,极大似然译码准则,p,（,y,）,p,（,y,x,m,）,平均译码错误概率,本 章 小 结 信道输入码矢xk x1,x,23,信道编码定理,对于任何离散无记忆信道,DMC，,存在信息传输率为,R,，,长为,n,的码，当,n,时，平均差错概率,p,e,exp-,nE,(,R,)0，,式中,E,(,R,),为可靠性函数，,E,(,R,),在0,R,C，,不可能存在任何方法使差错概率任意小。,Fano,不等式,H,(,X,Y,),H,2,(,p,e,)+,p,e,log(,k,-1),信道编码定理 信道编码逆定理Fano不等式,24,第六章-有噪信道编码课件,25,