《平均互信息量》PPT课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,定义1：,一、平均互信息量的定义,平均互信息量或交互熵,Y,对,X,的,X,对,Y,的平均互信息：,信道中流通信息量的整体测度,定义2：,变形1：,二、平均互信息的物理意义,物理意义：,平均互信息量是收到Y前、后关于X的不确定度减少的量，即由Y获得的关于X的平均信息量。,1,信道疑义度或损失熵,物理意义：,平均互信息量是发送X前、后，关于Y的平均不确定度减少的量。,2,噪声熵,3,物理意义：,平均互信息量等于通信前、后，整个系统不确定度减少的量。,I,(,X,;,Y,)=,H,（,X,）-,H,（,X,Y,）,I,(,X,;,Y,)=,H,（,Y,）-,H,（,Y,X,）,I,(,X,;,Y,)=,H,(,X,)+,H,(,Y,)-,H,(,XY),总结：,二、平均互信息的性质,对称性,1,非负性,2,互信息量,可能为负值。,但是平均互信息量不会为负值,极值性,1,3,2,凸函数性,4,1,上凸函数,2,下凸函数,例,1,二元信源,X,接入对称信道,求平均互信息,I,(,X；Y,),0,0,1,1,0,0,1,1,0,0,1,1,I,(,X,;,Y,)=,H,（,Y,）-,H,（,Y,X,）,当,q,不变，即固定信道特性,p,I(X,Y),0.5,当,p=0.5,，,I(X,Y),最大,0,0,1,1,0,0,1,1,0.5,0.5,0.5,0.5,0,0,1,1,1,1,0,0,1,1,1,1,当,p,不变，即固定信源,当,q=0.5,，,I(X,Y),=0,当,q=0或1,，,I(X,Y),最大,q,I(X,Y),0.5,1,0,I,(,X,;,Y,)=,H,（,X,）-,H,（,X,Y,）,H,（,X,Y),=,H,（,X,）-,I,(,X,;,Y,),I,(,X,;,Y,)=,H,（,Y,）-,H,（,Y,X,）,H,（,Y,X),=,H,（,Y,）-,I,(,X,;,Y,),I,(,X,;,Y,)=,H,(,X,)+,H,(,Y,)-,H,(,XY),H,（X,Y,）=,H,（,X,）+,H,（Y）-,I,(,X,;,Y）,例,信源,X,接入图示信道求在该信道上传输的,平均互信息量，信道疑义度，噪声熵,0.98,0.8,0.2,0.02,1,2,3,4,5,6,7,【作业】,二元等概信源,通过信道转移概率为 的信道传输，,信宿接收符号,Y,=,y,0,y,1,，计算信源与信宿间的平均互信息量,I,（,X,；,Y,），信道疑义度，噪声熵,X Y,X Y,X Y,X Y,X Y,H,（,Y,）=,I,(,X,;,Y,)+,H,（,Y,X,）,H,（,X,）=,I,(,X,;,Y,)+,H,（,X,Y,）,I,(,X,;,Y,)=,H,（,X,）-,H,（,X,Y,）,H,（,X,）=,I,(,X,;,Y,)+,H,（,X,Y,）,I,(,X,;,Y,)=,H,（,Y,）-,H,（,Y,X,）,H,（,Y,）=,I,(,X,;,Y,)+,H,（,Y,X,）,I,(,X,;,Y,)=,H,(,X,)+,H,(,Y,)-,H,(,XY),H,（X,Y,）=,H,（,X,）+,H,（Y）-,I,(,X,;,Y）,