资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,上节内容回顾,主要内容：,一、单符号互信息,二、平均互信息,三、互信息的物理意义,上节内容回顾,一、单符号互信息,指,通信前后不确定度的减小量（差值）称为互信息量。,1,、定义,对称性,干扰很大（相互独立）时：,无干扰时：,2,、性质,一、单符号互信息,上节内容回顾,二、平均互信息,1,、定义,指单符号互信息,I(x,i,y,j,),在,X,和,Y,集合上的统计平均值。,上节内容回顾,二、平均互信息,2,、性质：,对称性,非负性,极值性,理论证明略（与单符号互信息相同）。,理论证明参考周荫清编的信息理论基础，直观理解,直观理解！,上节内容回顾,二、平均互信息,当,p(x,i,),一定时，互信息是,p(y,j,/x,i,),的,U,型函数，存在极小值。,信息率失真函数的理论基础。,当,p(y,j,/x,i,),一定时，互信息是,p(x,i,),的,n,型函数，存在极大值。,信道容量的理论基础。,2,、性质：,上节内容回顾,二、平均互信息,平均互信息与联合熵之间的关系：,上节内容回顾,上节内容回顾,三、互信息的物理意义,（,1,）接收端收到,y,j,后所获得的关于发送端,x,i,的信息量。,（,2,）通信中实际传送的有用信息量。,接收端：,发送端：,I,（,X,；,Y,）,H,（,Y,）,H(Y/X),H,（,X/Y,）,H,（,X,）,发送端,接收端,损失熵（疑义度）,噪声熵,上节内容回顾,三、互信息的物理意义,2.2,离散信源熵和互信息,四、熵的性质,非负性：,例,2.2,离散信源熵和互信息,四、熵的性质,2,对称性：,例,2.2,离散信源熵和互信息,四、熵的性质,3,确定性：,只要信源符集中有一个符号出现的概率为,1,，即为确定信源，信源熵为,0,。,2.2,离散信源熵和互信息,四、熵的性质,4,香农辅助定理：,对于任意两个,n,维概率矢量,P=,（,p,1,，,p,2,，,，,p,n,）和,Q=,（,q,1,，,q,2,，,，,q,n,），如下不等式成立,:,任意概率分布,p,i,对其他概率分布,q,i,的自信息量取数学期望时，必大于,p,i,对,p,i,本身的自信息量取数学期望，等号当且仅当,P=Q,成立。,2.2,离散信源熵和互信息,四、熵的性质,5,最大熵定理：,离散无记忆信源输出,M,个不同消息符号，当且仅当各符号出现的概率相等时，信源熵最大。,直观理解：,2.2,离散信源熵和互信息,四、熵的性质,二元信源的概率空间为：,例,画出二元信源熵曲线,H,（,p,）,2.2,离散信源熵和互信息,四、熵的性质,6,条件熵小于无条件熵,（,1,）条件熵小于信源熵,（,2,）两个条件下的条件熵小于一个条件下的条件熵,（,3,）联合熵小于信源熵之和,2.2,离散信源熵和互信息,四、熵的性质,7,信源熵、条件熵、联合熵和互信息量之间的关系,2.2,离散信源熵和互信息,四、熵的性质,7,信源熵、条件熵、联合熵和互信息量之间的关系,2.2,离散信源熵和互信息,2.2,离散信源熵和互信息,2.2,离散信源熵和互信息,五、数据处理中信息的变化,第一级处理器,第二级处理器,X,Y,Z,数据处理定理,:,当消息通过多级处理器时，随着处理器数目的增多，输人消息与输出消息之间的平均互信息量趋于变小。,信息不增性,:,数据处理过程中只会丢失一些信息，绝对不会创造出新的信息，一旦丢失信息，则用任何处理手段也不可能恢复出丢失的信息。,2.3,离散序列信源熵,离散信源,发出,单个,符号信源,发出,符号序列,的信源,无记忆信源,发出单个符号的信源,一个符号代表一个消息；,有记忆信源,发出符号序列的信源,一组含二个以上符号的符号序列代表一个消息。,2.3,离散序列信源熵,发出符号序列的信源,发出单个符号的信源,2.3,离散序列信源熵,自信息量：,发出单个符号的信源的表示方法：,信源熵：,2.3,离散序列信源熵,设信源输出的随机序列为：,序列中的,单符号变量,其中的一个序列为：,序列个数：,2.3,离散序列信源熵,信源的序列熵：,与单符号信源熵相似！,不同的是：,2.3,离散序列信源熵,一、无记忆信源序列熵,信源的序列熵,2.3,离散序列信源熵,一、无记忆信源序列熵,2.3,离散序列信源熵,若 与序号,l,无关时，即满足平稳特性,信源的序列熵,平均每个符号,(,消息,),熵为,一、无记忆信源序列熵,2.3,离散序列信源熵,无记忆信源随机变量,X(0,1),等概率分布,若以单个符号出现为一事件,则此时的信源熵,:,如果以两个符号出现,(L=2,的序列,),为一事件，则随机序列,X(00,01,10,11),，信源的序列熵,可见：用,2,比特才能表示该事件。,例,可见：用,1,比特就可表示该事件。,信源的符号熵,2.3,离散序列信源熵,例,有一离散平稳无记忆信源,求：信源熵、二次扩展信源序列,熵和平均符号熵,X,2,信源,的元素,a,1,a,2,a,3,a,4,a,5,a,6,a,7,a,8,a,9,对应的,消息序列,x,1,x,1,x,1,x,2,x,1,x,3,x,2,x,1,x,2,x,2,x,2,x,3,x,3,x,1,x,3,x,2,x,3,x,3,概率,p,(,a,i,),1/4,1/8,1/8,1/8,1/16,1/16,1/8,1/16,1/16,2.3,离散序列信源熵,二、有记忆信源序列熵,必须引入条件熵的概念,而且只能在,某些特殊情况,下才能得到一些有价值的结论。,对于由两个符号组成的联合信源,有下列结论,:,当前后符号无依存关系时,有下列推论：,2.3,离散序列信源熵,二、有记忆信源序列熵,若信源输出一个,L,长序列,则信源的序列熵为,平均每个符号的熵为：,若当信源退化为,无记忆,时,:,若当信源平稳时,:,2.3,离散序列信源熵,a,0,a,1,a,2,a,0,9/11,2/11,0,a,1,1/8,3/4,1/8,a,2,0,2/9,7/9,离散有记忆信源各符号的概率空间,:,信源,发出的,二重符号，,两个符号的概率关联性用条件概率,p,(,a,j,|a,i,),表示,如表。,p,(,a,j,|a,i,),求离散信源的序列熵和平均每个符号的熵,?,例,2.3,离散序列信源熵,解：由,p,(,a,i,a,j,)=,p,(,a,i,),p,(,a,j,|,a,i,),计算得,联合概率,p,(,a,i,a,j,),如表：,a,0,a,1,a,2,a,0,1/4,1/18,0,a,1,1/18,1/3,1/18,a,2,0,1/18,7/36,序列熵：,平均符号熵：,2.3,离散序列信源熵,当信源符号之间,无记忆,时,信源,X,的信息熵为,有记忆时,平均符号熵：,结论：,有记忆时平均符号熵小于无记忆时的符号熵。,即不确定度减小。,原因？,2.3,离散序列信源熵,条件熵,H,(,X,L,|,X,L-1,),随,L,的增加是非递增的。,条件较多的熵必小于或等于条件较少的熵，而条件熵必小于或等于无条件熵。,三、离散平稳信源,即：条件越多，条件熵越小,序列越长，条件熵越小,2.3,离散序列信源熵,三、离散平稳信源,L,给定时,平均符号熵条件熵：,H,L,(,X,),H,(,X,L,|,X,L-,1,),证：,即：序列中平均符号熵大于最后一个符号的条件熵,2.3,离散序列信源熵,三、离散平稳信源,H,L,(,X,),是,L,的单调非增函数,H,L,(,X,),H,L-1,(,X,),证：,即：序列越长，平均每个符号的熵越小。,2.4,连续信源熵和互信息,离散,信源的统计特性：用,概率分布,描述,连续,信源的统计特性：用,概率密度函数,描述,用离散变量,逼近,连续变量。,2.4,连续信源熵和互信息,单变量,x,，设,幅度连续的单个符号信源,是连续变量,x,的概率密度函数,由中值定理得：,令：,根据离散信源熵的定义：,2.4,连续信源熵和互信息,幅度连续的单个符号信源,2.4,连续信源熵和互信息,幅度连续的单个符号信源,对比离散信源熵：,连续信源熵定义为：,2.4,连续信源熵和互信息,幅度连续的单个符号信源,说明：,（,1,）形式相似。,（,2,）意义不同：,连续信源的不确定度为无穷大,离散信源的不确定度为定值。,可以理解为,:,连续信源是一个不可数的无穷多个幅度值信源，需要用无限多个二进制来表示，因而熵为无穷大。,2.4,连续信源熵和互信息,幅度连续的单个符号信源,实际问题中，常遇到的问题是熵之间的差值，如互信息量。,为什么会有连续信源熵的定义式？,连续信源熵只有相对意义，而不是绝对值。,
展开阅读全文