资源描述
,上节内容回顾,主要内容：,一、单符号互信息,二、平均互信息,三、互信息的物理意义,上节内容回顾,一、单符号互信息,指通信前后不确定度的减小量（差值）称为互信息量。,1、定义,对称性,干扰很大（相互独立）时：,无干扰时：,2、性质,一、单符号互信息,上节内容回顾,二、平均互信息,1、定义,指单符号互信息I(xi,yj)在X和Y集合上的统计平均值。,上节内容回顾,二、平均互信息,2、性质：,对称性,非负性,极值性,理论证明略（与单符号互信息相同）。,理论证明参考周荫清编的信息理论基础，直观理解,直观理解！,上节内容回顾,二、平均互信息,当p(xi)一定时，互信息是p(yj/xi)的U型函数，存在极小值。,信息率失真函数的理论基础。,当p(yj/xi)一定时，互信息是p(xi)的n型函数，存在极大值。,信道容量的理论基础。,2、性质：,上节内容回顾,二、平均互信息,平均互信息与联合熵之间的关系：,上节内容回顾,上节内容回顾,三、互信息的物理意义,（1）接收端收到yj后所获得的关于发送端xi的信息量。,（2）通信中实际传送的有用信息量。,接收端：,发送端：,发送端,接收端,损失熵（疑义度）,噪声熵,上节内容回顾,三、互信息的物理意义,2.2离散信源熵和互信息,四、熵的性质,非负性：,例,2.2离散信源熵和互信息,四、熵的性质,2对称性：,例,2.2离散信源熵和互信息,四、熵的性质,3确定性：,只要信源符集中有一个符号出现的概率为1，即为确定信源，信源熵为0。,2.2离散信源熵和互信息,四、熵的性质,4香农辅助定理：,对于任意两个n维概率矢量P=（p1，p2，pn）和Q=（q1，q2，qn），如下不等式成立:,任意概率分布pi对其他概率分布qi的自信息量取数学期望时，必大于pi对pi本身的自信息量取数学期望，等号当且仅当P=Q成立。,2.2离散信源熵和互信息,四、熵的性质,5最大熵定理：,离散无记忆信源输出M个不同消息符号，当且仅当各符号出现的概率相等时，信源熵最大。,直观理解：,2.2离散信源熵和互信息,四、熵的性质,二元信源的概率空间为：,例,画出二元信源熵曲线H（p）,2.2离散信源熵和互信息,四、熵的性质,6条件熵小于无条件熵,（1）条件熵小于信源熵,（2）两个条件下的条件熵小于一个条件下的条件熵,（3）联合熵小于信源熵之和,2.2离散信源熵和互信息,四、熵的性质,7信源熵、条件熵、联合熵和互信息量之间的关系,2.2离散信源熵和互信息,四、熵的性质,7信源熵、条件熵、联合熵和互信息量之间的关系,2.2离散信源熵和互信息,2.2离散信源熵和互信息,2.2离散信源熵和互信息,五、数据处理中信息的变化,数据处理定理:当消息通过多级处理器时，随着处理器数目的增多，输人消息与输出消息之间的平均互信息量趋于变小。,信息不增性:数据处理过程中只会丢失一些信息，绝对不会创造出新的信息，一旦丢失信息，则用任何处理手段也不可能恢复出丢失的信息。,2.3离散序列信源熵,离散信源,发出单个符号信源,发出符号序列的信源,无记忆信源,发出单个符号的信源一个符号代表一个消息；,有记忆信源,发出符号序列的信源一组含二个以上符号的符号序列代表一个消息。,2.3离散序列信源熵,发出符号序列的信源,发出单个符号的信源,2.3离散序列信源熵,自信息量：,发出单个符号的信源的表示方法：,信源熵：,2.3离散序列信源熵,设信源输出的随机序列为：,序列中的单符号变量,其中的一个序列为：,序列个数：,2.3离散序列信源熵,信源的序列熵：,与单符号信源熵相似！,不同的是：,2.3离散序列信源熵,一、无记忆信源序列熵,信源的序列熵,2.3离散序列信源熵,一、无记忆信源序列熵,2.3离散序列信源熵,若与序号l无关时，即满足平稳特性,信源的序列熵,平均每个符号(消息)熵为,一、无记忆信源序列熵,2.3离散序列信源熵,无记忆信源随机变量X(0,1),等概率分布,若以单个符号出现为一事件,则此时的信源熵:,如果以两个符号出现(L=2的序列)为一事件，则随机序列X(00,01,10,11)，信源的序列熵,可见：用2比特才能表示该事件。,例,可见：用1比特就可表示该事件。,信源的符号熵,2.3离散序列信源熵,例,有一离散平稳无记忆信源,求：信源熵、二次扩展信源序列熵和平均符号熵,2.3离散序列信源熵,二、有记忆信源序列熵,必须引入条件熵的概念,而且只能在某些特殊情况下才能得到一些有价值的结论。对于由两个符号组成的联合信源,有下列结论:,当前后符号无依存关系时,有下列推论：,2.3离散序列信源熵,二、有记忆信源序列熵,若信源输出一个L长序列,则信源的序列熵为,平均每个符号的熵为：,若当信源退化为无记忆时:,若当信源平稳时:,2.3离散序列信源熵,离散有记忆信源各符号的概率空间:,信源发出的二重符号，两个符号的概率关联性用条件概率p(aj|ai)表示,如表。,p(aj|ai),求离散信源的序列熵和平均每个符号的熵?,例,2.3离散序列信源熵,解：由p(ai,aj)=p(ai)p(aj|ai)计算得联合概率p(aiaj)如表：,序列熵：,平均符号熵：,2.3离散序列信源熵,当信源符号之间无记忆时,信源X的信息熵为,有记忆时平均符号熵：,结论：有记忆时平均符号熵小于无记忆时的符号熵。即不确定度减小。,原因？,2.3离散序列信源熵,条件熵H(XL|XL-1)随L的增加是非递增的。条件较多的熵必小于或等于条件较少的熵，而条件熵必小于或等于无条件熵。,三、离散平稳信源,即：条件越多，条件熵越小序列越长，条件熵越小,2.3离散序列信源熵,三、离散平稳信源,L给定时,平均符号熵条件熵：HL(X)H(XL|XL-1)证：,即：序列中平均符号熵大于最后一个符号的条件熵,2.3离散序列信源熵,三、离散平稳信源,HL(X)是L的单调非增函数HL(X)HL-1(X)证：,即：序列越长，平均每个符号的熵越小。,2.4连续信源熵和互信息,离散信源的统计特性：用概率分布描述连续信源的统计特性：用概率密度函数描述,用离散变量逼近连续变量。,2.4连续信源熵和互信息,单变量x，设,幅度连续的单个符号信源,是连续变量x的概率密度函数,由中值定理得：,令：,根据离散信源熵的定义：,2.4连续信源熵和互信息,幅度连续的单个符号信源,2.4连续信源熵和互信息,幅度连续的单个符号信源,对比离散信源熵：,连续信源熵定义为：,2.4连续信源熵和互信息,幅度连续的单个符号信源,说明：（1）形式相似。（2）意义不同：连续信源的不确定度为无穷大离散信源的不确定度为定值。可以理解为:连续信源是一个不可数的无穷多个幅度值信源，需要用无限多个二进制来表示，因而熵为无穷大。,2.4连续信源熵和互信息,幅度连续的单个符号信源,实际问题中，常遇到的问题是熵之间的差值，如互信息量。,为什么会有连续信源熵的定义式？,连续信源熵只有相对意义，而不是绝对值。,
展开阅读全文