资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,信源与信息熵,第二章,2.1,信源的描述和分类,2.2,离散信源熵和互信息,2.3,离散序列信源的熵,2.4,连续信源的熵和互信,2.5,冗余度,内容,2,2.2,离散信源熵和互信息,3,离散信源熵和互信息,问题：,什么叫不确定度？,什么叫自信息量？,什么叫平均不确定度？,什么叫信源熵？,什么叫平均自信息量？,什么叫条件熵？,什么叫联合熵？,联合熵、条件熵和熵的关系是什么？,4,离散信源熵和互信息,问题：,什么叫后验概率？,什么叫互信息量？,什么叫平均互信息量？,什么叫疑义度？,什么叫噪声熵（或散布度）？,数据处理定理是如何描述的？,熵的性质有哪些？,5,自信息量,设离散信源,X，,其概率空间为,I,(,x,i,),含义,:,当事件,x,i,发生以,前,表示事件,x,i,发生的,不确定性,当事件,x,i,发生以,后,表示事件,x,i,所含有的,信息量,6,自信息量,自信息量,条件自信息量,联合自信息量,7,离散信源熵,离散信源熵,H(X),信源熵具有以下三种物理含意：,信息熵,H(X),表示,信源输出后,每个离散消息所提供的,平均信息量,。,信息熵,H(X),表示,信源输出前,信源的,平均不确定性。,信息熵,H(X),反映了变量,X,的,随机性 。,8,信源熵,无条件熵,条件熵,联合熵,9,2.2.3,互信息,设有两个随机事件,X,和,Y,X,取值于信源,发出,的离散消息集合,Y,取值于信宿,收到,的离散符号集合,有扰信道,干扰源,信源,X,信宿,Y,10,互信息,如果信道是,无噪,的,当信源发出消息,x,i,后,信宿必能准确无误地收到该消息,彻底消除对,x,i,的不确定度,所获得的信息量就是,x,i,的不确定度,I,(,x,i,),即,x,i,本身含有的全部信息。,一般而言,信道中总是存在着噪声和干扰,信源发出消息,x,i,通过信道后信宿只可能收到由于干扰作用引起的某种变型,y,j,。,信宿收到,y,j,后推测信源发出,x,i,的概率,p,(,x,i,|,y,j,),称为,后验概率,。,信源发出消息,x,i,的概率,p,(,x,i,),称为,先验概率,。,11,互信息,互信息,定义为,x,i,的后验概率与先验概率比值的对数,互信息,I,(,x,i,;,y,j,),表示接收到某消息,y,j,后获得的关于事件,x,i,的信息量。,12,例,某地二月份天气,构成的信源为：,若得知“,今天不是晴天,”,把这句话作为收到的消息,y,1,当收到,y,1,后,各种天气发生的概率变成,后验概率,了,p,(,x,1,|,y,1,),= 0,p,(,x,2,|,y,1,),= 1/2 ,p,(,x,3,|,y,1,),= 1/4 ,p,(,x,4,|,y,1,),= 1/4,求得,自信息量,分别为,13,表明从,y,1,分别得到了,x,2,x,3,x,4,各,1,比特的信息量。,消息,y,1,使,x,2,x,3,x,4,的,不确定度,各,减少,1,bit 。,14,例2-8:,一个二进信源,X,发出符号集,0,1,经过离散无记忆信道传输,信道输出用,Y,表示,由于信道中存在噪声,接收端除收到,0和1,的符号外,还有不确定符号“,2”,已知,X,的先验概率,:,p,(,x,0,)=2/3,p,(,x,1,)= 1/3,符号转移概率：,p,(,y,0,|,x,0,)=3/4,p,(,y,2,|,x,0,)=1/4,p,(,y,1,|,x,1,)=1/2,p,(,y,2,|,x,1,)=1/2，,X,Y,0,1,0,1,2,3/4,1/2,1/2,1/4,信源熵,15,得联合概率：,p,(,x,0,y,0,) =,p,(,x,0,),p,(,y,0,|,x,0,) = 2/33/4 = 1/2,p,(,x,0,y,1,) =,p,(,x,0,),p,(,y,1,|,x,0,) = 0,p,(,x,0,y,2,) =,p,(,x,0,),p,(,y,2,|,x,0,) = 2/31/4 = 1/6,p,(,x,1,y,0,) =,p,(,x,1,),p,(,y,0,|,x,1,) = 0,p,(,x,1,y,1,) =,p,(,x,1,),p,(,y,1,|,x,1,) = 1/31/2=1/6,p,(,x,1,y,2,) =,p,(,x,1,),p,(,y,2,|,x,1,) = 1/31/2=1/6,条件熵,由,16,联合熵,H(X,Y)H(X)H(Y|X)=1.8bit/,符号,得,p,(,y,0,) =,p,(,x,i,y,0,) =,p,(,x,0,y,0,) +,p,(,x,1,y,0,) =1/2+0 = 1/2,p,(,y,1,) =,p,(,x,i,y,1,) =,p,(,x,0,y,1,) +,p,(,x,1,y,1,) = 0+1/6 =1/6,p,(,y,2,) =,p,(,x,i,y,2,) =,p,(,x,0,y,2,) +,p,(,x,1,y,2,) = 1/6+1/6=1/3,由,17,由,得,同理,p,(,x,0,|,y,1,)=0 ；,p,(,x,1,|,y,1,)=1,p,(,x,0,|,y,2,)=1/2；,p,(,x,1,|,y,2,)=1/2,18,H(X),：,表示接收到输出符号,Y,前,关于输入变量,X,的,平均不确定度。,H(X|Y),：,表示接收到输出符号,Y,后,关于输入变量,X,的,平均不确定度。,这个对,X,尚存在的平均不确定度是由于干扰,(,噪声,),引起的,19,平均互信息,平均互信息,定义,信息,=,先验不确定性后验不确定性,=,不确定性减少的量,Y,未知,X,的不确定度为,H(X),Y,已知,X,的不确定度变为,H(X |Y),20,平均互信息,有扰信道,干扰源,信源,X,信宿,Y,通信系统中,若发端的符号为,X,收端的符号为,Y,如果是,一一对应信道,接收到,Y,后,对,X,的不确定性将完全消除：,H(X|Y) = 0,一般情况：,H(X |Y) H(X),即了解,Y,后对,X,的不确定度的将,减少,通过信道传输消除了一些不确定性,获得了一定的,信息,。,21,平均互信息,平均互信息,的另一种定义方法：,22,例,假,设一条电线上串联了,8,个灯泡,x,1,x,2,，,x,8,如图，这,8,个灯泡损坏的概率相等,p(,x,i,) = 1/8，,现假设只有一个灯泡已损坏，致使串联灯泡都不能点亮。,未测量前,8,个灯泡都有可能损坏,它们损坏的,先验概率,:,p,(,x,i,)=1/8,这时存在的不确定性：,23,第,1,次测量后,可知,4,个灯泡是好的,另4,个灯泡中有一个是坏的,这时,后验概率,p(,x,i,|,y,) =1/4,尚,存在的不确定性,所,获得的信息量,就是测量前后,不确定性减少的量,第,1,次,测量获得的信息量：,24,第2,次测量后变成猜测哪,2,个灯泡中一个是损坏的,这时,后验概率,为：,p,(,x,i,|,yz,),= 1/2,尚,存在的不确定性：,第,2,次,测量获得的信息量：,第,3,次测量完全消除了不确定性，能获知哪个灯泡是坏了的。尚存在的不确定性等于,零,。,第,3,次,测量获得的信息量：,25,信源消息,x,1,x,2,x,3,x,4,x,5,x,6,x,7,x,8,先验概率,1/8,1/8,1/8,1/8,1/8,1/8,1/8,1/8,后验概率,第,1,次测量,y,1/4,1/4,1/4,1/4,第,2,次测量,z,1/2,1/2,第,3,次测量,w,1,要从,8,个等可能损坏的串联灯泡中确定哪个灯泡是坏的,至少要获得,3,个,bit,的信息量,26,方法,2,：逐个检查,第,1次:,x,1,坏,获得信息量,=3,bit,可能性较小,1/8,；,x,1,通,其余,7,只中,1,只坏,坏灯泡的不确定性：,log,2,7=2.8073bit,获得信息量,=3-2.8073=0.1927,bit,可能性较大,7/8,第1,次所获得的平均信息量,:,“,对半开,”,第,1,次所获得的平均信息量,:,27,互信息量,在有,3,个变量,的情况下,符号,x,i,与符号,y,j,z,k,之间的,互信息量,定义为,同理,28,条件互信息,我们定义在已知事件,z,k,的条件下,接收到,y,j,后获得关于某事件,x,i,的,条件互信息,29,平均互信息与各类熵的关系,熵只是平均不确定性的描述,;,不确定性的消除,(,两熵之差,),才等于接收端所获得的信息量。,获得的信息量不应该和不确定性混为一谈,30,维拉图,H(X|Y),H(X),H(Y),H(XY),H(Y|X),I(X;Y),31,条件熵,H(X|Y),：,信道疑义度，损失熵,信源符号通过有噪信道传输后所引起的信息量的损失。,信源,X,的熵等于接收到的信息量加上损失掉的信息量。,H(Y|X)：,噪声熵，散布熵,它反映了信道中噪声源的不确定性。,输出端信源,Y,的熵,H(Y),等于接收到关于,X,的信息量,I(X;Y),加上,H(Y|X),这完全是由于信道中噪声引起的。,32,收发两端的熵关系,I(X;Y),H(X),H(Y),H(X/Y),疑义度,H(Y/X),噪声熵,33,若信道是,无噪一一对应信道,信道传递概率：,计算得,:,34,若信道输入端,X,与输出端,Y,完全统计独立,则:,35,第一级处理器,第二级处理器,X,Y,Z,输入,级联处理器,2.2.4,数据处理中信息的变化,数据处理定理,:,当消息通过多级处理器时,随着处理器数目增多,输入消息与输出消息间的平均互信息量趋于变小,假设,Y,条件下,X,和,Z,相互独立,36,数据处理定理,数据处理定理说明：,当对信号、数据或消息进行多级处理时,每处理一次,就有可能损失一部分信息,也就是说数据处理会把信号、数据或消息变成更有用的形式，但是,绝不会创造出新的信息,这就是所谓的,信息不增原理,。,37,三维联合集,XYZ,上的平均互信息量,38,2.2.5,熵的性质,1.,非负性,H(X)H(,p,1,，,p,2,，,p,n,)0,式中等号只有在,p,i,=1,时成立。,2.,对称性,H(,p,1,，,p,2,，,p,n,) = H(,p,2,，,p,1,，,p,n,),例如下列信源的熵都是相等的：,39,熵的性质,3.,确定性,H(X)H(,p,1,，,p,2,，,p,n,)0,只要信源符号中有一个符号出现概率为,1,信源熵就等于零。,4.,极值性,(,香农辅助定理,),对任意两个消息数相同的信源,40,熵的性质,5.,最大熵定理,离散无记忆信源输出,M,个不同的信息符号,当且仅当各个符号出现概率相等时即,(,p,i,1/M),熵最大,。,6.,条件熵小于无条件熵,41,习题,2-13,2-16,42,
展开阅读全文