第3讲——条件熵、联合熵及熵的性质

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,信源及其信息熵,第二章,2.1.3,条件熵及联合熵,条件熵是在联合符号集合,XY,上的,条件自信息量的数学期望,。,在已知随机变量,Y,的条件下，随机变量,X,的条件熵定义为：,要用联合概率加权,条件熵是一个确定值，表示信宿在收到,Y,后，信源,X,仍然存在的不确定度。这是传输失真所造成的。有时称,H(X/Y),为,信道疑义度,，也称损失熵。称条件熵,H(Y/X),为,噪声熵,。,条件熵,联合离散符号集合,XY,上的每个元素对 的,联合自信息量的数学期望,。,联合熵,熵、条件熵、联合熵关系,一个二进信源,X,发出符号集,0,1,经过离散无记忆信道传输,信道输出用,Y,表示,.,由于信道中存在噪声,接收端除收到,0,和,1,的符号外,还有不确定符号“,2”,已知,X,的先验概率,:,p,(,x,0,)=2/3,p,(,x,1,)= 1/3,符号转移概率：,p,(,y,0,|,x,0,)=3/4,p,(,y,2,|,x,0,)=1/4,p,(,y,1,|,x,1,)=1/2,p,(,y,2,|,x,1,)=1/2,，,X,Y,0,1,0,1,2,3/4,1/2,1/2,1/4,信源熵,H(X),例题,得联合概率：,p,(,x,0,y,0,) =,p,(,x,0,),p,(,y,0,|,x,0,) = 2/33/4 = 1/2,p,(,x,0,y,1,) =,p,(,x,0,),p,(,y,1,|,x,0,) = 0,p,(,x,0,y,2,) =,p,(,x,0,),p,(,y,2,|,x,0,) = 2/31/4 = 1/6,p,(,x,1,y,0,) =,p,(,x,1,),p,(,y,0,|,x,1,) = 0,p,(,x,1,y,1,) =,p,(,x,1,),p,(,y,1,|,x,1,) = 1/31/2=1/6,p,(,x,1,y,2,) =,p,(,x,1,),p,(,y,2,|,x,1,) = 1/31/2=1/6,由,例题,条件熵,H(Y|X),联合熵,H(XY),H(XY),H(X),H(Y|X)=1.8bit/,符号,得,p,(,y,0,) =,p,(,x,i,y,0,) =,p,(,x,0,y,0,) +,p,(,x,1,y,0,) =1/2+0 = 1/2,p,(,y,1,) =,p,(,x,i,y,1,) =,p,(,x,0,y,1,) +,p,(,x,1,y,1,) = 0+1/6 =1/6,p,(,y,2,) =,p,(,x,i,y,2,) =,p,(,x,0,y,2,) +,p,(,x,1,y,2,) = 1/6+1/6=1/3,由,例题,信源输出熵,H(Y),由,得,同理,p,(,x,0,|,y,1,)=0,；,p,(,x,1,|,y,1,)=1,p,(,x,0,|,y,2,)=1/2,；,p,(,x,1,|,y,2,)=1/2,条件熵,H(X|Y),例题,或,H(X|Y)=,H(XY)-H(Y)=1.8-1047=0.33bit/,符号,2.1.4,熵的基本性质,熵的基本性质,概率矢量,非负性,非负性,H(X)0,由于,0,p,k,1,所以,log,p,k,0,，,-log,p,k,0,，,则总有,H(X)0,。,对称性,根据加法交换律可以证明，当变量交换顺序时熵函数的值不变,即信源的熵只与概率空间的总体结构有关，而与各概率分量对应的状态顺序无关。,对称性,确定性,当信源,X,的信源空间,X,，,P,中，任一概率分量等于,1,，根据完备空间特性，其它概率分量必为,0,，这时信源为一个确知信源，其熵为,0,。,确定性,这说明信源空间中增加某些概率很小的符号，虽然当发出这些符号时，提供很大的信息量，但由于其概率接近于,0,，在信源熵中占极小的比重， ，使信源熵保持不变。,扩展性,扩展性,可加性,证明,:,可加性,极值性,最大离散熵定理,信源,X,中包含,K,个不同离散消息时，信源熵 ，当且仅当,X,中各个消息出现的概率全相等时，上式取等号。,表明等概信源的不确定性最大，具有最大熵，为,极值性,定理：,1.,H(X/Y,),H,(,X,),（,条件熵不大于无条件熵）,2.,H,(,XY,),H,(,X,)+,H,(,Y,),证明：,基本定理,基本定理推广,H(X/Y,),H,(,X,),H,(,XY,),H,(,X,)+,H,(,Y,),2.1.5,离散序列信源的熵,设信源输出的随机序列为,X =(X,1,X,2,X,l,X,L,),序列中的变量,X,l,x,1,x,2,x,n,离散无记忆信源,离散无记忆,:,离散无记忆信源的序列熵,信源的序列熵,进一步化简,平均符号熵,?,离散无记忆信源的序列熵,信源的序列熵,进一步化简,平均符号熵,?,离散无记忆信源的序列熵,例,:,有一个无记忆信源随机变量,X(0,1),等概率分布,若以单个符号出现为一事件,则此时的信源熵,:,即用,1,比特就可表示该事件。,如果以两个符号出现,(L=2,的序列,),为一事件，则随机序列,X(00,01,10,11),，,信源的序列熵,即用,2,比特才能表示该事件。,信源的符号熵,离散无记忆信源实例,例,:,有一离散平稳无记忆信源,求：二次扩展信源的熵,X,2,信源,的元素,a,1,a,2,a,3,a,4,a,5,a,6,a,7,a,8,a,9,对应的,消息序列,x,1,x,1,x,1,x,2,x,1,x,3,x,2,x,1,x,2,x,2,x,2,x,3,x,3,x,1,x,3,x,2,x,3,x,3,概率,p,(,a,i,),1/4,1/8,1/8,1/8,1/16,1/16,1/8,1/16,1/16,离散无记忆信源实例,信源熵为,信源的序列熵,离散无记忆信源实例,平均符号熵为,a,0,a,1,a,2,a,0,9/11,2/11,0,a,1,1/8,3/4,1/8,a,2,0,2/9,7/9,例,:,已知离散有记忆信源中各符号的概率为,:,设发出的符号只与前一个符号有关,这两个符号的概率关联性用条件概率,p,(,a,j,|a,i,),表示,如表,p,(,a,j,|a,i,),求离散信源的序列熵和平均每个符号的熵,?,离散有记忆信源实例,由,p,(,a,i,a,j,) =,p,(,a,i,),p,(,a,j,|,a,i,),计算得联合概率,p,(,a,i,a,j,),如表,a,0,a,1,a,2,a,0,1/4,1/18,0,a,1,1/18,1/3,1/18,a,2,0,1/18,7/36,当考虑符号之间有依赖性时,计算得条件熵,离散有记忆信源实例,发二重符号序列的熵,H(X,1,X,2,),表示平均每二个信源符号所携带的信息量,那么平均每一个信源符号携带的信息量近似为,:,符号之间存在关联性,比较,有记忆信源实例,而信源,X,的信息熵为,H(X,2,| X,1,),H(X),，信源的条件熵比无依赖时的熵,H(X),减少了,0.671,比特,这正是因为符号之间有依赖性所造成的结果。,对于有记忆信源,就不像无记忆信源那样简单,它必须引入条件熵的概念，而且只能在某些特殊情况下才能得到一些有价值的结论。,对于由两个符号组成的联合信源,有下列结论,:,当前后符号无依存关系时,有下列推论：,离散有记忆信源的序列熵,若信源输出一个,L,长序列,则信源的序列熵为,平均符号熵为：,极限熵,:,离散有记忆信源的序列熵,（,1,）条件熵,H,(,X,L,|,X,L-1,),随,L,的增加非递增,离散有记忆信源特点,（,3,）平均符号熵,H,L,(,X,),随,L,的增加非递增,H,0,(,X,),H,1,(,X,),H,2,(,X,),H,(,X,),（,2,）,L,给定时,H,L,(,X,),H,(,X,L,|,X,L-,1,),（,4,）,2.1.6,冗余度,冗余度,表明信源的记忆长度越长,熵就越小；即信源符号的相关性越强，所提供的平均信息量就越小。,为了定量地描述信源的有效性,定义,:,相对率,冗余度,由于信源存在冗余度,即存在一些不必要传送的信息,因此信源也就存在进一步压缩其信息率的可能性。,