资源描述
,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,2.3,二元联合信源的联合熵(共熵)与条件熵,两个信,源,X、Y,，,信源,X,的概率空间为：,信源,Y,的概率空间为：,一、共熵,二元联合信源的概率空间为：,从二元联合信源概率空间的联合概率,p,(,x,i,y,j,),可以提取任一信源的熵,由共熵可导出条件熵,二、条件熵,X,给定的情况下,Y,的条件熵,Y,给定的情况下,X,的条件熵,5/6,1/6,1/2,1/2,y,1,=1,p,(,y,1,)=7/12,y,2,=0,p,(,y,2,)=5/12,p,(,x,1,)=1/4,x,1,=1,p,(,x,2,)=3/4,x,2,=0,X,空间,Y,空间,例,某二元通信系统，它发送1和0的概率分别为：,p,(1)=1/4，,p,(0)=3/4，,由于信道中有干扰，通信不能无差错地进行。即有1/6的1在接收端错成0，1/2的0在接收端错成1。问信宿收到一个消息后，获得的平均信息量是多少？,当且仅当,X,、,Y,互相独立时取等号,多元信源的共熵小于等于各单独信源熵之和，,当且仅当各单独信源统计独立时取等号。,同一信源发出前后两消息,x,i,、,x,j,，,两消息的共熵小于等于两消息分别独立熵之和，,当且仅当前后两消息相互独立时取等号。,例,有一离散信源具有三个消息,A,、,B,、,C,，,p,(,A,)=11/36，,p,(,B,)=4/9，,p,(,C,)=1/4，,发出的消息序列前后符号具有相关性，其中相关性可用下表中的条件概率来描述，求该离散信源的熵。,p,(,i,/,j,),j,A,B,C,i,A,9/11,1/8,0,B,2/11,3/4,2/9,C,0,1/8,7/9,无条件熵？,条件熵？,平均符号熵？,条件熵：,p,(,ij,),j,A,B,C,i,A,1/4,1/18,0,B,1/18,1/3,1/18,C,0,1/18,7/36,p,(,i,/,j,),j,A,B,C,i,A,9/11,1/8,0,B,2/11,3/4,2/9,C,0,1/8,7/9,无条件熵（信源消息间无相关性时）：,平均符号熵：,三、离散平稳信源的信源熵和极限熵,原始信源：一次发一个消息符号,N,次扩展信源：一次发一个消息序列/信号序列,（,N,个消息符号）,有记忆信源：原始信源消息间有相关性,无记忆信源：原始信源消息间无相关性,平稳信源：信源的概率空间不随时间变化,非平稳信源：信源的概率空间随时间变化,无记忆,N,次扩展信源的信源熵,其平均信息熵,例,离散平稳无记忆信源的概率空间：,求该离散信源的熵、二次扩展信源的熵和,N,次扩展信源的熵。,解：1）离散信源的熵,2）二次扩展信源的熵,3）,N,次扩展信源的熵,有记忆,N,次扩展信源的信源熵,二维离散平稳有记忆信源：,扩展到,N,维：,平均信息熵：,极限熵：,当离散有记忆信源是平稳信源时，极限熵存在，且等于相关长度 时，条件熵,的极限值，即,极限熵：离散平稳有记忆信源平均每发一个消息符号提供的信息量,
展开阅读全文