信息论-举例讲解(信息量、熵及互信息量)

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,信息论基础,信息量、熵和互信息量,在上一次课中我们提到香农对信息定性的定义,事物运动状态或存在方式的不确定性,的描述。事实上，香农对信息不仅作了定性描述，而且还进行了定量分析。,信源发出的消息常常是随机的，具有不确定性。如果信源中某一消息的不确定性越大，一旦发生，并为收信者收到，消除的不确定性就越大，获得的信息也就越大。同时事件发生的不确定性与事件发生的概率有关，概率越小，不确定性就越大。,研究通信系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统最优化。,离散集自信息量的性质,因此，某事件,x,发生所提供的信息量,I(x),应该是该事件发生的先验概率,p(x),的函数,:,I(x)=f(p(x),(4),当,p(x)=0,时，,I(x)=,:,表示不可能事件一旦发生，信息量将无穷大。,且应满足以下四点：,(1)I(x),应该是事件概率,p(x),的单调递减函数；,(2),信息量应具有可加性：对于两个独立事件，其信息量应等于各自信息量之和；,(3),当,p(x)=1,时，,I(x)=0,：表示确定事件发生得不到任何信息；,自信息量的计算公式,综合上述条件，在概率上已经严格证明了,自信息量的单位：若这里的对数底取,2,，则单位为比特,bit,，由于在计算机上是二进制，我们一般都采用比特。其他单位以及相互之间转换关系查阅教材。,其中,p(x),为消息的先验概率。,计算自信息量的例子,例,1,：信源消息,X=0,1,2,的概率模型如下：,x,i,0,1,2,P(x,i,),1/3,1/6,1/2,x,i,0,1,2,P(x,i,),1/3,1/6,1/2,I(x,i,),log3,log6,log2,则该信源各消息的自信息量分别为：,单位：比特,自信息量的涵义,自信息量代表两种含义：,二、当事件,x,发生以后，,I(x),表示事件,x,所提供的信息量（在无噪情况下,),。,在通信系统模型中，不仅可以用自信息量来研究信源中的每个消息，对信宿也可同样可以。,一、事件,x,发生以前，,I(x),表示事件,x,发生的不确定性；,自信息量计算的应用,例,2,：假设一条电线上串联了,8,个灯泡,x,1,x,2,x,8,这,8,个灯泡损坏的可能性是等概率的,假设有也只有一个灯泡损坏,用万用表去测量,获得足够的信息量,才能获知和确定哪个灯泡,x,i,损坏。下面就来看我们最少需要获得多少信息量才能判断出。,第三次测量获得的信息量：,故共需要,3bit,信息量,.,第二次测量获得的信息量：,解,第一次测量获得的信息量：,信源熵,前面我们根据信源或信宿的概率模型，通过自信息量的计算，能得到信源以及信宿中每个消息的不确定性。然而，事实上，人们往往关注的并不紧紧是每个消息的不确定性，而是整个系统的不确定性的统计特性即整个信源自信息量的统计平均值,熵。,x,i,0,1,P(x,i,),0.5,0.5,y,i,0,1,P(y,i,),0.99,0.01,我们先来看一个例子：,例,3,有两个信源,X,和,Y,：,在现实中，能找到很多类似的模型，我们想知道这两个信源本质的区别在哪里？,平均自信息量,熵的定义,设,X,是一个集合（即信息系统如信源或信道），其概率模型为,x,i,p(x,i,),，则定义系统,X,的平均自信息量,熵为：,熵的单位是比特,/,符号,.,我们知道，,I(x,i,),是唯一确定,x,i,所需要的信息量，那么,H(X),就是唯一确定,X,中任一事件所需的平均信息量。它反映了,X,中事件,x,i,出现的平均不确定性。,熵的几条性质,（,4,）极值性,最大离散熵定理,:,设,|X|,为信源消息的个数,则有,H(X),小于等于,log|X|,，等号当且仅当信源,X,中各消息等概率时成立，即各消息等概率分布时,(p=1/|X|),信源熵最大,.,(3),确定性,:,若离散事件是确定事件,则,H(X),0,(2),非负性：,H(X)0,；,(1),对称性：熵只和分布有关，不关心某一具体事件对应哪个概率；,计算熵的例子,例,4,计算下面一个信源的熵：,x,i,000,001,010,011,100,101,110,111,q(x,i,),1/4,1/4,1/8,1/8,1/16,1/16,1/16,1/16,解,由定义有：,(,比特,/,符号,),我们再回过头来看一下例,3,中两个信源熵分别是多少，结果反映了一个怎样的事实？,例,3,解答,由定义有：,显然,H(X)H(Y),这表示信源,X,的平均不稳定性远远大于信源,Y,的平均不稳定性。,条件自信息量,前面我们引入自信息量以及熵的概念，用以描述信源或信宿，事实上，信宿收到的消息是与信源发出的消息密切相关。并且接受信息与发送信息之间的关系往往是判定一个信道的好坏的最佳标准。所以，我们需要引入互信息量。在学习互信息量之前我们先来了解条件信息量的概念。,设消息,x,发出的先验概率为,p(x),，收到消息,y,是由,x,发出的条件概率为,p(x|y),则在收到,y,是由,x,发出的条件自信息量,I(x|y),定义为：,（比特）,计算条件自信息量的例子,例,5,在二进制对称信道,BSC,中，若信道转移概率矩阵为：,计算下列条件自信息量,(,若,p(0)=p(1)=1),：,解答,由已知条件可得：,量的定义得 由条件自信息,单位为比特,我们知道,在通信之前,消息,x,具有不确定性,p(x),其大小为,x,的自信息量,:,两者之间的差就是我们通过这一次通信所获得到的信息量的大小。,I(x|y)=-log p(x|y),I(x)=-log p(x),当我们收到消息,y,，它是否由,x,发出也有一定的不确定性,p(x|y),，其大小为条件自信息量,:,同样，收到的消息为,y,具有不确定性,p(y),，其大小为,y,的自信息量：,两者之间的差也是我们通过这一次通信所获得到的信息量的大小。,I(y|x)=-log p(y|x),I(y)=-log p(y),当我们发出消息,x,它是否收到,y,也有一定的不确定性,p(y|x),，其大小为条件自信息量,:,互信息量,很显然，从通信的角度来看，上述两个差值应该相等，即：,事实上，由概率论概率的乘积公式有：,这样，用,I,（,x;y,）或,I,（,y;x,）记该差式，称为,x,与,y,之间的互信息量，单位也为比特。,故：,互信息量的性质,一、对称性：,I(x;y)=I(y;x),其通信意义表示发出,x,收到,y,所能提供给我们的信息量的大小；,二、当,x,与,y,统计独立时,I(x;y)=I(y;x)=0,表示这样一次通信不能为我们提供任何信息,.,上述两条性质与我们实际情况非常吻合,.,计算互信息量的例子,信源消息,码字,先验概率,消息后验概率,收到,0,后,收到,01,后,收到,011,后,x0,000,1/4,1/3,0,0,x1,001,1/4,1/3,0,0,X2,010,1/8,1/6,1/2,0,X3,011,1/8,1/6,1/2,1,X4,100,1/16,0,0,0,X5,101,1/16,0,0,0,X6,110,1/16,0,0,0,x7,111,1/16,0,0,0,例,5,设信源中含有,8,个消息，其先验概率如下图,试求当我们收到,011,所能获取到的信息量,即计算互信息量,I(x,3,;011).,信源消息,码字,先验概率,消息后验概率,收到,0,后,收到,01,后,收到,011,后,x,0,000,1/4,1/3,0,0,x,1,001,1/4,1/3,0,0,X,2,010,1/8,1/6,1/2,0,X,3,011,1/8,1/6,1/2,1,X,4,100,1/16,0,0,0,X,5,101,1/16,0,0,0,X,6,110,1/16,0,0,0,x,7,111,1/16,0,0,0,解法一,由互信息量的含义得：,单位为比特,信源消息,码字,先验概率,消息后验概率,收到,0,后,收到,01,后,收到,011,后,x,0,000,1/4,1/3,0,0,x,1,001,1/4,1/3,0,0,X,2,010,1/8,1/6,1/2,0,X,3,011,1/8,1/6,1/2,1,X,4,100,1/16,0,0,0,X,5,101,1/16,0,0,0,X,6,110,1/16,0,0,0,x,7,111,1/16,0,0,0,解法二,直接计算得：,单位为比特,熵是信源平均不确定性的度量,一般情况下,它并不等于信宿所获得的平均信息量,只有在无噪情况下,二者才相等,.,为此我们需要学习条件熵,.,同时我们由条件熵引出平均互信息量的概念,其可以用来衡量一个信道的好坏,.,条件熵的定义,设,X,是信源的消息集,Y,是信宿消息集,对条件自信息量,I(x|y),取统计平均值得到条件熵,H(X|Y),即：,其中,p,（,x,y,）为联合概率,p,（,x|y,）为条件概率,.,平均互信息量的定义,很显然,信源,X,的熵,H(X),与条件熵,H(X|Y),的差值和信宿,Y,的熵,H(Y),与条件熵,H(Y|X),的差值相等,我们称为,X,与,Y,的平均互信息量,记为：,I(X;Y),是一个用来衡量信道好坏的非常好的工具。,计算条件熵的例子,例,6,设一个二进制对称信道,BSC,：,其先验概率为,p(0)=p(1)=1/2,，试计算条件熵,.,解答,由已知条件得：,结果表明，虽然每个字符的错误率只有,0.1,，可导致整个信宿对信源的平均不确定性达到了,0.469,，将近一半。可见通信系统对信道的要求非常高。,由条件熵的定义有：,