资源描述
单击此处编辑母版标题样式,*,第2章 信息的度量,石志国,北京科技大学电子信息系,1,几个重要的概念,:(1)自信,息,息(量)；,(2)互信息(,量,量)；(3),平,平均自信息(量)；(4)平,均,均互信息(量),；,；,第2章 信息的,度,度量,2.1 自信息,和,和互信息,2.2 平均自,信,信息,2.3 平均互,信,信息,2,不确定性、惊讶,度,度与信息量,在事件发生前有,不,不确定性,在事件发生时有,惊,惊讶度,在事件发生后有,信,信息量,当一个概率很低,的,的随机事件发生,时,时，会感到非常,惊,惊讶，并得到很,大,大的信息量,比如：9.11事件，美国纽,约,约世贸大厦被炸,3,自信息量,从信息源获取信,息,息的过程就是其,不,不确定性缩减的,过,过程,随机事件包含的,信,信息与其不确定,性,性紧密相关,在统计分析中，,使,使用概率作为衡,量,量不确定性的一,种,种指标,可以推论出：随,机,机事件包含信息,的,的度量应是其概,率,率的函数。,4,2.1.1 自,信,信息,随机事件的自信,息,息量是该事件发,生,生概率的函数，,且,且满足以下公理化条件：,可以证明，满足,以,以上公理化条件,的,的函数形式是对数形式。,5,(1)取对数的,底,底为2，单位为,比,比特(bit),(2)取自然对,数,数(底为e)，,单,单位为奈特(nat).1nat=1.443 bit.,(3)以10为,底,底，单位为哈特,莱,莱(Hartley).1Hartley=3.322 bit.,(4)以r为底,，,，1 r进制,单,单位=log,2,r bit.,自信息量的单位,与,与所用对数的底,有,有关,在现代数字通信,系,系统中，一般采,用,用二进制的记数,方,方式。在信息量,的,的计算中也多采,用,用2为底的方式,，,，一般默认为2,为,为底：,自信息量的单位,6,对数以及常用公,式,式,7,自信息的性质,8,例1.自信息题,目,目,9,联合自信息,10,条件自信息,11,几种自信息之间,的,的关系,自信息量、联合,自,自信息量、条件,自,自信息量都满足,非,非负性和单调递,减,减性,三者都是随机变,量,量、其值随着变,量,量x,i,，y,j,的变化而变化。,三者之间有如下,关,关系式：,12,例2.自信息,例,例题,13,二.互信息量,设有两个离散的,符,符号消息集合XY，,X表示信源发出,的,的符号消息集合,Y表示信宿接收,的,的符号消息集合,每个符号消息相,当,当于一个随机事,件,件,信源发出符号消,息,息通过信道传递,给,给信宿,14,集合XY的概率,空,空间,信源X的概率空,间,间为：,这里p(x,i,)(i=1,2,3等)是集,合,合X中各个消息x,1,x,2,x,3,.的概率分,布,布，又称为先验,概,概率,信源Y的概率空,间,间为：,这里p(Y,j,)(j=1,2,3等)是集,合,合Y中各个消息Y,1,Y,2,Y,3,.的概率分,布,布,15,收信者获得的信,息,息量,当信宿接到集合Y中的一个y,j,后，接收者重新,估,估计关于信源的,各,各个消息x,i,发生的概率就变,成,成条件概率p(x,i,/y,j,)，这种条件概,率,率又称为后验概,率,率。,收信者收到一个,消,消息后，所获得,的,的信息量等于收,到,到消息前后不确,定,定程度的减少量,。,。,不确定程度减少,的,的原因，是由于,收,收到消息前后概,率,率空间的概率分,布,布改变所致。,16,不确定程度的减,少,少量,当接收到y,j,后，重新估计x,i,的发生。收信者,从,从不确定到比较,确,确定或完全确定,，,，依赖于所获得,的,的信息量，可以,直,直观地将它定义,为,为：I(信息量)=不确定,程,程度的减少量,那么当接收者收,到,到y,j,后，所获得的信,息,息量为：,收信者所获得的,信,信息量随先验概,率,率的增加而减小,，,，随后验概率的,增,增加而增加,17,信息量：消除不,确,确定性度量,互信息量等于自,信,信息量减去条件,自,自信息量：,18,从通信系统总体,观,观察,在通信前，可以,认,认为输入随机变,量,量X和输出随机,变,变量Y之间没有,任,任何关联关系，,即,即X，Y统计独,立,立，根据概率的,性,性质：,通信以后，输入,随,随机变量X和输,出,出随机变量Y之,间,间由信道的统计,特,特性相关联。,19,从通信系统总体,观,观察,这样，通信后流,经,经信道的信息量,，,，等于通信前后,不,不确定度的差：,20,例3.互信息,例,例题,21,22,
展开阅读全文