量子物理与信息技术28481

单击此处编辑母版标题样式,*,第2章 信息的度量,石志国,北京科技大学电子信息系,1,几个重要的概念,:(1)自信息(量)；,(2)互信息(量)；(3)平均自信息(量)；(4)平均互信息(量)；,第2章 信息的度量,2.1 自信息和互信息,2.2 平均自信息,2.3 平均互信息,2,不确定性、惊讶度与信息量,在事件发生前有不确定性,在事件发生时有惊讶度,在事件发生后有信息量,当一个概率很低的随机事件发生时，会感到非常惊讶，并得到很大的信息量,比如：9.11事件，美国纽约世贸大厦被炸,3,自信息量,从信息源获取信息的过程就是其不确定性缩减的过程,随机事件包含的信息与其不确定性紧密相关,在统计分析中，使用概率作为衡量不确定性的一种指标,可以推论出：随机事件包含信息的度量应是其概率的函数。,4,2.1.1 自信息,随机事件的自信息量是该事件发生概率的函数，且满足以下,公理化条件,：,可以证明，满足以上公理化条件的函数形式是,对数形式,。,5,(1)取对数的底为2，单位为比特(bit),(2)取自然对数(底为e)，单位为奈特(nat).1 nat=1.443 bit.,(3)以10为底，单位为哈特莱(Hartley).1 Hartley=3.322 bit.,(4)以r为底，1 r进制单位=log,2,r bit.,自信息量的单位与所用对数的底有关,在现代数字通信系统中，一般采用二进制的记数方式。在信息量的计算中也多采用2为底的方式，一般默认为2为底：,自信息量的单位,6,对数以及常用公式,7,自信息的性质,8,例1.自信息题目,9,联合自信息,10,条件自信息,11,几种自信息之间的关系,自信息量、联合自信息量、条件自信息量都满足非负性和单调递减性,三者都是随机变量、其值随着变量x,i,，y,j,的变化而变化。,三者之间有如下关系式：,12,例2.自信息例题,13,二.互信息量,设有两个离散的符号消息集合XY，,X表示信源发出的符号消息集合,Y表示信宿接收的符号消息集合,每个符号消息相当于一个随机事件,信源发出符号消息通过信道传递给信宿,14,集合XY的概率空间,信源X的概率空间为：,这里p(x,i,)(i=1,2,3等)是集合X中各个消息x,1,x,2,x,3,.的概率分布，又称为先验概率,信源Y的概率空间为：,这里p(Y,j,)(j=1,2,3等)是集合Y中各个消息Y,1,Y,2,Y,3,.的概率分布,15,收信者获得的信息量,当信宿接到集合Y中的一个y,j,后，接收者重新估计关于信源的各个消息x,i,发生的概率就变成条件概率p(x,i,/y,j,)，这种条件概率又称为后验概率。,收信者收到一个消息后，所获得的信息量等于收到消息前后不确定程度的减少量。,不确定程度减少的原因，是由于收到消息前后概率空间的概率分布改变所致。,16,不确定程度的减少量,当接收到y,j,后，重新估计x,i,的发生。收信者从不确定到比较确定或完全确定，依赖于所获得的信息量，可以直观地将它定义为：I(信息量)=不确定程度的减少量,那么当接收者收到y,j,后，所获得的信息量为：,收信者所获得的信息量随先验概率的增加而减小，随后验概率的增加而增加,17,信息量：消除不确定性度量,互信息量等于自信息量减去条件自信息量：,18,从通信系统总体观察,在通信前，可以认为输入随机变量X和输出随机变量Y之间没有任何关联关系，即X，Y统计独立，根据概率的性质：,通信以后，输入随机变量X和输出随机变量Y之间由信道的统计特性相关联。,19,从通信系统总体观察,这样，通信后流经信道的信息量，等于通信前后不确定度的差：,20,例3.互信息例题,21,22,