信息论与编码第二章

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第二章,信息的度量,2.1,信息量,2.2,信息熵,2.3,离散集的平均互信息量,Log(xy)=logx+logy,Log(x/y)=logx-logy,中学数学知识,2.1,.1,自信息和条件自信息量,1,、,自信息量,2.1,信息量,设甲袋中有,100,个球，其中,50,个是红球，,50,个是白球，现有人从袋子中随机抽出一个球是红色的，对于这次抽取的事件所携带的信息量是多少？又如乙袋中也有,100,个球，其中有,25,个红球，,25,个白球，,25,个蓝球，,25,个黑球。现又有人随机抽取一个球，发现时红球，针对这次抽取的事件当中有具有多少信息呢？,定义2.1 任意随机事件的自信息量定义为该事件发生概率的对数的负值。,通过上面两个实例可以得知，在甲袋抽出红色球的不确定性要比乙袋抽红色球的不确定性小。不确定性越大，就越难猜到，对于狭义信息论而言，此事件的信息量就越大。,设事件,的概率为,那么，它的自信息量定义为,1,、自信息量的单位,自信息量的单位取决于对数的底；,底为2，单位为“比特（,bit,）”；,底为,e,，,单位为“奈特（,nat,）”;,底为10，单位为“哈特（,hat,）”；,说明：,2,、三个自信息量单位之间的转换,I(a,i,),是非负值；,当,P(a,i,),=1,时，,I(a,i,)=0；,当,P(a,i,),=0,时，,I(a,i,)=,；,I(a,i,),是,P(a,i,),的单调递减函数,3,、自信息量的性质,注：,I,自信息,解释,：,小概率事件，一当出现必然使人感到意外，因此产生的信息量就大；几乎不可能事件一旦出现，将是一条爆炸性的新闻，一鸣惊人。,大概率事件，是预料之中的，即使发生，也没什么信息量，特别是当必然事件发生了，它不会给人以任何信息量。,【,例,2.1】,某地二月份天气的概率分布统计如下：,问发生晴天的自信息量是多少？,解：发生晴天的概率为,，则晴天的自信息量为,【,例,2.2】,设在甲袋中放入,n,个不同阻值的电阻，如果随机地取出一个，并对取出的电阻值进行事先猜测，其猜测的困难程度相当于概率空间的不确定性，概率空间为,式中,表示取出电阻值为,i,的电阻的概率，那么被,告知“取出的阻值为,i,的电阻”所获得的信息量为多少？,解：,由于甲袋里的各阻值的电阻为等概分布，则,【例,2.3,】若盒中有,6,个电阻，阻值为,1,、,2,、,3,的分别为,2,个、,1,个、,3,个，将从盒子中取出阻值为,i,的,电阻记为事件,组成事件集,，其概率分布,计算出各种事件的自信息量。,计算如下：,解：自信息量,自信息量,I(x,i,),的含义,2,、联合自信息量,某住宅区的某栋商品房，有,5,个单元，每个单元住有,12,户，甲要到该住宅区找他的宅区找他的朋友乙，因为每一住户的地址需要单元号和住户号，因此，每一住户的地址同时由单元号和住户号唯一确定，甲找到乙这一事件是二维联合集,上的等概分布,，他找到乙得到的信息可以用联合自信息量表示。,定义,2.2,在二维联合集,上元素,的联合自信息量,定义为联合概率,的对数的负数，即,当,X,和,Y,相互独立时，联合信息量应等于它们各自信息量之和。,二维联合集,，,当,和,相互独立时，有,则联合自信息量为,3,、,条件自信息量,乙住的楼房有,5,个单元，每个单元住有,12,户，甲要到该住宅区找他的朋友乙，若甲知道乙住在第,5,单元，,即看做为已知 条件，他要找到乙，记为事件 那,么甲找到乙得到多少信息可以用条件自信息量度量。,定义2.3 联合集,XY,中，,在,事件,y,j,出现的条件下,，,随机事件,事件,x,i,发生,的条件下,概率为,则它的条件自信息量定义为条件概率对数的负值：,，,例:设在一正方形棋盘上共有,64,个方格，行、列各,8,个。如甲将一粒棋子随意放在棋盘某个方格内让乙猜测棋子所在的位置，则,（,1,）在乙看来，棋子落入某方格的不确定性为多少？,（,2,）若甲告知乙棋子落入方格的行号，这时，在乙看来棋子落入某方格的不确定性为多少？,解：由于甲是将一粒棋子随意地放在棋盘中某一方格内，因此棋子在棋盘中所处位置为二维等概率分布，二维概率分布函数为,（,1,）,在二维联合集,上的元素为,的自信息为,：,（,2,）,在二维联合集,上,，,元素,相对 的条件自信息,为,：,容易证明，自信息量、条件自信息量和联合自信息量之间的关系如下：,或,2.,1.,2互信息量和条件互信息量,1、互信息量,众所周知，在教学过程中，老师在上课前准备教授的知识为一个集合,，,课后学生,掌握,老师所教的内容为一个集合,老师在课堂中采用不同的教学方法，会使学生掌握的内容不同。这一过程可以从一次通信过程模型表示。如,下,图所示，,定义2.,4,对两个离散随机事件集,X,和,Y,，事件,y,j,的出现能提供出关于事件,x,i,的信息量，定义为互信息量，即,互信息,有多重表达式,【,例,2.5】,某地二月份天气的概率分布统计如下：,某一天有人告诉你：“今天不是晴天。”把这句话作为收到的消息,。当收到,后，各种天气发生的概,率变成后验概率了。,其中,试计算,与,各种天气之间的互信息量。,解：,互信息量与条件自信息区别,：,=,将事件互信息的概念推广至多维空间。在三维,2、互信息量的性质,（,1,）互信息量的互易性，即,I(x,i,;y,j,)=I(y,j,;x,i,),（,2,）当,X,和,Y,相互独立时，互信息为,0,（,3,）,互信息量可为正值或负值,（,4,）,任何两个事件之间的互信息量不可能大于之中任一事件的自信息量,自信息、条件自信息和互信息,I(x,k,),I(y,j,),I(x,k,;,y,j,),3、条件互信息量,定义2.,5,三维,XYZ,联合集中，在给定条件,z,k,的情况下，,x,i,与,y,j,之间的互信息量的定义为,另外，联合集合,XYZ,中还存在,x,i,与,y,j,z,k,之间的互信息量，其定义式,或将上式进一步表示为,思考下式的证明,上式表明一对事件,y,j,z,k,出现后提供有关,x,i,的信息量,I（,x,i,;y,j,z,k,),等于事件,y,j,出现后所提供的有关,x,i,的信息量,I（x,i,;y,j,),加上在给定时间,y,j,的条件下再出现事件,z,k,所提供的有关,x,i,的信息量。,学校统计某个年级某个班级的数学期末成绩，那这个班级可以作为整体信源，而班级里的每个学生的数学成绩就是一个随机事件，学生个人的成绩好坏只代表自己，不能说明他的班级数学成绩。,2.,2,信息熵,离散集的平均自信息量（熵）,信息函数,只能表示信源发某一特定的具体符号,所提供的信息量，不同的符号，有不同的自信息量，所以它不足以作为整个信源的总体信息测度。,定义,2.6,在,集上，随机变量,的数学期望定义,为平均自信息量,集,的平均自信息又称为集,的信息熵，简称为熵。,的平均自信息量表示集,即为了在观测之前，确定集,件平均所需的信息量；或者说，在观测之后，集,中每出现一个事件平均给出的信息量。,集,中事件出现的平均不,确定性，,中出现一个事,平均自信息量的单位：,对数底是,2,，信息量的单位为比特（,bit,）；,若取自然对数,底,，则信息量的单位为奈特（,nat,）；,若以,10,为对数底，则信息量的单位为哈特（,hat,）。,【,例,2.6】,一个布袋内放,100,个球，其中,80,个球是红色的，,20,个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。,分析：这一随机事件的概率空间为,式中，,表示摸出的球为红球事件，,表示摸出的球是白球事件。,这是一个随机事件试验。试验结果是，当被告知摸出的是红球，则获得的信息量是,当被告知摸出的是白球，则获得的信息量是,如果每次摸出一个球后又放回袋中，再进行下一次摸取，那么如此摸取,次，,红球出现的次数为,次，,白,球出现的次数为,次。,随机摸取,次,后总共所获得的信息量为,而平均随机摸取一次所获得的信息量则为,熵是从整个集合的统计特性来考虑的，它是从平均意义上来表征集合的总体特征的。,熵表示事件集合中事件发生后，每个事件提供的平均信息量；,熵表示事件发生前，集合的平均不确定性；,【,例,2.7】,（,1,）信源一：,H(X,1,)=-0.99 log 0.99,0.01 log 0.01=0.08,（比特,/,符号）,（,2,）信源二：,H(X,2,)=-0.5 log 0.5-0.5 log 0.5=1,（比特,/,符号）,（,3,）信源三,:,H(X,3,)=-4,0.25 log 0.25=log4=2,（比特,/,符号）,（,4,）信源四,：,H(X,4,)=-0 log 0 1 log 1=0,计算结果说明确定事件的熵为零,以上四个信源熵的大小关系正好是：,总括起来，信源熵有三种物理意义：,信息熵的性质：,1,、非负性:,信息熵的非负性即为,2,、对称性:,当信源含有,个离散消息时，信源熵,，其中,，,熵的对称性是指,的顺序任意互换时，只是求和顺序不同，熵的值不变。,例如，有三个不同信源的信源空间分别为：,由于这三个信源的概率空间的总体结构相同，他们的信息熵相等，即有,=,=,比特,/,信源符号,3,、确定性,若信源,的概率空间中只要有一个,等于,1,时，,其它所有概率分量均等于零，则信源,的信息熵一,定等于,0,。,即,4、扩展性：,若信源,中有,个事件，而另一个信源,中有,个事件，信源,和,的差别知识多了一个概率接近,于零的事件，其他的概率分布相同，则这两个信源,的熵值相同。即,，它对其他概率分布,6,、,极值性：,5,、,可加性：设有两个信源,X,和,Y,它们不是相互独立的，则二维随机变量,（,X,Y),的熵等于,X,的无条件熵加上当,X,已给定时,Y,的条件概率定义的熵统计平均值，即,对任意两个消息数相同的信源,X,、,Y,，有,其中,。,任一概率分布,的自信息,取数学期望时，必大于,本身的熵。,7,、,最大熵定理：,8、,上凸性：,在离散的情况下，集合,X,中的各事件等概率发生时，熵达到最大值，即,是概率分布,的严格上凸函数，即,条件熵,2.,2,.,2,从通信角度来看，若将,视为信源,视为信宿接收符号，,可看作信宿收到,后，关于发送的符号是否为,仍然存在的疑义度（不确定性），那信宿收到,Y,后,，信源,X,仍然存在不确定度，就用条件熵度量。,输出符号，,定义2.,7,联合集,XY,上，条件自信息量,I(y|x),的概率加权平均值定义为条件熵,。,即,说明：,1,、当,X,Y,统计独立时，有,则,2,、当,，,信源事件,和信宿,是一一对应的关系，,中的某个元素,后，关于发送的符,中的某个元素,不再存在疑义度（不,信宿收到,Y,号是否为,X,确定性）。,3,、当,，,信源事件,和信宿,是一一对应的关系，,中的某个元素,后，关于发送的符,中的某个元素,不再存在疑义度（不,信宿收到,X,号是否为,Y,确定性）。,4,、,下面的推导可以说明条件熵时要用联合概率加权的理由。,条件概率,并且,当已知特定事件,y,j,出现时，下一个出现的是,x,i,的不确定性为：,对集合,X,中所有元素统计平均，其熵为：,上述熵值再对集合,Y,中的元素做统计平均，得条件熵：,同理可得：,5,、条件熵是一个确定值，表示信宿在收到,Y,后，信源,X,仍然存在的不确定度。这是传输失真所造成的。有时称,H(X/Y),为信道疑义度，也称损失熵。称条件熵,H(Y/X),为噪