信息论与编码第二版第2章课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,2.2 离散信源熵和互信息,2.2.1 自信息量,2.2.2 离散信源熵,要求：1.掌握自信息量、联合自信息量和条件自信息量的含义和计算方法；,2.掌握单符号熵、条件熵与联合熵的含义和计算方法。,2.2 离散信源熵和互信息2.2.1 自信息量要求：1.,1,信源发出某一符号 后，它提供多少信息量？这就是要解决信息的度量问题。,在通信的一般情况下，收信者所获取的信息量，在数量上等于通信前后,不确定性的消除,(减少)的量。,2.2.1 自信息量,信源发出某一符号,2,1.定义：任意随机事件的自信息量定义为该事件发生概率的对数的负值。,如：定义为具有概率为,p(x,i,),的符号,x,i,的自信息量为,I,(,x,i,)=-log,p,(,x,i,),说明：自信息量的单位与所用的对数的底数有关。,对数底数为2，信息量单位为比特（bit）；,对数底数为e，信息量单位为奈特（nat）；,对数底数为10，信息量单位为笛特（det）；,3个信息量单位之间的转化关系为：,1 nat=log,2,e=1.433 bit,1 det=log,2,10 =3.322 bit,1.定义：任意随机事件的自信息量定义为该事件发生概率的对数,3,2.,随机事件的不确定性,出现概率,大,的随机事件，包含的不确定性,小,，即自信息量,小,；,出现概率,小,的随机事件，包含的不确定性,大,，即自信息量,大,；,出现概率为,1,的随机事件，包含的不确定性为,0,，即自信息量为,0,；,2.随机事件的不确定性,4,3.不确定度与自信息量：,信源符号,自信息量,：,指某一符号出现后，提供给收信者的信息量；,信源符号,不确定度,：,它是信源符号固有的，不管符号是否发出，都存在不确定度。,信源符号,自信息量,与,信源符号,不确定度,在数量上相等，两者单位也相同。,3.不确定度与自信息量：,5,4.自信息量的特性：,，,，,非负性；,单调递减性；,可加性：,4.自信息量的特性：,6,5.联合自信息量与条件自信息量,当 和 相互独立时，有,于是有,若有两个符号 、同时出现，用联合概率,来表示，,联合自信息量,为,5.联合自信息量与条件自信息量当 和 相,7,条件自信息量,：,当 和 相互联系时，在事件 出现的条件下，的自信息量称为,条件自信息量,，定义为,为在事件 出现的条件下，发生的,条件概率。,条件自信息量：为在事件 出现的条件下，发生,8,例2-3：英文字母中“e”的出现概率为0.105，“o”的出现概率为0.001。分别计算它们的自信息量。,解：“e”的自信息量,I,(e)=-log,2,0.105=3.25bit;,“o”的自信息量,I,(o)=-log,2,0.001=9.97 bit;,例2-3：英文字母中“e”的出现概率为0.105，“o”的出,9,例:居住某地区的女孩中有25是大学生，在女大学生中有75身高为1.6m以上，而女孩中身高1.6m以上的占总数一半。假如得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？,解：设x,1,为女孩是大学生；x,2,为身高1.6m以上的女孩；,则p(x,1,)=1/4;p(x,2,)=1/2;,“女大学生中有75身高为1.6m以上”即,p(x,2,|x,1,)=3/4;,事件“身高1.6m以上的某女孩是大学生”出现的概率为,则信息量,例:居住某地区的女孩中有25是大学生，在女大学生中有75,10,2.2.2 离散信源熵,1.平均自信息量,对于一个给定信源，各个符号的自信息量是与各自的概率分布有关的一个随机变量，,不能,作为信源总体的信息量度，我们采用,求平均,的方法。定义自信息量的,数学期望,为,信源的平均自信息量,，即,单位,2.2.2 离散信源熵1.平均自信息量,11,2.信源熵（信源的平均不确定度）,信源熵,H(X),，表示,平均意义,上信源的,总体,特性，是在,总体平均意义上的信源不确定性,。,信源熵在数量上等于平均自信息量，,但两者的含义不同：,2.信源熵（信源的平均不确定度）,12,平均自信息量,：,消除信源不确定度时所需要的信息的量度，即收到一个信源符号，全部解除了这个符号的不确定度。或者说，获得这样大的信息量后，信源不确定度就被消除了。,信源平均不确定度,（,信源熵,）,：,在总体平均意义上的信源不确定度。不管是否输出符号，只要这些符号具有某种概率分布，就决定了信源的平均不确定度（,信源熵,）。,平均自信息量：消除信源不确定度时所需要的信息的量度，即收到,13,信息论与编码第二版第2章课件,14,例2-5 设信源符号集,X,x,1,x,2,x,3,每个符号发生的概率分别为,p,(,x,1,)=1/2，,p,(,x,2,)=1/4，,p,(,x,3,)=1/4，求信源熵,H,(,X,)。,解：,即该信源中平均每个符号所包含的信息量为1.5bit。,例2-5 设信源符号集Xx1,x2,x3,每个符号发生,15,例:已知某信源的概率空间为,求由该信源发出60个符号构成的消息所含的信息量。,解：先求平均每个符号的信息量，即信息熵,则消息所含的信息量为 60,H,(,X,)=114.3bit,例:已知某信源的概率空间为,16,3.联合熵和条件熵,（1）联合熵（共熵）,联合熵是联合符号集合（,X,Y,）的每个元素对,的自信息量的概率加权统计平均值，它表示,X,和,Y,同时发生的不确定度。定义为,3.联合熵和条件熵,17,信息论与编码第二版第2章课件,18,（2）条件熵,条件熵是在联合符号集合（,X,，,Y,）上的条件自信息量的联合概率加权统计平均值。,H,(,X,|,Y,)表示已知,Y,后，,X,的不确定度。,（2）条件熵,19,它表示信源,Y,发符号,y,j,的前提下，信源,X,每发一个符号提供的平均信息量。,当,X,和,Y,相互独立时，存在,既有,H,(,X,|,Y,)当,Y,取特定值,y,j,时，,X,集合的条件熵,H,(,X,|,y,j,)为,它表示信源Y发符号 yj 的前提下，信源X每发一,20,信息论与编码第二版第2章课件,21,例2-8 一个二进制信源X发出符号集0,1，经过离散无记忆信道传输，信道输出用Y表示。由于信道中存在噪声，接收端除收到0和1的符号外，还有不确定的符号，用“？”表示。已知X的先验概率为P(x=0)=2/3,P(x=1)=1/3,符号的转移概率为,P(y=0|x=0)=3/4,P(y=?|x=0)=1/4,P(y=1|x=1)=1/2,P(y=?|x=1)=1/2,其余为零。,求H(X),H(Y|X),H(X,Y),H(Y),H(X|Y)。,例2-8 一个二进制信源X发出符号集0,1，经过离散无,22,解,：,解：,23,信息论与编码第二版第2章课件,24,信息论与编码第二版第2章课件,25,例2-9.二进制通信系统使用符号0和1，事件u,0,表示发出符号“0”，事件u,1,表示发出符号“1”，事件v,0,表示收到符号“0”，事件v,1,表示收到符号“1”。已知概率,p,(u,0,)=1/2，,p,(v,0,|u,0,)=3/4，,p,(v,0,|u,1,)=1/2。,求:,已知发出u,0,，收到符号后获得的信息量；,已知发出符号，收到符号后获得的信息量；,已知发出和收到的符号，获得的信息量；,已知收到的符号，被告之发出符号，获得的信息量。,例2-9.二进制通信系统使用符号0和1，事件u0表示发出符,26,（1）已知发出一个0，求收到符号后得到的信息量；,（1）已知发出一个0，求收到符号后得到的信息量；,27,（2）已知发出的符号，求收到符号后得到的信息量；,（2）已知发出的符号，求收到符号后得到的信息量；,28,（3）已知发出和收到的符号，求能得到的信息量；,解法1：,解法2：,（3）已知发出和收到的符号，求能得到的信息量；解法2：,29,（4）已知收到的符号，求被告知发出的符号得到的信息量。,解法2：Bayes定理,解法1：,（4）已知收到的符号，求被告知发出的符号得到的信息量。解法2,30,课堂练习,1、掷两粒骰子，当点数之和为5时，该消息包含的信息量是_bit。,课堂练习1、掷两粒骰子，当点数之和为5时，该消息包含的信息量,31,课堂练习,3、从大量统计资料知道，女性色盲发病率为0.5%，如果你问一位女士：“你是否是色盲？”她的回答可能是“是”，可能是“否”，问,（1）这两个回答中各含多少信息量？,（2）平均每个回答中含有多少信息量？,解,：,课堂练习3、从大量统计资料知道，女性色盲发病率为0.5%，如,32,作业,教材39页,2-2,2-5,2-7,作业教材39页,33,