资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,2.2 离散信源熵和互信息,2.2.1 自信息量,2.2.2 离散信源熵,要求:1.掌握自信息量、联合自信息量和条件自信息量的含义和计算方法;,2.掌握单符号熵、条件熵与联合熵的含义和计算方法。,2.2 离散信源熵和互信息2.2.1 自信息量要求:1.,1,信源发出某一符号 后,它提供多少信息量?这就是要解决信息的度量问题。,在通信的一般情况下,收信者所获取的信息量,在数量上等于通信前后,不确定性的消除,(减少)的量。,2.2.1 自信息量,信源发出某一符号,2,1.定义:任意随机事件的自信息量定义为该事件发生概率的对数的负值。,如:定义为具有概率为,p(x,i,),的符号,x,i,的自信息量为,I,(,x,i,)=-log,p,(,x,i,),说明:自信息量的单位与所用的对数的底数有关。,对数底数为2,信息量单位为比特(bit);,对数底数为e,信息量单位为奈特(nat);,对数底数为10,信息量单位为笛特(det);,3个信息量单位之间的转化关系为:,1 nat=log,2,e=1.433 bit,1 det=log,2,10 =3.322 bit,1.定义:任意随机事件的自信息量定义为该事件发生概率的对数,3,2.,随机事件的不确定性,出现概率,大,的随机事件,包含的不确定性,小,,即自信息量,小,;,出现概率,小,的随机事件,包含的不确定性,大,,即自信息量,大,;,出现概率为,1,的随机事件,包含的不确定性为,0,,即自信息量为,0,;,2.随机事件的不确定性,4,3.不确定度与自信息量:,信源符号,自信息量,:,指某一符号出现后,提供给收信者的信息量;,信源符号,不确定度,:,它是信源符号固有的,不管符号是否发出,都存在不确定度。,信源符号,自信息量,与,信源符号,不确定度,在数量上相等,两者单位也相同。,3.不确定度与自信息量:,5,4.自信息量的特性:,,,,,非负性;,单调递减性;,可加性:,4.自信息量的特性:,6,5.联合自信息量与条件自信息量,当 和 相互独立时,有,于是有,若有两个符号 、同时出现,用联合概率,来表示,,联合自信息量,为,5.联合自信息量与条件自信息量当 和 相,7,条件自信息量,:,当 和 相互联系时,在事件 出现的条件下,的自信息量称为,条件自信息量,,定义为,为在事件 出现的条件下,发生的,条件概率。,条件自信息量:为在事件 出现的条件下,发生,8,例2-3:英文字母中“e”的出现概率为0.105,“o”的出现概率为0.001。分别计算它们的自信息量。,解:“e”的自信息量,I,(e)=-log,2,0.105=3.25bit;,“o”的自信息量,I,(o)=-log,2,0.001=9.97 bit;,例2-3:英文字母中“e”的出现概率为0.105,“o”的出,9,例:居住某地区的女孩中有25是大学生,在女大学生中有75身高为1.6m以上,而女孩中身高1.6m以上的占总数一半。假如得知“身高1.6m以上的某女孩是大学生”的消息,问获得多少信息量?,解:设x,1,为女孩是大学生;x,2,为身高1.6m以上的女孩;,则p(x,1,)=1/4;p(x,2,)=1/2;,“女大学生中有75身高为1.6m以上”即,p(x,2,|x,1,)=3/4;,事件“身高1.6m以上的某女孩是大学生”出现的概率为,则信息量,例:居住某地区的女孩中有25是大学生,在女大学生中有75,10,2.2.2 离散信源熵,1.平均自信息量,对于一个给定信源,各个符号的自信息量是与各自的概率分布有关的一个随机变量,,不能,作为信源总体的信息量度,我们采用,求平均,的方法。定义自信息量的,数学期望,为,信源的平均自信息量,,即,单位,2.2.2 离散信源熵1.平均自信息量,11,2.信源熵(信源的平均不确定度),信源熵,H(X),,表示,平均意义,上信源的,总体,特性,是在,总体平均意义上的信源不确定性,。,信源熵在数量上等于平均自信息量,,但两者的含义不同:,2.信源熵(信源的平均不确定度),12,平均自信息量,:,消除信源不确定度时所需要的信息的量度,即收到一个信源符号,全部解除了这个符号的不确定度。或者说,获得这样大的信息量后,信源不确定度就被消除了。,信源平均不确定度,(,信源熵,),:,在总体平均意义上的信源不确定度。不管是否输出符号,只要这些符号具有某种概率分布,就决定了信源的平均不确定度(,信源熵,)。,平均自信息量:消除信源不确定度时所需要的信息的量度,即收到,13,信息论与编码第二版第2章课件,14,例2-5 设信源符号集,X,x,1,x,2,x,3,每个符号发生的概率分别为,p,(,x,1,)=1/2,,p,(,x,2,)=1/4,,p,(,x,3,)=1/4,求信源熵,H,(,X,)。,解:,即该信源中平均每个符号所包含的信息量为1.5bit。,例2-5 设信源符号集Xx1,x2,x3,每个符号发生,15,例:已知某信源的概率空间为,求由该信源发出60个符号构成的消息所含的信息量。,解:先求平均每个符号的信息量,即信息熵,则消息所含的信息量为 60,H,(,X,)=114.3bit,例:已知某信源的概率空间为,16,3.联合熵和条件熵,(1)联合熵(共熵),联合熵是联合符号集合(,X,Y,)的每个元素对,的自信息量的概率加权统计平均值,它表示,X,和,Y,同时发生的不确定度。定义为,3.联合熵和条件熵,17,信息论与编码第二版第2章课件,18,(2)条件熵,条件熵是在联合符号集合(,X,,,Y,)上的条件自信息量的联合概率加权统计平均值。,H,(,X,|,Y,)表示已知,Y,后,,X,的不确定度。,(2)条件熵,19,它表示信源,Y,发符号,y,j,的前提下,信源,X,每发一个符号提供的平均信息量。,当,X,和,Y,相互独立时,存在,既有,H,(,X,|,Y,)当,Y,取特定值,y,j,时,,X,集合的条件熵,H,(,X,|,y,j,)为,它表示信源Y发符号 yj 的前提下,信源X每发一,20,信息论与编码第二版第2章课件,21,例2-8 一个二进制信源X发出符号集0,1,经过离散无记忆信道传输,信道输出用Y表示。由于信道中存在噪声,接收端除收到0和1的符号外,还有不确定的符号,用“?”表示。已知X的先验概率为P(x=0)=2/3,P(x=1)=1/3,符号的转移概率为,P(y=0|x=0)=3/4,P(y=?|x=0)=1/4,P(y=1|x=1)=1/2,P(y=?|x=1)=1/2,其余为零。,求H(X),H(Y|X),H(X,Y),H(Y),H(X|Y)。,例2-8 一个二进制信源X发出符号集0,1,经过离散无,22,解,:,解:,23,信息论与编码第二版第2章课件,24,信息论与编码第二版第2章课件,25,例2-9.二进制通信系统使用符号0和1,事件u,0,表示发出符号“0”,事件u,1,表示发出符号“1”,事件v,0,表示收到符号“0”,事件v,1,表示收到符号“1”。已知概率,p,(u,0,)=1/2,,p,(v,0,|u,0,)=3/4,,p,(v,0,|u,1,)=1/2。,求:,已知发出u,0,,收到符号后获得的信息量;,已知发出符号,收到符号后获得的信息量;,已知发出和收到的符号,获得的信息量;,已知收到的符号,被告之发出符号,获得的信息量。,例2-9.二进制通信系统使用符号0和1,事件u0表示发出符,26,(1)已知发出一个0,求收到符号后得到的信息量;,(1)已知发出一个0,求收到符号后得到的信息量;,27,(2)已知发出的符号,求收到符号后得到的信息量;,(2)已知发出的符号,求收到符号后得到的信息量;,28,(3)已知发出和收到的符号,求能得到的信息量;,解法1:,解法2:,(3)已知发出和收到的符号,求能得到的信息量;解法2:,29,(4)已知收到的符号,求被告知发出的符号得到的信息量。,解法2:Bayes定理,解法1:,(4)已知收到的符号,求被告知发出的符号得到的信息量。解法2,30,课堂练习,1、掷两粒骰子,当点数之和为5时,该消息包含的信息量是_bit。,课堂练习1、掷两粒骰子,当点数之和为5时,该消息包含的信息量,31,课堂练习,3、从大量统计资料知道,女性色盲发病率为0.5%,如果你问一位女士:“你是否是色盲?”她的回答可能是“是”,可能是“否”,问,(1)这两个回答中各含多少信息量?,(2)平均每个回答中含有多少信息量?,解,:,课堂练习3、从大量统计资料知道,女性色盲发病率为0.5%,如,32,作业,教材39页,2-2,2-5,2-7,作业教材39页,33,
展开阅读全文