第二章基本信息论1_信源不确定性

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第,2,章 基本信息论,本章学习内容,信源不确定度和信息度量，离散信源的熵及其性质，加权熵,平均互信息量的定义、计算方法、物理意义和性质,二元联合信源的共熵、条件熵及两者之间的关系，平稳信源的信源熵和极限熵,马尔可夫信源的概念及其信源熵的计算,信源冗余度的定义,连续信源的相对熵，三种连续信源的最大熵，熵功率,信息速率和信道容量的概念，离散有噪信道的熵速率，可疑度的物理解释，连续有噪信道的信道容量,三种多用户信道模型及其信道容量,信源编码原理，等长编码和变长编码,常用的信源编码：山农费诺编码、哈夫曼编码和,L-D,编码,本章作业,P113：,1-9，11，15，17，20，21,2.1,信源及信源的不确定性,实际有用的信源应具有不确定性,信源的不确定性：信宿对信源某时刻发送哪个消息不能确定。,例,1,某二元信源发送,1,的概率为,0.99,，而发送,0,的概率为,0.01,。,猜错率：,1%,，信源的不确定性很小。,例,2,二元信源发,1,和发,0,的概率相等，均为,0.5,。,猜错率：,50%,，信源发什么消息相当不确定。,例,3,如果信源具有更多的消息，例如发,10,个阿拉伯数字,0,，,19,，而且假定这,10,个消息是等概率分布的，均为十分之一。,猜错率更大，信源发什么消息更不确定了。,例,4,若信源只发送一种消息，即永远只发送,1,或者永远只发送,0,。,猜错率：,0,，信源的不确定性为零。,一、不确定性的概念,对于信源,X,，,其概率空间为：,信源不确定度：,0=,例,4,例,1,例,2,例,3,信源的不确定程度与其概率空间的消息数及其概率分布有关,信源的消息为等概率分布时，不确定度最大,信源的消息为等概率分布且其数目越多，其不确定度也越大,只发送一个确定的消息的信源，其不确定度为零,二、信源不确定度的定义,Hartley,定义了信源不确定度：概率空间的概率的倒数的对数。,等概率分布时，信源的平均不确定度：,不等概率分布时，信源的非平均不确定度：,表示事件发生前，某事件 发生的不确定性。,某事件必然发生，不确定性为零,某事件几乎不发生，不确定性趋向无穷大,发生概率小的事件不确定性大，,发生概率大的事件不确定性小,4,）两个独立事件的联合信息量应等于它们分别信息量之和,三、信息度量,也表示通信发生前，信源发送消息 的不确定度。,即信源的非平均不确定度,表示信源发出一个消息 所含有（或所提供）的非平均自信息量,信源消息 的,自信息量,：,条件自信息量,信宿接收到消息 后，对信源发送消息 尚存的不确定度。,从信宿端看，信息量的定义：,I,（,信息量）,=,不肯定程度的减少量,即信宿收到消息后获得的信息量,=,收到消息前后对信源不肯定程度的减少量,交互信息量,信宿收到消息,y,j,后所获得的关于,x,i,的信息量,=,收到消息,y,j,后关于,x,i,的不确定性减少的程度,=,关于,x,i,的先验不确定度,收到消息,y,j,后对,x,i,尚存的不确定度,信息量的单位量纲,取,2,为底：比特（,bit,）,取,e,为底：奈特（,nat,）,取,10,为底：哈特莱（,Hartley,）,四、离散信源的熵,离散信源：仅输出有限个消息的信源,离散信源的熵,：,物理意义：,-,概率空间中每个事件（消息）所含有的自信息量的数学期望,-,信源的平均不确定度（输出消息前）,信源输出一个消息所提供的平均信息量（输出消息后）,若信源的,N,个消息等概率分布：,p=,1,/,N,，,则信源熵：,条件熵,-,联合概率空间,XY,上的条件自信息量的数学期望,-,信宿收到消息集,Y,后对信源,X,尚存的平均不确定度,例,一个口袋内有,100,个球，其中,90,个红球，,10,个黄球，每次摸出一个球然后放回，求：,1,）摸到一个红球获得的信息量；,2,）摸到一个黄球获得的信息量；,3,）摸一次球获得的平均信息量。,解：信源的概率空间：,1,）摸到一个红球获得的信息量：,2,）摸到一个黄球获得的信息量：,3,）摸一个球获得的平均信息量：,例,计算分析某二元数字通信系统中输出,1,，,0,两个消息的信源的信源熵。,解：,1,）如果信源消息等概率,p,(0)=,p,(1)=0.5,，,则：,2,）如果,p,(0)=1,，,p,(1)=0,，,则：,3,）如果,p,(0)=0,，,p,(1)=1,，,则：,p,(0)=1-,p,(1),1,1,0,0.5,0.5,H,(,X,),例,计算能输出,26,个英文字母的信源的信源熵。假设各字母等概率分布，且互相独立。,解：,五、熵函数,H,(,X,),的性质,1,、非负性,2,、确定性,3,、熵函数,H,(,X,),是,p,(,x,),的连续函数,只要有一个消息出现的概率为,1,，则信源的不确定度为,0,，信源熵为,0,。,4,、,熵函数,H,(,X,),具有极值性,最,大离散熵定理,设信源,X,中包含,n,个不同离散消息，对信源熵,H,(,X,),，,有：,当且仅当信源,X,中各消息为等概率分布时，上式取等号。,证明：自然对数具有性质：,当且仅当,x,=1,时，上式取等号,5,、当,p,(,x,),为等概率，且,p,(,x,)=1/,n,，,则熵函数,H,(,X,),为,n,的单调增函数,6,、条件熵小于等于无条件熵,已知,Y,时（即完成通信），对,X,的不确定度,对,Y,一无所知时（即通信前），对,X,的不确定度,证明：,7,、对称性,8,、扩展性,9,、可加性,统计独立的两信源联合熵：,相互关联的两信源联合熵：,10,、上凸性：,熵函数存在极大值,六、加权熵的概念,相应地再构建一个信源的权重空间,对于信源,X,，,其概率空间为：,信源,X,的加权熵：,