资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,/45,信息与,信息熵,Information and Entropy,信源的统计特性和数学模型,各类信源的信息测度,-,信息熵及其性质。,10/3/2024,1,信源的统计特性,在信息论中，确切地说信源是产生消息,(,符号,),、消息序列和连续消息的来源。从数学上看，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源。,其次，讨论信源的统计特性。客观信源的基本特性是具有随机不确定性。,10/3/2024,2,首先讨论离散单个消息,(,符号,),信源（,单符号离散信源,）,。它是最简单的也是最基本的信源，是组成实际信源的最基本单元。,其次，讨论实际信源。实际信源不可能仅发送单个消息,(,符号,),，对离散信源而言，发送的是一组消息,(,符号,),串，即一个随机序列（,多符号离散信源,）,；对连续信源而言则是一随机过程（,连续信源,）,。,信源的分类讨论,10/3/2024,3,在实际问题中，连续的模拟信源往往可以采用两种方法进行分析。,一类是将连续信源离散化为随机序列信源，再采用前面的随机序列信源进行分析；,另一类则是直接分析连续模拟信源，但是由于数学上的困难，只能分析单个连续消息变量的信源。,有,3,类最常用展开式：傅氏级数展开、取样函数展开及,K-L,展开。,10/3/2024,4,单符号离散信源数学模型,单符号离散信源的数学模型就是离散型的概率空间：,X,代表随机变量，指的是信源整体,x,i,代表随机事件的某一结果或信源的某个元素,p,(,x,i,)=,P,(,X,=,x,i,),，,表示随机事件,X,发生某一结果,x,i,的概率。,n,是有限正整数或可数无限大,10/3/2024,5,不确定性与发生概率,事件发生的概率越小，我们猜测它有没有发生的困难程度就越大，不确定性就越大。,概率等于,1,的必然事件，就不存在不确定性。,某事件发生所含有的信息量应该是该事件发生的,先验概率,的函数。,用,函数,f,p,(,x,i,),来,表示,信息量,与,先验概率,的关系，可以从数学上证明这种函数形式是对数形式。,10/3/2024,6,1928,年，信息论的先驱者之一哈特莱,(Hartley),首先研究了具有,N,m,个组合的单个消息信源。他对这类非概率,(,实际是等概率,),信源进行了研究，并给出了最早的信息度量公式,定义为可能消息量的对数,:,I,=log(1/p(x,i,)=,log,N,m,=,m,log,N,p,(,x,i,)=1/N,m,10/3/2024,7,用概率测度定义信息量：,设离散信源,X,，,其概率空间为,如果知道事件,x,i,已发生，则该事件所含有的自信息定义为,自信息,10/3/2024,8,自信息含义,当事件,x,i,发生以前：,表示事件,x,i,发生的不确定性。,当事件,x,i,发生以后：,表示事件,x,i,所含有（或所提供）的信息量。,在无噪信道中，事件,x,i,发生后，能正确无误地传输到收信者，所以,I,(,x,i,),可代表接收到消息,x,i,后所获得的信息量。这是因为消除了,I,(,x,i,),大小的不确定性，才获得这么大小的信息量。,10/3/2024,9,联合自信息量,信源模型为,其中,0,p,(,x,i,y,j,)1(,i,=1,2,n,;,j,=1,2,m,),则联合自信息量为,当,X,和,Y,相互独立时，,p,(,x,i,y,j,)=,p,(,x,i,),p,(,y,j,),两个随机事件相互独立时，同时发生得到的信息量，等于各自自信息量之和。,10/3/2024,10,条件自信息量,设,y,j,条件下，发生,x,i,的条件概率为,p,(,x,i,/,y,j,),，,那么它的条件自信息量,I,(,x,i,/,y,j,),定义为,自信息量、条件自信息量和联合自信息量之间的关系,10/3/2024,11,最简单的通信系统模型：,X,信源发出的离散消息集合；,Y,信宿收到的离散消息集合；,信源,X,、,信宿,Y,的数学模型为,互信息量和条件互信息量,P,(,y,j,|,x,k,),Y,X,10/3/2024,12,互信息量,(,mutual information),y,j,对,x,i,的互信息量定义为后验概率与先验概率比值的对数。,先验概率：,信源发出消息,x,i,的概率,p,(,x,i,),。,后验概率：,信宿收到,y,j,后推测信源发出,x,i,的概率,p,(,x,i,/,y,j,),。,转移概率：,信源发出,x,i,后信宿收到,y,j,的概率,p,(,y,j,/,x,i,),。,10/3/2024,13,条件互信息量,消息,x,i,与,消息对,y,j,z,k,之间的互信息量为,条件互信息量定义：,在给定,z,k,条件下，,x,i,与,y,j,之间的互信息量。,10/3/2024,14,信息熵,(,Entropy),平均信息量,平均信息量,信源熵：,自信息的数学期望。,信息熵的单位：,一般以,2,为底，其单位为,比特,/,符号,。,信息熵的意义：,信源的信息熵,H,是从,整个,信源的统计特性来考虑的。它是从,平均,意义上来表征信源的总体特性的。对于某特定的信源，不同的信源因统计特性不同，其熵也不同。,10/3/2024,15,信源熵的三种物理含义,信源熵有以下三种物理含义。,信源熵,H,(,X,),是表示信源输出后每个消息,/,符号,所提供的平均信息量；,信源熵,H,(,X,),是表示信源输出前，信源的平均不确定性；,用信源熵,H,(,X,),来表征变量,X,的随机性,(,如下例,),10/3/2024,16,举 例,有两个信源，其概率空间分别为,信息熵分别为,H,(,X,)=-0.99log0.99-0.01log0.01=0.08,比特,/,符号,H,(,Y,)=-0.5log0.5-0.5log0.5=1,比特,/,符号,可见,H,(,y,),H,(,x,),本例结论,信源,Y,的二个输出消息是等可能性的，所以事先猜测哪一个消息出现的不确定性要大；,信源,X,的二个输出消息不是等概率的，事先猜测,x,1,和,x,2,哪一个出现，虽然具有不确定性，但大致可以猜出,x,1,会出现，所以信源,X,的不确定性要小；,信息熵反映的就是信源输出前平均不确定程度的大小。,10/3/2024,17,条件熵,定义：,条件熵是在联合符号集合,XY,上的条件自信息的数学期望。,在已知,Y,时，,X,的条件熵为,已知,X,时，,Y,的条件熵为,条件熵是一个确定的值,H(X|Y)H(X);H(Y|X)H(Y),10/3/2024,18,熵的基本性质和定理,熵函数,H,(,X,),：,熵,H,是,p,(,x,1,),p,(,x,2,),p,(,x,n,),的,n,元函数,（实际上，因,p,(,x,i,)=1,，,独立变量只有,n,-1,个，,H,是,(,n,-1),元函数）,:,(1),非负性,(2),对称性,(3),最大离散熵定理,(4),扩展性,(5),确定性,(6),可加性,(7),极值性,(8),上凸性,10/3/2024,19,(1),非负性,H,(,X,)0,因为随机变量,X,的所有取值的概率分布满足,0,p,(,x,i,)1,；,当取对数的,底大于,1,时,log,p,(,x,i,)0,，而,-,p,(,x,i,),log,p,(,x,i,)0,，,所以熵,H,(,X,)0,；,10/3/2024,20,(2),对称性,定义：,当变量,p,(,x,1,),p,(,x,2,),p,(,x,n,),的顺序任意互换时，熵函数的值不变，即,含义：,该性质说明熵只与随机变量的,总体结构,有关，与信源的,总体统计特性,有关。如果某些信源的统计特性相同（含有的,符号数,和,概率分布,相同），那么这些信源的熵就相同。,10/3/2024,21,(3),最大离散熵定理,(,极值性,),定理：,离散无记忆信源输出,n,个不同的信息符号，当且仅当各个符号出现,概率相等,时,(,即,p,(,x,i,)=1/,n,),，,熵最大。,H,p,(,x,1,),p,(,x,2,),p,(,x,n,),H,(1/,n,1/,n,1/,n,)=log,2,n,出现任何符号的可能性相等时，不确定性最大。,10/3/2024,22,(4),扩展性,因为 所以上式成立。,本性质说明，信源的取值增多时，若这些取值对应的概率很小（接近于零），则信源的熵不变。,虽然概率很小的事件出现后，给予收信者较多的信息。但从总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它在熵的计算中占的比重很小。这也是熵的总体平均性的一种体现。,10/3/2024,23,(5),确定性,H,(1,0)=,H,(1,0,0)=,H,(1,0,0,0)=,H,(1,0,0)=0,10/3/2024,24,(6),可加性,H,(,XY,)=,H,(,X,)+,H,(,Y,/,X,),H,(,XY,)=,H,(,Y,)+,H,(,X,/,Y,),H,(,X,1,X,2,X,N-1,X,N,),=,H,(,X,1,)+,H,(,X,2,/,X,1,)+,H,(,X,3,/,X,1,X,2,)+,H,(,X,N,/,X,1,X,2,X,N-1,),H(X,1,X,N,)H(X,1,)+H(X,N,),10/3/2024,25,(7),极值性,/,香农辅助定理,对任意两个消息数相同的信源 有,上式含义：,任一概率分布,p,(,x,i,),，,它对其它概率分布,p,(,y,i,),的自信息 取数学期望时，必大于,p,(,x,i,),本身的熵。,10/3/2024,26,(8),上凸性,设有一个多元矢量函数,f,(,x,1,x,2,x,n,)=,f,(,X,),，,对任一小于,1,的正数,(0,1),及,f,的定义域中任意两个矢量,X,Y,，,若,f,X,+(1-,),Y,f,(,X,)+(1-,),f,(,Y,),，,则称,f,为严格上凸函数。,设,P,Q,为两组归一的概率矢量：,P,=,p,(,x,1,),p,(,x,2,),p,(,x,n,),，,Q,=,p,(,y,1,),p,(,y,2,),p,(,y,n,),0,p,(,x,i,)1,，,0,p,(,y,i,)1,，,有：,H,P,+(1-,),Q,H,(,P,)+(1-,),H,(,Q,),10/3/2024,27,平均互信息量,如果将信道的发送和接收端分别看成是,两个“信源”,，则两者之间的统计依赖关系，即信道输入和输出之间的,统计依赖关系,描述了,信道的特性,。,互信息量,I,(,x,i,;,y,j,),是是一个,随机变量,，不能从整体上作为信道中信息流通的测度。,10/3/2024,28,平均互信息量,平均互信息量定义：,互信息量,I,(,x,i,;,y,j,),在联合概率空间,P,(,XY,),中的统计平均值。,称,I,(,X,;,Y,),是,Y,对,X,的平均互信息量,（简称,平均互信息,/,交互熵,）,。,X,对,Y,的平均互信息定义为,平均互信息,I,(,X,;,Y,),克服了,互信息量,I,(,x,i,;,y,j,),的随机性，成为一个,确定的量,。,10/3/2024,29,平均互信息量的物理含义,观察者站在输出端,观察者站在输入端,观察者站在通信系统总体立场上,10/3/2024,30,观察者站在输出端,I,(,X,;,Y,),收到,Y,前、后关于,X,的不确定度减少的量。,从,Y,获得的关于,X,的平均信息量,。,10/3/2024,31,观察者站在输入端,I,(,Y,;,X,),发出,X,前、后关于,Y,的先验不确定度减少的量。,10/3/2024,32,观察者站在通信系统总体立场上,I,(,X,;,Y,),通信前、后整个系统不确定度减少量。在通信前把,X,和,Y,看成两个相互独立的随机变量，整个系统的先验不确定度为,X,和,Y,的熵值和,H,(,X,)+,H,(
展开阅读全文