第二章 信息量

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,信息论基础 李富年 武汉科技大学,第二章 信息量,信源的数学模型与分类,离散信源和信息测度,信息熵及其性质,离散无记忆信源的信息熵,马尔可夫信源,信源数学模型与分类,信源研究的方法：,结论：对信源的研究，就是对信源发出消息的研究,内在性质外在形式,信源的性质发出的消息,人的性格品质言行举止,信息是抽象的，而消息是具体的。,消息是信息的携带者。,信源数学模型与分类,信源的分类：,主要根据输出,消息的随机性质,进行分类。,离散,连续,信源,(,根据输出消息的取值范围,),单符号,多符号,信源,（根据输出消息的数目）,信源数学模型与分类,信源的分类：,如果输出是,一个符号，随机变量,离散单符号信源：消息取值的数目有限,.,例：掷一个骰子,连续单符号信源：消息取值的数目无限,.,例：某一时刻的温度,信源数学模型与分类,信源的分类：,如果输出是,一串符号，随机序列,例：连续两次掷骰子的点数对,某天的早中晚温度变化情况,信源的分类：,输出的消息在时间上和取值上都是连续的，如语音信号、电视图像信号，称为波形信源。这种信源只能用,随机过程,来表示。,信源数学模型与分类,信源的数学模型：,信源发出消息具有随机性,在信源发出消息之前，消息是不确定的,用,随机量,表示信源发出的消息，随机量可以是,随机变量、随机序列、随机过程。,信源数学模型与分类,为了表示一个随机量，用随机量的的样本空间及其概率空间来描述,可能输出的所有消息,各种消息的可能性,结论：信源的数学模型，就是消息的概率空间,消息的概率空间,信源的数学模型：,信源数学模型与分类,例,掷一个六面均匀的骰子，每次出现朝上一面的点数是随机的，以朝上一面的点数作为随机实验的结果，并把实验结果看作一个信源的输出，试建立数学模型。,A,：,1,，,2,，,3,，,4,，,5,，,6,状态空间,离散随机变量,X,P,：,p,(,X,=1)=1/6,，,p,(,X,=2)=1/6,，,，,p,(X=6)= 1/6,概率空间,信源的数学模型：,X,P,=,X,：,1 2 3 4 5 6,P,(,X,),：,1/6 1/6 1/6 1/6 1/6 1/6,信源空间,信源数学模型与分类,信源数学模型与分类,说明：,不同的信源，对应与不同的数学模型。即不同的信源概率空间。,用概率空间来表示信源的数学模型，有一个必要的前提，这就是信源可能发出的各种不同符号的概率必须是先验可知的，或是事先可测定的。这是香农信息论的一个基本假说。,信息量自信息量,定义：某一信源发出某一消息，所携带的信息大小。简称自信息或信息量,信息量单位：,比特（,2,为底）；,比特,/,符号,奈特（,e,为底）；奈特,/,符号,哈特（,10,为底）； 哈特,/,符号,注：一般使用比特为单位，底数,2,可以省略不写,信息量自信息量,例：一条电线上串联了,8,只灯泡，这个,8,只灯泡损坏的概率是相同的，现有且只有一只灯泡损坏，造成串联的灯泡都不亮，需要用电压表测量来判断哪一只灯泡损坏，需要测量多少次？,第一次,第二次,第三次,信息量自信息量,在测量以前,:,8,个灯泡都有可能，不确定性相对非常大；,第一次测量后,:,定位到前,4,个灯泡中有一个出了问题，不确定性降低了一些；,第二次测量后,:,定位到前两个灯泡其中一个灯泡出了问题，不确定性进一步降低；,第三次测量后,:,完全清楚了哪一只灯泡有问题，不确定性完全消除。,信息量自信息量,结论：获得信息量的过程，实际上就是减少或,消除不确定性的过程,收到消息获得的信息量,不确定性减少的量,收到消息前不确定性收到消息后不确定性,信息量自信息量,现在定量研究信息量的大小。因为信息量大小与概率有关，所以可以设,从定性的角度分析了信息量的大小是由事件发生的概率所决定的，概率大的事件信息量小；概率小的事件信息量大。,信息量自信息量,递减性：,如,果,极值性：,可加性：独立事件的联合信息量是两两信息,量之和，即如果 和 相互独立，则,，则,信息量自信息量,最后得出信息量的函数为：,信息量自信息量,小技巧：计算器使用方法，如,A,事件发生的概,率是,1/3,，信息量为：,信息量自信息量,不确定性减少的量,第一次测量前，,8,个里面选一个，不确定性是，,第一次测量后，,4,个里面选一个，不确定性为,获得的信息量为,1bit,计算上例中每次测量所获取的信息量,信息量自信息量,同理第二次测量前不确定性是,2bit,，测量后不确定性是,1bit,，获得的信息量是,1bit,；,第三次测量前不确定性为,1bit,，测量后不确定性完全消失，为,0,，获得的信息量为,1bit,。,信息量自信息量,例：美国大选，小布什支持率,60,，戈尔支持率,40,。,（,1,）询问,1,个美国人，其支持小布什，问从中获得的信息量。,（,2,）询问,30,个美国人，,10,人支持小布什，,20,人支持戈尔，问从中获得的信息量。,构造信源的概率空间,问一个人，如果回答支持小布什，获得的信息量是 ；如果回答支持戈尔， 获得的信息量是,30,个人中，每个人的回答都不受其他人回答的影响，因此都是相互独立。利用信息量的可加性,信息量自信息量,条件自信息量和联合自信息量,自信息量是针对一维空间的，即发生一个随机事件的信息量。还有很多是多个随机事件一起发生，并且之间存在相关性，因此存在多维自信息量,条件自信息量和联合自信息量,条件自信息量,：在已知事件 的条件下，事件 发生的概率为条件概率 ，那么条件自信息量定义为,联合自信息量,：事件 ， 同时发生的概率,是 ，那么联合自信息量为,条件自信息量和联合自信息量,例：某住宅区共建有若干栋商品房，每栋有,5,个单元，每单元有,12,户，甲要到该住宅区找他的朋友乙，若：,甲只知道乙住在第五栋，他一次找到乙的概率有多大？他能得到多少信息量？,甲除了知道乙住在第五栋外，还知道乙住在,3,单元，他一次找到乙的概率有多大？他能得到多少信息量？,条件自信息量和联合自信息量,解：住在某一单元的概率是：,知道单元，住在某一户的条件概率为,既不知道单元，也不知道哪一户，一次能够到,朋友家的概率为,知道是哪个单元，不知道是哪一户，一次能到,朋友家的概率为,信息熵及其性质,信息量是指某一个信源发出某一消息（事件）的消息大小，信源可以发出的消息有很多，发出的消息不同，所携带的信息量也不同，如：,发出的消息有,4,个：晴、多云、阴、雨。发出晴时，信息量是,1bit,，发多云时信息量是,2bit,，发阴或雨时信息量是,3bit,，发出的消息不一样，所携带的信息量也不一样。,信息熵的定义,研究,整个信源的信息测度,，即把信源作为一个整体，研究信源每发出一个消息，平均能够携带多少信息量，即求信息量的统计平均。,求统计平均就是求“数学期望”，公式是：,信息熵的定义,现在知道每个消息发出后携带的信息量，也知道每个消息发出的概率，因此很容易求出信源的平均信息量：,这个平均信息量就是信源的熵。熵的单位是,bit/,符号,，表示平均每一个信源符号携带了多少,bit,的信息量 。,信息熵的定义,由于,规定,分子分母都为无穷大时，用到了无穷大量的,比较，对分母分子同时求导数,信息熵,例：计算,英文信源,的信息熵（不考虑标点）,英文信源,X,的信源空间：,状态空间：,X=A,，,B,，,C,，,Z ,空格,等概率出现,信息熵,字母,空格,E,T,O,A,N,I,R,S,概率,0.1956,0.105,0.072,0.0654,0.063,0.059,0.055,0.054,0.052,字母,H,D,L,C,F,U,M,P,Y,概率,0.047,0.035,0.029,0.023,0.0225,0.0225,0.021,0.0175,0.012,字母,W,G,B,V,K,X,J,Q,Z,概率,0.012,0.011,0.0105,0.008,0.003,0.002,0.001,0.001,0.001,信息熵,【,课堂练习,】,掷一均匀硬币直到出现“正面,”,为止。令,X,表示表示所需掷的次数，求随机变量,X,的信息熵,H(X),信息熵,【,课堂作业,】,关键,构造信源的信源空间。,状态空间：,X,：,1,2,3,概率空间：,掷一次硬币出现“正面”的概率,PX=1=2,-1,信息熵,掷两次硬币出现“正面,”,的概率,PX=2=,第一次出现“反面”, ,第二次出现“正面”,=2,-1 .,2,-1=,2,-2,掷,n,次硬币出现“正面”的概率,PX=2=,第一次出现“反面”,第,n-1,次出现“正面”,.,第,n,次出现“正面”,=2,-(n-1) .,2,-1=,2,-n,信息熵,由此可以得到信源,X,的信源空间：,信息熵的意义,例：布袋中,80,个红球，,20,个白球。摸一个，放回去再摸，摸了,n,次,(,),求每次摸到球的平均信息量。,1,、信源输出的每个符号所携带的平均信息量,信息熵的意义,信源概率空间是,摸一个，放回去再摸，摸了,n,次， ，,共,摸了,0.8n,次红球，,0.2n,次白球,总的信息量是：,平均到每一次的信息量为,信息熵的意义,2,、表示信源的随机性，熵越大，说明信源的随机性越大。,熵表示的是不确定性的大小，也是随机性的大小。熵越大，随机性也就越大。,信息熵的意义,下面三个信源,信息熵的意义,前者两个输出的两个消息，发生的概率是,一样的，所以在信源发出消息之前，较难判断,出发出的什么消息，不确定性大，随机性就,大；,而第三个信源中，一个消息有,99,可能性发,生，另一个消息只有,1,可能发生，因此在信源,发出消息前，很容易判断出发的是第一个消,息，不确定性较小，随机性也较小。,信息熵的意义,三个信源的信息熵分别为：,这样也就验证了随机性越大，熵越大的性质,熵的性质矢量形式,参数是,q,个消息发生的概率，即消息的概率分布。因此我们可以表示成矢量形式,本质上都是一样的， 表示的熵对信源的表述更直观，描述了信源的概率分布，如,熵的性质,非负性,对称性,确定性,扩展性,可加性,递增性,凸状性,极值性,熵的性质非负性,H,(,X,)=,H,(,p,1,，,p,2,，,，,p,r,) 0,熵的性质非负性,物理意义：,从总体上看，一般情况下，信源在没有发出符号之前，总存在一定的不确定性；在发出符号以后，总可以提供一定的信息量。,熵的性质对称性,证明过程很简单：,熵的性质对称性,熵的性质对称性,物理意义：,信源的信息熵只与概率空间的总体结,构，即与信源的,总体统计特性,有关，与各概,率分量和各信源符号的对应关系，乃至各信,源符号本身无关。它是信源的,总体,的信息测,度。,熵的性质确定性,物理含义： 确知信源，在发送符号前，不存在不确定性；在发符号后，不提供任何信息量。,熵的性质扩展性,证明：求和式的前几项都是一样的，只看最后两项展开,熵的性质扩展性,这个结果表明，信源空间中增加某些概率很,小（接近于零）的符号，虽然当信源发出这些,符号时，提供很大的信息量，但终因其概率接,近于零，在信源熵中占有很小的比重，以至可,使总的信源熵值维持不变。这一性质充分体现,了,熵是信源总体平均信息量的特性,。,熵的性质强可加性,例：每一天的天气情况和当天的温度之间有一定的,关系。设当天的天气情况为信源,X,当天的气温为信源,Y,，显然,Y,与,X,之间存在较强的相关性，我们设这种相关性为：,问题,1:,已知天气情况，当天平均温度情况如何？,问题,2:,该地方平均天气，温度情况？,联合熵,联合随机变量,XY,的熵称为,联合熵,。,条件熵,条件熵,其中：,H(X|Y=y,j,),表示收到符号,y,j,后有关,X,的平均不确定性。,H(X|Y),表示收到信道所有输出后，有关,X,的后验平均不确定性。,熵的性质强可加性,两个,相互关联,的信源,X,、,Y,，,相互关联：,在信源,X,发某一符号,a,i,的前提下，,信源,Y,按一定的概率发某一符号,b,j,联合熵,H(XY),和条件熵,H(X|Y),之间的关系？,XY,信源有,nm,个消息,熵的性质强可加性,即联合信源（,XY,）的概率空间是完备集。,对信源（,XY,）来说，其熵值,熵的性质强可加性,熵的性质强可加性,H(XY)=H(X)+H(Y/X),H(XY)=H(Y)+H(X/Y),熵的性质强可加性,XY,的联合熵等于,X,的先验熵加上已知,X,条件下,Y,的条件熵；也等于,Y,的先验熵加上已知,Y,条件下,X,的条件熵,熵的性质可加性,当信源,X,和,Y,之间统计独立，即,条件熵小于无条件熵,从概念上说，已知,Y,时,X,的不确定度应小于对,Y,一无所知时,X,的不确定度。这是因为已知,Y,后，从,Y,得到了一些关于,X,的信息，从而使,X,的不确定度下降。,推论,条件多的熵小于条件少的熵,平均互信息量,定义：,平均互信息量,互信息,I(X;Y),是,X,的熵与已知,Y,的条件下,X,的条件熵之差。可以认为，,X,是系统的输入，,Y,为系统的输出，那么由输出端已知,Y,的情况下，使,X,的不肯定性减小了。也就是通过,Y,获得了信息量，即通过,Y,获得了关于,X,的信息量，当然没有输入也就没有输出。,各种熵和平均互信息量的关系,熵的性质递增性,H,的下标表示的是信源可能发出消息的数目,熵的性质递增性,原信源中的有一个消息被分成了多个消息，这多个消息的概率之和等于原消息的概率，则这个新信源的熵增加了。,理解：原来有,2,种选择，现在是,3,种选择，不确定性（随机性）肯定增大。,熵的性质递增性,举例：世界杯冠军归属，在决赛前,在第二场半决赛前,直观上理解：争夺冠军的球队增加了，不确,定性就增大了，熵也就大了,熵的性质递增性,例,.,运用熵的递增性，计算,解：,熵的性质凸状性,是上凸函数。,熵的性质凸状性,二元信源,熵的性质凸状性,三元信源,熵的性质极值性,又称最大离散熵定理。,信源发出消息的概率分布越平均，信源的熵,就越大。当消息是等概率分布时，信源的不,确定最大，信源的熵达到最大值。,熵的性质极值性,信息论不等式,熵的性质极值性,香农不等式,离散无记忆扩展信源,之前研究的是单符号信源，用,随机变量,表示。现在研究输出是多符号序列的信源，用,随机序列,表示。,其中每一个分量 都是一个随机变量,例：掷,N,次骰子的结果,离散无记忆扩展信源,我们研究输出是符号序列的信源中的一个特列离散无记忆扩展信源,【,定义,】,在离散序列 中,(1),每个分量相互独立，即,(2),各分量满足相同的概率空间,则称这个序列描述的信源是离散无记忆展信源,离散无记忆扩展信源,例子：掷,N,次骰子的结果，构成序列,其中 代表每一次掷骰子的,结果。,根据经验，每一次掷骰子的结果都是相互独立的，与其它次掷骰子的结果没有关联；另外，每一次掷骰子的结果满足相同的概率分布，都是,1,6,等概率分布，这样就满足了离散无记忆信源的两个条件,离散无记忆扩展信源数学表示,每一个分量可以表示成随机变量 ，满足概率空间,N,次扩展信源可以表示成随机序列 ，概率空间为：,离散无记忆扩展信源数学表示,样本空间有 项，因为每个分量有,q,个样,本，一共有,N,个分量，组合起来就有 项,其中任何一个样本 ，,分别是 的取值，,取值范围是,离散无记忆扩展信源熵,根据分量 的数学模型，可以求出分量的,熵 ，要求,N,次扩展信源的熵,直观上分析，信源输出的随机序列，每个分,量相互独立，又满足相同的概率空间。这样，,这,N,个随机变量构成的序列可以分解成为,N,个相,同且相互独立的分量，序列中所携带的信息,量，实际上应该是平均分布在这,N,个分量上,的，因此应该有,离散无记忆扩展信源熵,证明：很简单，用到了熵的可加性。已,知 ， 间相互独立，,且 ，根据熵的,可加性有：,离散无记忆扩展信源熵,例：离散无记忆扩展信源中，每一个分量的概率空间为,验证,二次扩展信源的概率空间中,离散无记忆扩展信源熵,直接用熵的定义,离散平稳信源,离散无记忆扩展信源，是一种特殊的、最简单的离散平稳信源，序列中各分量之间相互独立。,一般的离散平稳信源，各分量之间是存在着相关性。,信源输出,0 1 1 0 1 1 1 0 1 0,信源输出,0 1 1 0 1 1 1 0 1 0,离散平稳信源,简单来说，随机序列的概率分布与时间推,移无关，则是离散平稳信源。,具体来说，对于随机序列 ，任取两个分量 、 ，,如果一维概率分布相同， ，一维平稳信源,除此之外，如果二维联合概率分布也相同， ，二维平稳信源,离散平稳信源的数学定义,除此之外，如果三维联合概率分布也相同， ，三维平稳信源,。,依次类推，可以得到四维、五维，直到,N,维平稳信源。如果各维的联合概率分布都相等，则称信源为完全平稳信源，简称平稳信源。,性质,当 ，平均符号熵,H,N,(,X,),和条件熵都趋近于离散平稳的极限熵,其中 称为离散平稳信源的极限熵，或熵率。,极限熵考虑了所有维的依赖关系，是最准确的,。,意义：当依赖关系无限长时，平均符号熵和,条件熵都趋近于平稳信源的极限熵,离散平稳信源的性质,马尔可夫信源研究意义,但在实际应用中,要测定无穷阶联合概率和条件概率分布是很困难的,所以想要计算无限记忆长度的极限熵也是非常困难的，但对一些特殊的信源,如马尔可夫,(Markov),信源,当,N,的取值不大时,其平均符号熵,H,N,(,X,),或条件熵,H,(,X,N,|X,1,X,2,X,N,- 1,),就非常接近于,H,因此,可用条件熵或平均符号熵作为极限熵的近似值,。,马尔可夫性,马尔可夫性（或称为,无后致性,或,无后效性,）：过程或系统在时刻,t,0,所处的状态为已知的条件下，过程在时刻,t t,0,所处状态的条件分布与过程在时刻,t,0,之前所处的状态无关。,也可以这样来叙述：过程的“现在”已经知道的条件下，其“将来”不依赖于“过去”。,具有马尔可夫性的随机过程称为马尔可夫过程。,事件和状态都是离散的,马尔可夫过程称为马尔可夫链，简称为马氏链。,马尔可夫链,设随机序列,X,n ,n,T,为一马尔可夫过程。,T=0,，,1,，,2,，,.,为离散时间参数集合，,S,为,X,n,可能取值的全体组成的状态空间集,S=S,1,，,S,2,.S,j,满足：,则称随机过程,X,n,为一个马尔可夫链。,马尔可夫链的应用,马尔可夫链通常用来建模,排队理论,和统计,学中的建模，还可作为信号模型用于熵编码，,如算法编码。马尔可夫链也有众多的生物学,应用，特别是人口过程，可以帮助模拟生物人,口过程的建模。,马尔可夫链的性质,马氏链在时刻,m,的,k,步,转移概率,定义为：在某时刻,m,，随机变量序列,X(m),取值,i,（处于,i,状态）的条件下，经过,k,个单位时间（或经过,k,步），在（,m+k,）时刻，,X(m+k),取值,j,（处于,j,状态）的条件概率,.,称为时刻,m,的,k,步转移概率,.,转移概率不依赖与,m,无关时，称为齐次马尔可夫链。,马尔可夫链的性质,(,续,),设,P,表示一步转移概率,P,ij,所组成的矩阵，且状态空间为,I=1,，,2,，,称为系统状态的一步转移概率矩阵。,马尔可夫链的性质,(,续,),C-K,方程,C-K,方程,由,C-K,方程，当马尔可夫链为齐次时，其,n,维分布和一维分布为：,任一马尔可夫链的有限维分布均可由其初始分布及一步转移概率给出。,C-K,方程,由,C-K,方程，当马尔可夫链为齐次时，其,n,步转移概率矩阵满足,例：天气预报问题,设任意相继的两天中，雨天转晴天的概率为,1/3,，晴天转雨天的概率为,1/2,，任一天晴或雨是互为逆事件。又已知,5,月,1,日为晴天，问,5,月,3,日为晴天，,5,月,5,日为雨天的概率各等于多少？,马尔可夫链的性质,(,续,),解：,关键问题如何确定和划分系统存在的状态数,马尔可夫链的性质,(,续,),以,0,表示晴天状态，以,1,表示雨天状态，,于是天气预报模型可以看作是一个,两状态,的马尔可夫链。,按照,每天的天气状况,划分系统状态。,则其一步转移概率为：,马尔可夫链的性质,(,续,),马尔可夫链的性质,(,续,),则其一步转移概率矩阵为：,则其两步转移概率矩阵为：,故,5,月,1,日为晴天，,5,月,3,日为晴天的概率为：,马尔可夫链的性质,(,续,),则其四步转移概率矩阵为：,故,5,月,1,日为晴天，,5,月,5,日为晴天的概率为：,马尔可夫链的性质,(,续,),马尔可夫信源基本概念,【,定义,】,如果信源的输出序列,X,k,和信源所处的状态,S,k,满足以下两个条件，该信源为马尔可夫信源。,2,、,信源时刻所处的状态由前一时刻所处的状态，和前一时刻输出的符号唯一确定。,1,、,某时刻信源输出的符号只与信源所处的状态相关，与以前的状态及以前的输出无关,。,马尔可夫信源基本概念,第一个条件表明：信源的输出只与信源当前所处的状态有关，而与其他因素无关。,第二个条件表明：在特定的状态下，发出特定的符号后，信源状态发生跳变，且必定,100,跳变到一个特定的状态。,马尔可夫信源随着时间的变化，由一个状态转移到另一个状态，通常用状态图来描述。所谓状态图，就是将每个状态用一个圆圈和所对应的状态表示。从一个状态转移到另一个状态用带箭头的圆弧线表示,香农线图,马尔可夫信源状态转移图,描述马尔可夫信源，我们可以用马尔可夫链,的状态转移图,(,香农线图,),1,、把每个可能出现的状态用一个圆圈表示；,2,、圆圈之间用有向线段连接，表示状态的迁,移；,3,、在有向线段旁边，注明发出的符号 及在,状态 下发出 的条件概率,.,马尔可夫信源状态转移图,例：设信源描述的是一个信源符号表为,0,，,1,的简单马尔可夫信源，其条件概率为：,马尔可夫信源状态转移图,m,阶马尔可夫信源,m,阶马尔可夫信源，在任何时刻,i,，输出分量,的概率分布只与前面,m,个分量的输出有关，,我们可以把前面,m,个分量组成的序列做为,i,时,刻信源所处的状态,如果信源的符号集是,则信源的状态共有个,信源输出消息后，其系统所处的状态与符号,序列有关。,m,阶马尔可夫信源,举例：二元二阶马尔可夫信源。,二元,指信源可能的输出有,2,种取值，如,0,，,1,；,二阶,是说信源输出与前两个分量有关,这样的马尔可夫信源共有个 状态，,是前两个分量可能取值的排列组合。,m,阶马尔可夫信源,对于,m,阶马尔可夫信源，状态的定义已经给,出，状态转移图也可以很容易的画出。,例：二元二阶马尔可夫信源，样本空间为,(0, 1),，条件概率为：,要求画出状态转移图。,m,阶马尔可夫信源,马尔可夫信源状态转移图,马尔可夫信源的性质,马尔可夫信源的性质取决于状态转移的情况。,信源输出,0 1 1 0 1 1 1 0 0 1,例：二元二阶马尔可夫信源,状态：,E1=00 E2=01 E3=11 E4=10,状态转移,E2,E3,E4,E2,E3,E3,E4,E1,E2,各态历经的马尔可夫信源,所谓,各态历经,(,遍历,),的马尔可夫信源，就是由任意状态出发能够转移到其它任意状态的马尔可夫信源 ，即系统状态可以,互通,。,各态历经的马尔可夫信源,【,定理,】,：对于有限平稳的马尔可夫信源，如,存在,一,个正整数 ， 对一切 都有,则对每个 都存在不依赖于,i,的极限。,即称这马尔可夫信源是,各态历经,的。式,(1),中的极限概,率是方程组,满足条件 的唯一解。,各态历经的马尔可夫信源,各态历经性的判别,：,一般而言，对于有限齐次马氏链来说，可以由给定的一步转移概率矩阵,P(1),得到,n,步转移概率矩阵,P(n),，如中没有“,0”,元素，则可判断它具有各态历经性。,状态极限概率的求解：,采用矩阵的形式表示状态极限概率,p,j,所应满足的方程：,各态历经的马尔可夫信源,其中，矩阵（,1,）和（,3,）是状态极限概率组成的概率矢量,行矩阵,的转置矩阵,P,T,；矩阵（,2,）是马尔可夫链的一步转移矩阵的,转置矩阵,P(1),T,各态历经的马尔可夫信源,例：质点在两个“反射壁”之间的随机游动。,各态历经的马尔可夫信源,可以把这种随机游动看作是一个有限平稳的马尔可夫信源,.,各态历经的马尔可夫信源,由于这是齐次马氏链，所以二步转移矩阵,由于二步转移概率矩阵中无零元素，所以系统具有各态历经性。,各态历经的马尔可夫信源,根据各态历经定理，现把写成矩阵形式,各态历经的马尔可夫信源,结果为：,各态历经的马尔可夫信源,例：质点在两个,”,吸收壁”之间的随机游动。,各态历经的马尔可夫信源,可以把这种随机游动看作是一个有限平稳的马尔可夫信源,.,各态历经的马尔可夫信源,其,n,步转移概率矩阵是,这说明，不存在正整数 ，能使 ，所以不具有各态历经性，即不存在状态极限概率 。,马尔可夫信源的熵,各态历经的马尔可夫信源的特征是在充分长的时间进行观测信源的状态转移情况，其状态的频度分布是一个平稳分布。因此，对于各态历经的马尔可夫信源。,长时间观测，是一个特定的输出序列，它有固定的统计特性。,马尔可夫信源的熵,信息熵：信源输出的每个符号所携带的平均信息量,.,信源的输出序列,马尔可夫信源的熵,m,阶马尔可夫信源熵：,其中，,q,j,表示为系统的平稳状态，,r,为状态的个数。,H(S|q,j,),为系统处于,q,j,状态下的信息熵。,对于一个实际的信源，如果长时间观测，其统计特性比较平稳，就可以看作是各态历经的马尔可夫信源。,马尔可夫信源熵,非常重要,。四个步骤：,画出状态转移图；,判断是否具有各态历经性，并求状态极限概率,(,平稳分布,),。,求在每个状态下，信源的信息熵；,求马尔可夫信源的熵,马尔可夫信源的熵,例：计算如下信源的信息熵,马尔可夫信源的熵,解：设,q,1,=11,，,q,2,=01,，,q,3,=10,，,q,4,=00,马尔可夫信源的熵,又根据各态历经定理，有,且有,求得：,马尔可夫信源的熵,在每个状态下信源的信息熵,:,因此得,课堂作业,设有一个马尔可夫信源，其初始概率分布为,且有,试计算：,写出该马尔可夫链的一步转移概率矩阵和,二步转移概率矩阵,求该马尔可夫链的平稳分布,求该马尔可夫信源的信息熵,课堂作业,1),由条件可得该马尔可夫链的一步转移概率矩阵为：,其二步转移概率矩阵为,P(2),且有,课堂作业,2),由于二步转移概率矩阵,P(2),中没有,“,0,”,元素，则,可判断它具有各态历经性,则存在平稳分布。设极限,状态为,q,1,=a,，,q,2,=b,，,q,3,=c,。根据各态历经定理，其,平稳分布,课堂作业,3,）根据马尔可夫信源的信息熵的定义为,则有,冗余度,冗余度亦称,多余度,或,剩余度,。它表示给定信源在实际发出消息时所包含的多余信息。如果一个消息所包含的符号比表达这个消息所需要的符号多的话，那么，这样的消息就存在多余度。,冗余度,设信源实际熵为与该信源最大熵之比为,E,称为,信息效率,(,或信息含量效率,),，表示不肯定性的程度,.,（,1-E,）表示肯定性的程度，因为肯定性不含有信息量，所以是冗余的，故定义,冗余度,例子：英文信源,其最大熵为（认为是等可能概率时熵为最大）,认为英语中的字母是离散无记忆的，算出英语中每个字母所携带的平均信息量,冗余度,但英语单词中的字母是有相关性的，比如,th-,，,in-,等，,前后两个字母,存在相关性，算得,若考虑更多的字母相关性（实测结果表明,8,个以上字母的相关性可以不考虑），估算此时的熵为,冗余度,这表明，在,100,页的英语中，如果只考虑字母间的相关时，只要,29,页就够了（字母大小不变）。,但语言是很复杂的，除了相关性以外，还要考虑英语构词法和语法规则等。因此，就语言而言，多余度不完全是多余的，只有考虑了句子的前后关联才能准确了解其含义。,数学模型,连续信源的信息量,连续信源的信息量,分层量化,连续,离散,连续信源的信息量,连续信源的信息量,连续信源的信息量,连续信源的信息量,确定值部分,无限大常数项,连续信源的信息量,连续信源的信息量,连续信源熵的定义：,（微分熵，相对熵）,连续分布的熵不一定存在；,如果存在，熵也不一定为正值；,连续分布的熵是用概率密度而不是用概率来表示的。,均匀分布的熵,正态分布的信息熵,正态分布的信息熵,信源的数学模型,离散信源,连续信源,离散多符号信源,离散单符号信源,离散无记忆扩展信源,马尔可夫信源,