信息论与编码2-信源及信源熵

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,信息论与编码-信源及信源熵,第二章 信源与信源熵,信源的分类,离散信源的数学模型,离散信源的信息度量,1,信息论与编码-信源及信源熵,从这一章开始,我们从有效且可靠地传输信息的观点出发,对组成信息传输系统的各个部分分别进行讨论.,本章首先讨论信源,重点是信源的统计特性和数学模型,以及各类离散信源的信息测度熵及其性质.这部分内容是香农信息论的基础.,2,信息论与编码-信源及信源熵,（一）信源的分类,信源的分类方法依信源特性而定,一般按照信源发出的消息在时间上和幅度上的分布情况,把信源分为：,连续信源,：发出在时间上和幅度上都是连续分布的连续消息的信源；,离散信源,：发出在时间上和幅度上都是离散分布的信源,.,离散信源又可以细分为：,3,信息论与编码-信源及信源熵,（1）,离散无记忆信源,：所发出的各个符号之间是相互独立的,发出的符号序列中的各个符号之间没有统计关联性,各个符号的出现概率是它自身的先验概率.,（2）,离散有记忆信源,：发出的各个符号之间不是相互独立的,各个符号出现的概率是有关联的.,4,信息论与编码-信源及信源熵,也可以根据信源发出一个消息所用符号的多少,将离散信源分为：,发出单个符号的离散信源,：信源每次只发出一个符号代表一个消息；,发出符号序列的离散信源,：信源每次发出一组含二个以上符号的符号序列代表一个消息,.,将以上两种分类结合,就有四种离散信源：,5,信息论与编码-信源及信源熵,（1）发出单个符号的无记忆离散信源；,（2）发出符号序列的无记忆离散信源；,（3）发出单个符号的有记忆离散信源；,（4）发出符号序列的有记忆离散信源.,一类重要的符号序列有记忆离散信源-马尔可夫信源:某一个符号出现的概率只与前面一个或有限个符号有关,而不依赖更前面的那些符号.,6,信息论与编码-信源及信源熵,（二）离散信源的度量,2.1 信源的数学模型及其分类,正如绪论中所述,在通信系统中收信者在未收到消息以前,对信源发出什么消息是不确定的,所以可用,随机变量,或,随机矢量,来描述信源输出的消息.或者说,用概率空间来描述信源.,7,信息论与编码-信源及信源熵,离散信源的数学模型就是离散型的概率空间：,其中概率,p,(,x,i,)(,i=1,2,n,)称为符号,x,i,的先验概率,应满足,p,(,x,i,)=1,它表示信源可能取的消息(符号)只有,n,个:,x,1,x,2,x,n,而且每次必定取其中一个.,8,信息论与编码-信源及信源熵,然而,很多实际信源输出的消息往往是由一系列符号所组成的.例如中文信源的样本空间集合x是所有中文文字及标点符号的集合.由这些单字和标点符号组成的消息即是中文句子和文章.从时间上看,中文信源的输出是时间上离散的一系列符号,而其中每个符号的出现是随机的,由此构成了不同的中文消息.,9,信息论与编码-信源及信源熵,又例如对离散化的平面图像来说,从空间上来看是一系列离散的符号,而空间每一点的符号(灰度)又都是随机的,由此形成了不同的图像.所以我们可以把一般信源输出的消息看作为时间或空间上离散的一系列随机变量,即随机矢量.这样,信源的输出可用N维随机矢量(,x,1,x,2,x,N,)来描述,其中N可为有限正整数或可数的无限值.,10,在上述随机矢量中,若每个随机变量,x,i,(,i=1,2,N,)都是离散的,则可用,N,重离散概率空间来描述这类信源.即若,N,维随机矢量,X,=(,x,1,x,2,x,N,)中,x,i,X,i=1,2,n,则,X,=(,x,1,x,2,x,N,)X,N,信息论与编码-信源及信源熵,11,信息论与编码-信源及信源熵,信源的N重概率空间为：,这个空间共有,q,N,个元素.,在某些简单的情况下,信源先后发出的一个个符号彼此是统计独立的,则N维随机矢量的联合概率分布满足,p,(,X,)=,p,(,x,i,),即N维随机矢量的联合概率分布可用随机矢量中单个随机变量的概率乘积来表示.这种信源就是离散无记忆信源.,12,信息论与编码-信源及信源熵,一般情况下,信源先后发出的符号之间是互相依赖的.例如在中文字母组成的中文消息中,前后文字的出现是有依赖的,不能认为是彼此不相关的,放在N维随机矢量的联合概率分布中,就必然要引入条件概率分布来说明它们之间的关联.这种信源即有记忆信源.,表述有记忆信源要比表述无记忆信源困难得多.实际上信源发出的符号往往只与前面几个符号的依赖关系较强,而与更前面的符号依赖关系就弱.为此可以限制随机序列的记忆长度.,当记忆长度为,m,+1时,称这种有记忆信源为,m,阶马尔可夫信源,.也就是信源所发出的符号只与前m个符号有关,与更前面的符号无关.,13,信息论与编码-信源及信源熵,这样就可用马尔可夫链来描述信源.描述符号之间依赖关系的条件概率为,p,(,x,i,|,x,i-1,x,i-2,x,i-m,)=,p,(,x,i,|x,i-1,x,i-2,x,i-m,),如果条件概率与时间起点,j,无关,即信源输出的消息可看成为,时齐马尔可夫链,则此信源称为,时齐马尔可夫信源,.,14,信息论与编码-信源及信源熵,2.2,离散信源的熵和互信息,2.2.1,自信息量,在讨论了信源的数学模型,即信源的数学描述问题后,很自然接着会提出这样一个问题,即信源发出某一符号,x,i,(,i=1,2,n,)后,它提供多少信息量？这就是要解决信息的度量问题.,在通信的一般情况下,收信者所获取的信息量,在数量上等于通信前后不确定性的消除(减少)的量.,15,信息论与编码-信源及信源熵,具体地说,如信源发某一符号,a,i,由于信道中噪声的随机干扰,收信者收到的一般是,a,i,的某种变型,b,i,收信者收到,b,i,后,从,b,i,中获取关于,a,i,的信息量以,I,(,a,i,;,b,i,)表示,则有,I,(,a,i,;,b,i,)收到,b,i,前,收信者对,a,i,存在的不确定性(先验不定度)收到,b,i,后,收信者对,a,i,仍然存在的不确定性(后验不定度)收信者收到,b,i,前、后,对,a,i,存在的不确定性的消除.,16,信息论与编码-信源及信源熵,为了便于引出一个重要的结果,我们不妨假定信道中没有噪声的随机干扰(即无噪信道).这时,显然有,b,i,a,i,本身,收信者确切无误地收到信源发出的消息那么,(收到,b,i,后,对,a,i,仍然存在的不确定性)0同时,(收到,b,i,后,从,b,i,中获取关于,a,i,的信息量,I,(,a,i,;,b,i,)就变成(收到,a,i,后,从,a,i,中获取关于,a,i,的信息量,I,(,a,i,),这个,I,(,a,i,)也就是,a,i,本身所含有的信息量,即能提供的全部信息量,我们称之为,a,i,的“,自信息量,”.,17,信息论与编码-信源及信源熵,根据上述的一般原则,就可有：,I(,a,i,)收到,a,i,前,收信者对信源发,a,i,的不确定性,.,这就是说,信源符号,a,i,的自信息量,在数量上等于信源发符号,a,i,的不确定性.,a,i,的自信息量度量问题,就转变为信源发符号,a,i,的不确定性的度量问题.,我们知道,不确定性是与可能性相联系的,而可能性又可由概率的大小来表示所以可以断言,自信息量,I,(,a,i,)一定是信源发符号,a,i,的先验概率,p,(,a,i,)的某一函数.,18,信息论与编码-信源及信源熵,一个重要的结论：设某单符号离散信源的概率空间为,其中 且 ,信源X发,符号,a,i,(,i1,2,n,)能提供的信息量,即,a,i,(,i1,2,n,)的自信息量(简称自信量)为：,19,信息论与编码-信源及信源熵,I,(,a,i,)=log,p,(,a,i,)=log1,/,p,(,a,i,)（2.1）,这就是说,信源,X,的任一符号,a,i,(,i,1,2,n,)所含有的自信息量,I,(,a,i,)(,i,1,2,n,)等于符号,a,i,的先验概率,p,(,a,i,)(,i,1,2,n,)的倒数的对数.只要测定了先验概率,p,(,a,i,),就可定量地计算符号,a,i,的自信息量,所以,我们称由(2.1)式表示的函数,I,(,a,i,)为“信息函数”.,20,信息论与编码-信源及信源熵,由(2.1)式表示的自信量,I,(,a,i,)有两方面的含意：信源X发符号,a,i,以前,收信者对,a,i,存在的先验不确定性；信源,X,发符号,a,i,后,a,i,所含有的(或能提供的)全部信息量.,我们说,信息函数(2.1)式的导出,解决了信息的度量问题,这是香农信息理论的一大功勋.由(2.1)式可看出,只要测定先验概率,p,(,a,i,)(香农信息理论假定,p,(,a,i,)是先验可知,或事先可测定的),就可计算符号,a,i,的自信息量.所以,有时把(2.1)式度量的信息,称为“概率信息”.,21,信息论与编码-信源及信源熵,(2.1)式的自信息量采用的测度单位,取决于对数的“底”.如果采用以“2”为底的对数,则所得信息虽单位称为“比特”(bitbinary unit的缩写),如果采用以“e”为底的对数,则所得信息量单位称为奈特(natnature unit的缩写),如采用以“10”为底的对数,则所得信息量单位称为哈特(HartHartley的缩写,以纪念哈特莱首先提出用对数来度量信息),以后,一股采用以“2”为底的对数,且为了书写方便起见,把底数“2”略去不写.,22,信息论与编码-信源及信源熵,不确定度与自信息量,：,随机事件的不确定度在数量上等于它的自信息量,两者的单位相同,但含义却不同.即有某种概率分布的随机事件不管发生与否,都存在不确定度,而自信息量是在该事件发生后给予观察着的信息量.,23,信息论与编码-信源及信源熵,两个消息,x,i,和,y,j,同时出现的联合自信息量,：,用联合概率,p,(,x,i,y,j,)来表示,联合自信息量为,I,(,x,i,y,j,)=log,p,(,x,i,y,j,),当,x,i,和,y,j,相互独立时,有,p,(,x,i,y,j,)=,p,(,x,i,),p,(,y,j,),于是有,I,(,x,i,y,j,)=,I,(,x,i,)+,I,(,y,j,),24,信息论与编码-信源及信源熵,条件自信息量,：,当,x,i,和,y,j,相互联系时,在事件,y,j,出现的条件下,x,i,的自信息量称为条件自信息量,定义为,I,(,x,i,|,y,j,)=log,p,(,x,i,|,y,j,),其中概率,p,(,x,i,|,y,j,)为在事件,y,j,出现的条件下,x,i,发生的条件概率.,25,信息论与编码-信源及信源熵,2.2.2,离散信源熵,前面定义的自信息是指某一信源发出某一消息所含有的信息量.所发出的消息不同,它们所含有的信息量也就不同.所以自信息,I,(,a,i,)是一个随机变量,不能用它来作为整个信源的信息测度.,我们定义自信息的数学期望为信源的平均信息量,即,26,信息论与编码-信源及信源熵,也称为信源的信息熵.,信源的信息熵H是从整个信源的统计特性来考虑的.它是从平均意义上来表征信源的总体特性的.对于某特定的信源,其信息熵只有一个.不同的信源因统计特性不同,其熵也不同.,所以信息熵是从平均意义上来表征信源的总体特性的一个量.因此,信息熵有以下三种物理含义：,27,信息论与编码-信源及信源熵,首先,信息熵,H,(,X,)是表示信源输出后每个消息(或符号)所提供的平均信息量.,其次,信息熵,H,(,X,)是表示信源输出前,信源的平均不确定性.,第三,用信息熵,H,(,X,)来表征变量,X,的随机性.,应该注意的是：信息熵是信源的平均不确定的描述.一般情况下它并不等于平均获得的信息量.只有在无噪情况下,接收者才能正确无误地接收到信源所发出的消息,消除了,H,(,X,)大小的平均不确定性,所以获得的平均信息量就等于,H,(,X,).后面将会看到：在一般情况下获得的信息量是两熵之差,并不是信息熵本