信息论与编码课件9、10

,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,第,1,章 信源与信息熵,就狭义而言，,在通信中,对信息的表达分为三个层次：信号、消息、信息。,信号：,是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。,什么是信息？,消息：,(,或称为符号,),是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：,离散,(,数字,),消息,，一组未知量，可用随机序列来描述：,X=(X,1,X,i,X,n,),连续,(,模拟,),消息,，未知量，它可用随机过程来描述：,X(t,),信息：,它是更高层次哲学上的抽象，是信号与消息的更高表达层次。,信息、消息和信号是既有区别又有联系的三个不同的概念。,消息中包含信息，是信息的载体,。,信号携带着消息，它是消息的运载工具,。,信息,可认为,是,由具体的物理信号、数学描述的消息的,内涵,，即信号具体载荷的内容、消息描述的,含义,。,而,信号,则是抽象信息在,物理层,表达的,外延,；,消息,则是抽象信息在,数学层,表达的,外延,。,信息、消息和信号,同一信息，可以采用不同的信号形式,(,比如文字、语言、图象等,),来载荷；同一信息，也可以采用不同的数学表达形式,(,比如离散或连续,),来定量描述。,同一信号形式，比如“,0”,与“,1”,可以表达不同形式的信息，比如无与有、断与通、低与高,(,电平,),等等。,1.1,信源特性与分类,通信的根本问题是将输出的信源在接收端尽可能精确地复现出来，所以需要讨论,如何描述信源的输出,，即,如何计算信源产生的信息量,。,信源的概念,信源信息的发源地，如人，生物，机器等等。,由于信息是十分抽象的东西，所以要通过信息载荷者，即消息来研究信源，这样信源的具体输出称作消息。,消息的形式可以是离散消息（如汉字、符号、字母）或连续消息（如图像、语音）。,信源消息中的信息是一个时变的不可预知的函数，因此，描述信源消息或对信源建模，随机过程是一个有效的工具，随机过程的特性依赖于信源的特性。,离散信源和连续信源,连续信源,：如果信源输出的随机变量取值于某一连续区间，为连续信号，消息的个数是无穷值，就叫做连续信源。,比如人发出的语音信号,X(t,),、模拟的电信号等等。,信源的输出被抽象为一个随机变量序列（随机过程）,离散信源：,如果信源输出的随机变量取值于某一离散符号集合，消息在时间和幅值上均是离散的，就叫做离散信源。,比如平面图像,X(x,y,),和电报、书信、文稿等等。,单符号离散信源的数学模型,u,2,u,i,p,(,u,2,),p,(,u,i,),其中,p,(,u,i,),满足：,注意,：大写,U,代表随机变量，指的是整体。带下标的小写,u,i,代表随机事件的某一结果或某个元素。,离散序列信源,实际信源不可能仅发送单个符号，而是发送一组符号，即一个随机序列，如电报、数字语音、数字图像等。,离散序列信源,U,为第,l,时刻的随机变量,U,的一个样本,u,可表示为,u,(,u,),离散无记忆信源,(,u,),（当满足无记忆条件时）,（当进一步满足平稳性时）,离散有记忆信源,很多实际信源是符合有限记忆模型的，数学上常采用马氏链来描述。若将离散序列信源发出的随机序列消息看作一阶马氏链，则消息序列中任一时刻的消息 仅与其前面的一个消息 有关，而与更前面的消息没有直接关系。,(,u,),（对于马氏链）,（对于齐次马氏链）,（对于齐次遍历马氏链）,常用的概率论的基本概念和性质,1,（,1,）,（,2,）,（,3,）,无条件概率、条件概率、联合概率满足的一些性质和关系：,常用的概率论的基本概念和性质,2,无条件概率、条件概率、联合概率满足的一些性质和关系：,（,4,）,（,5,）,（,6,）,1.2,离散信源的信息熵,1.2.1,信息熵和信息量的基本概念,1.2.2,熵的数学性质,概率与信息量,在事件发生前有不确定性,在事件发生时有惊讶度,在事件发生后有信息量,当一个概率很低的随机事件发生，我们就会感到非常惊讶，并得到很大的信息量。,如：,9.11,事件，美国纽约世贸大厦被炸,表,自信息量,从信息源获取信息的过程就是其不确定性缩减的过程。,随机事件包含的信息与其不确定性紧密相关。,在统计分析中，使用概率作为衡量不确定性的一种指标。,可以推论出：随机事件包含信息的度量应是其概率的函数。,表,自信息量定义,定义：任意随机事件的自信息量定义为该事件发生概率的对数的负值。,自信息量的单位取决于对数选取的底。,单位：比特,bit,、奈特,nat,、笛特,Det,。,当对数的底取,2,时，单位为比特,bit,当以自然数,e,为底时，单位为奈特,nat,（理论推导常用）,当以,10,为底时，单位为笛特,Det,（工程计算常用）,表,对数及常用公式,y=log,10,x x=10,y,log(,xy,)=log,x,+log,y,y=,log,b,x,x=b,y,log(,x,/,y,)=log,x,-log,y,log(,x,p,)=,plog,x,log(1)=0,log(1/,x,)=-log,x,表,Example:log,3,27,log,5,125,log,10,100,log,2,32,自信息量的性质,值得注意的是：,p,i,是一个随机量，而,I,(,p,i,),是,p,i,的函数，所以自信息量也是一个随机变量，它没有确定的值。,联合自信息量,定义：两个消息,u,i,、,v,j,对应概率分别为,p,i,和,q,j,他们同时出现的联合概率为,r,ij,：,当,u,i,和,v,j,相互独立时，,说明两个随机事件相互独立时，同时发生得到的自信息量，等于这两个随机事件各自独立发生得到的自信息量之和。,条件自信息量,当,u,i,和,v,j,不相互独立时，在消息,u,i,（或,v,j,）已出现的条件下，消息,v,j,（或,u,i,）,出现的,条件,概率为,P,ji,（或,Q,ij,），其自信息量定义为：,自信息量：例题,1,表,例如：设信源只含有两个符号“正”与“反,”,，且它们以消息的形式向外发送时均以等概率出现，求它们各自的信息量。,解：,例如：某地某月份的气象资料如下表所列，求相应事件的不确定度。,这四种气候的自信息量分别为：,x,i,x,1,(,晴,),x,2,(,阴,),x,3,(,雨,),x,4,(,雪,),P(x,i,),0.5,0.25,0.125,0.125,自信息量：例题,2,I,(,x,1,),1bit,I,(,x,2,)=2bit,I,(,x,3,)=3bit,I,(,x,4,)=3bit,可见不同天气情况具有不同的自信息量,说明自信息量具有随机变量的性质,自信息量不能作为信源的信息测度,自信息量,I(p,i,),，,i=1,2,是指某一信源,U,发出某一信息符号,u,i,所含有的信息量。发出的信息符号不同，它们所含有的信息量就不同。,信源发出的每个信息符号概率相同状态等概率,信源发出的每个信息符号概率不相同各状态不等概率,信源发出的信息符号可用随机事件来描述。,信源的概率空间描述,一个信源可以用一个概率空间来描述。,信源的不确定程度可以用这个概率空间的可能状态数目及其概率来描述：,其中：,U,是信源的状态空间，为一个离散集，表示了随机事件的状态数；,p(u,),是随机事件各种可能状态的概率分布，且 ；各状态是相互独立的。,u,2,u,i,p,(,u,2,),p,(,u,i,),平均自信息量信息熵,自信息量是一个随机变量，它反映了发出某一消息符号的不确定性。它不能用来作为整个信源的信息测度。信源的不确定程度可以用信源概率空间的概率分布来描述。这样，我们引入平均自信息量，,定义：随机变量,I(p,i,),的数学期望定义为平均自信息量,信源的平均自信息量又称做是信源的,信息熵,，简称做,熵,。熵,H(U),是其概率分布上,p,1,p,2,p,n,的函数，称为熵函数。,信息熵满足对概率的递减性和可加性。,平均不确定性,信源的平均自信息量表示事件出现的平均不确定性。,信息熵与概率分布的关系？,p,1,=0.25,p,2,=0.25,p,3,=0.25,p,4,=0.25 H=2,p,1,=0.5,p,2,=0.25,p,3,=0.125,p,4,=0.125 H=1.75,联合熵,联合熵定义为：,条件熵,定义：条件自信息量的概率加权平均值（数学期望）定义为条件熵。定义式为：,上式已知,u,i,(,或,v,j,),的条件下，,v,j,(,或,u,i,),的条件熵。,这里要注意条件熵用联合概率,r,ij,，而不是用条件概率,P,ji,（或,Q,ij,）进行加权平均。,信息熵和信息量,信息熵是信源平均不确定性的度量，是从统计特性上对信源的描述，可以理解为信源输出的信息量,信息量一般是对接收者而言的，是指接收者从信源所获得的信息的度量。,如果通信传输中没有干扰，则接收者获得的信息量就等于信源的信息熵，但两者概念不同。,1.2.2,信源熵的基本性质和定理,熵函数的性质：,1.,对称性,当概率矢量,P,(p,1,p,2,p,n,),中的各分量的次序任意变更时，熵值不变。,该性质说明,信源的熵仅与信源总体的统计特性有关,。如果统计特性相同，不管其内部结构如何，其信源熵值都相同。,例，,A,B,两地天气情况的平均自信息量为,:,H(A)=H(B)=1.75bit,=1/2log2+1/4log4+2/8log8,晴,多云,雨,冰雹,地域,A,1/2,1/4,1/8,1/8,地域,B,1/2,1/8,1/8,1/4,熵函数的性质：,2.,非负性,非负性,其中，等号成立的条件是当且仅当对某,i,，,p,i,=1,其余的,p,k,=0(k i),。,即，信源,U,虽然有不同的输出符号，但它只有一个符号必然出现，而其它符号都不可能出现，那么，这个信源是一个确知信源，其信源熵等于零。,熵函数的性质：,3.,确定性,信源,U,中只要有一个事件为必然事件，则其余事件为不可能事件。此时，信源,U,中每个事件对熵的贡献都为零，因而熵必为零。,熵函数的性质：,4.,扩展性,证明：,所以通过熵函数的定义可以证明上式成立。,含义：若信源,U,有,n,个事件，另一个信源,V,有,n+1,个事件，但,U,和,V,集的差别只是多了一个概率接近于零的事件，则两个集的熵值一样。,换言之，一个事件的概率与其中其它事件的概率相比很小时，它对集合的熵值的贡献可以忽略不计。,熵函数的性质：,5.,递推性,其中,证明,：设,p=p,1,+p,2,q=p,2,/(p,1,+p,2,),则,p,1,=p(1-q),p,2,=,pq,含义：信源,U,有,n,个事件，可以把其中的任意两个事件合并，得到有,n,1,个事件的集合的熵；反之亦然,熵函数的性质：,6.,可加性,如果有两个信源,U,和,V,，它们不是相互独立的，则联合信源的熵等于,U,的熵加上当,U,已给定时,V,的条件概率定义的熵的统计平均值，即,当,U,和,V,相互统计独立时，则有,定理,1-2-2,：熵函数的极值性,定理,1-2-2,：熵函数的极值性,定理,1-2-2,：熵函数的极值性,该性质表明，在离散情况下，信源,U,的各事件等概率发生时，熵达到极大值。这个重要结论称为最大熵定理。,事件的数目,n,越多，信源的熵值就越大（对数函数的单调上升性）。,定理,1-2-3,：熵函数的上凸性,可以通过凸函数的概念证明。,如：二元熵函数。,严格上凸函数在定义域内的极值必为最大值。用上凸性求最大熵时，只需对熵函数求导并取极值即可,0 1.0 p,H(X),1.0,凸函数的概念,定义：设,f(X,)=f(x,1,x,2,x,i,x,n,),为一多元函数。若对于任意一个