信息论与编码课件910PPT

,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。,信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。,什么是信息？,消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：,离散(数字)消息，一组未知量，可用随机序列来描述：X=(X1XiXn),连续(模拟)消息，未知量，它可用随机过程来描述：X(t),信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。,信息、消息和信号是既有区分又有联系的三个不同的概念。,消息中包含信息，是信息的载体。,信号携带着消息，它是消息的运载工具。,信息可认为是由具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。,而信号则是抽象信息在物理层表达的外延；消息则是抽象信息在数学层表达的外延。,信息、消息和信号,同一信息，可以承受不同的信号形式(比方文字、语言、图象等)来载荷；同一信息，也可以承受不同的数学表达形式(比方离散或连续)来定量描述。,同一信号形式，比方“0”与“1”可以表达不同形式的信息，比方无与有、断与通、低与高(电平)等等。,1.1,信源特性与分类,通信的根本问题是将输出的信源在接收端尽可能准确地复现出来，所以需要争论如何描述信源的输出，即如何计算信源产生的信息量。,信源的概念,信源信息的发源地，如人，生物，机器等等。,由于信息是特别抽象的东西，所以要通过信息载荷者，即消息来争论信源，这样信源的具体输出称作消息。,消息的形式可以是离散消息如汉字、符号、字母或连续消息如图像、语音。,信源消息中的信息是一个时变的不行预知的函数，因此，描述信源消息或对信源建模，随机过程是一个有效的工具，随机过程的特性依靠于信源的特性。,离散信源和连续信源,连续信源：假设信源输出的随机变量取值于某一连续区间，为连续信号，消息的个数是无穷值，就叫做连续信源。,比方人发出的语音信号X(t)、模拟的电信号等等。,信源的输出被抽象为一个随机变量序列随机过程,离散信源：假设信源输出的随机变量取值于某一离散符号集合，消息在时间和幅值上均是离散的，就叫做离散信源。,比方平面图像X(x,y)和电报、书信、文稿等等。,单符号离散信源的数学模型,u,2,u,i,p,(,u,2,),p,(,u,i,),其中p(ui)满足：,留意：大写U代表随机变量，指的是整体。带下标的小写ui代表随机大事的某一结果或某个元素。,离散序列信源,实际信源不行能仅发送单个符号，而是发送一组符号，即一个随机序列，如电报、数字语音、数字图像等。,离散序列信源,U,为第l时刻的随机变量,U,的一个样本,u,可表示为,u,(,u,),离散无记忆信源,(,u,),当满足无记忆条件时,当进一步满足平稳性时,离散有记忆信源,很多实际信源是符合有限记忆模型的，数学上常承受马氏链来描述。假设将离散序列信源发出的随机序列消息看作一阶马氏链，则消息序列中任一时刻的消息 仅与其前面的一个消息 有关，而与更前面的消息没有直接关系。,(,u,),对于马氏链,对于齐次马氏链,对于齐次遍历马氏链,常用的概率论的根本概念和性质1,1,2,3,无条件概率、条件概率、联合概率满足的一些性质和关系：,常用的概率论的根本概念和性质2,无条件概率、条件概率、联合概率满足的一些性质和关系：,4,5,6,1.2,离散信源的信息熵,信息熵和信息量的根本概念,熵的数学性质,概率与信息量,在大事发生前有不确定性,在大事发生时有惊异度,在大事发生后有信息量,当一个概率很低的随机大事发生，我们就会感到特别惊异，并得到很大的信息量。,如：9.11大事，美国纽约世贸大厦被炸,表,自信息量,从信息源猎取信息的过程就是其不确定性缩减的过程。,随机大事包含的信息与其不确定性严密相关。,在统计分析中，使用概率作为衡量不确定性的一种指标。,可以推论出：随机大事包含信息的度量应是其概率的函数。,表,自信息量定义,定义：任意随机大事的自信息量定义为该大事发生概率的对数的负值。,自信息量的单位取决于对数选取的底。,单位：比特bit、奈特nat、笛特Det。,当对数的底取2时，单位为比特bit,当以自然数e为底时，单位为奈特nat理论推导常用,当以10为底时，单位为笛特Det工程计算常用,表,对数及常用公式,y=log,10,x x=10,y,log(,xy,)=log,x,+log,y,y=log,b,x x=b,y,log(,x,/,y,)=log,x,-log,y,log(,x,p,)=plog,x,log(1)=0,log(1/,x,)=-log,x,表,Example:log,3,27,log,5,125,log,10,100,log,2,32,自信息量的性质,值得留意的是：,pi是一个随机量，而I(pi)是pi的函数，所以自信息量也是一个随机变量，它没有确定的值。,联合自信息量,定义：两个消息ui、vj对应概率分别为pi和qj,他们同时消失的联合概率为rij：,当ui和vj相互独立时，,说明两个随机大事相互独立时，同时发生得到的自信息量，等于这两个随机大事各自独立发生得到的自信息量之和。,条件自信息量,当ui和vj不相互独立时，在消息ui或vj 已消失的条件下，消息vj或ui消失的条件概率为Pji或Qij，其自信息量定义为：,自信息量：例题1,表,例如：设信源只含有两个符号“正”与“反”，且它们以消息的形式向外发送时均以等概率消失，求它们各自的信息量。,解：,例如：某地某月份的气象资料如下表所列，求相应大事的不确定度。,这四种气候的自信息量分别为：,x,i,x,1,(,晴),x,2,(,阴),x,3,(,雨),x,4,(,雪),P(x,i,),0.5,0.25,0.125,0.125,自信息量：例题2,I(x1)1bit,I(x2)=2bit,I(x3)=3bit,I(x4)=3bit,可见不同天气状况具有不同的自信息量,说明自信息量具有随机变量的性质,自信息量不能作为信源的信息测度,自信息量I(pi)，i=1,2,是指某一信源U发出某一信息符号ui所含有的信息量。发出的信息符号不同，它们所含有的信息量就不同。,信源发出的每个信息符号概率一样状态等概率,信源发出的每个信息符号概率不一样各状态不等概率,信源发出的信息符号可用随机大事来描述。,信源的概率空间描述,一个信源可以用一个概率空间来描述。,信源的不确定程度可以用这个概率空间的可能状态数目及其概率来描述：,其中：U是信源的状态空间，为一个离散集，表示了随机大事的状态数；p(u)是随机大事各种可能状态的概率分布，且 ；各状态是相互独立的。,u,2,u,i,p,(,u,2,),p,(,u,i,),平均自信息量信息熵,自信息量是一个随机变量，它反映了发出某一消息符号的不确定性。它不能用来作为整个信源的信息测度。信源的不确定程度可以用信源概率空间的概率分布来描述。这样，我们引入平均自信息量，,定义：随机变量I(pi)的数学期望定义为平均自信息量,信源的平均自信息量又称做是信源的信息熵，简称做熵。熵H(U)是其概率分布上p1,p2,pn的函数，称为熵函数。,信息熵满足对概率的递减性和可加性。,平均不确定性,信源的平均自信息量表示大事消失的平均不确定性。,信息熵与概率分布的关系？,p,1,=0.25,p,2,=0.25,p,3,=0.25,p,4,=0.25 H=2,p,1,=0.5,p,2,=0.25,p,3,=0.125,p,4,=0.125 H=1.75,联合熵,联合熵定义为：,条件熵,定义：条件自信息量的概率加权平均值数学期望定义为条件熵。定义式为：,上式ui(或vj)的条件下，vj(或ui)的条件熵。,这里要留意条件熵用联合概率rij，而不是用条件概率Pji或Qij进展加权平均。,信息熵和信息量,信息熵是信源平均不确定性的度量，是从统计特性上对信源的描述，可以理解为信源输出的信息量,信息量一般是对接收者而言的，是指接收者从信源所获得的信息的度量。,假设通信传输中没有干扰，则接收者获得的信息量就等于信源的信息熵，但两者概念不同。,1.2.2 信源熵的根本性质和定理,熵函数的性质：1.对称性,当概率矢量P(p1,p2,pn)中的各重量的次序任意变更时，熵值不变。,该性质说明信源的熵仅与信源总体的统计特性有关。假设统计特性一样，不管其内部构造如何，其信源熵值都一样。,例，A,B两地天气状况的平均自信息量为:,H(A)=H(B)=1.75bit,=1/2log2+1/4log4+2/8log8,晴,多云,雨,冰雹,地域A,1/2,1/4,1/8,1/8,地域B,1/2,1/8,1/8,1/4,熵函数的性质：2.非负性,非负性,其中，等号成立的条件是当且仅当对某i，pi=1,其余的pk=0(k i)。,即，信源U虽然有不同的输出符号，但它只有一个符号必定消失，而其它符号都不行能消失，那么，这个信源是一个确知信源，其信源熵等于零。,熵函数的性质：3.确定性,信源U中只要有一个大事为必定大事，则其余大事为不行能大事。此时，信源U中每个大事对熵的奉献都为零，因而熵必为零。,熵函数的性质：4.扩展性,证明：,所以通过熵函数的定义可以证明上式成立。,含义：假设信源U有n个大事，另一个信源V有n+1个大事，但U和V集的差异只是多了一个概率接近于零的大事，则两个集的熵值一样。,换言之，一个大事的概率与其中其它大事的概率相比很小时，它对集合的熵值的奉献可以无视不计。,熵函数的性质：5.递推性,其中,证明：设p=p1+p2,q=p2/(p1+p2),则p1=p(1-q),p2=pq,含义：信源U有n个大事，可以把其中的任意两个大事合并，得到有n1个大事的集合的熵；反之亦然,熵函数的性质：6.可加性,假设有两个信源U和V，它们不是相互独立的，则联合信源的熵等于U的熵加上当U已给定时V的条件概率定义的熵的统计平均值，即,当U和V相互统计独立时，则有,定理1-2-2：熵函数的极值性,定理1-2-2：熵函数的极值性,定理1-2-2：熵函数的极值性,该性质说明，在离散状况下，信源U的各大事等概率发生时，熵到达极大值。这个重要结论称为最大熵定理。,大事的数目n越多，信源的熵值就越大对数函数的单调上升性。,定理1-2-3：熵函数的上凸性,可以通过凸函数的概念证明。,如：二元熵函数。,严格上凸函数在定义域内的极值必为最大值。用上凸性求最大熵时，只需对熵函数求导并取极值即可,0 1.0 p,H(X),1.0,凸函数的概念,定义：设f(X)=f(x1,x2,xi,xn)为一多元函数。假设对于任意一个小于1的正数 以及函数f(X)定义域内的任意两个矢量X，Y有：,则称f(X)为定义域上的凸函数。,假设有：,则称f(X)为定义域上的上凸函数或严格上凸函数。反之，则称f(X)为定义域上的下凸函数或严格下凸函数。,假设f(X)是上凸函数，则-f(X)便是下凸函数，反过来也成立。故，通常只需争论上凸函数。,詹森Jenson不等式,引理：假设f(X)是定义在区间a,b上的实值连续上凸函数，则对于任意一组,当取xi为一个离散无记忆信源的信源符号，取为相应的概率时，明显满足引理条件。,假设取f(.)为对数函数，上述不等式可写为：,或对于一般的凸函数f(.)，写成,小结,离散信源,无记忆,有记忆,单符号离散信源,离散序列信源,连续信源,自信息量,联合自信息量,条件自信息量,信息熵（单符号）,联合熵,条件熵,