第二章-信息的度量-1课件

,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,信息的概念,信息是信息论中最基本、最重要的概念，它是一个既存在广泛又抽象的概念；,广泛性,客观世界充满信息,人类离不开信息,知识、书本是有用信息的积累,抽象性,信息不等同与“消息”、“信号”、“情报”、“知识”和“数据”等,信息的概念信息是信息论中最基本、最重要的概念，它是一个既存在,小结-理解信息的概念,信息-,事物运动状态或存在方式的,不确定性,的描述。,狭义信息论：又称香农信息论。主要通过,数学描述,与,定理分析,，研究通信系统,从信源到信宿的全过程,信息的度量,信道容量,信源和信道编码理论等问题。,小结-理解信息的概念信息-事物运动状态或存在方式的,通信系统模型,香农将各种通信系统概括成通信系统模型：,信源,编码器,信道,译码器,信宿,噪声源,消息,干扰,信号,信号,+,干扰,消息,通信系统中形式上传输的是消息，但实质上传输的是信息。,通信的结果是消除或部分消除不确定性，从而获得信息。,通信系统模型香农将各种通信系统概括成通信系统模型：信源编码器,信源,信源-,信息的来源，是产生消息或消息序列的源泉,按照消息的取值集合的离散性和连续性,离散信源,-输出的消息是有限的，可数的，可以用一维离散型随机变量来描述。,如筛子的点数、碱基种类、氨基酸的种类、选修课成绩,连续信源-信源符号集的取值是连续的，可以用一维连续型随机变量来描述。,如：说话的内容是离散的,说话的分贝是连续的.,由于计算机是离散的，我们重点讨论离散信源,某时刻，信源发出的消息（事件）具有不确定性,信源信源-信息的来源，是产生消息或消息序列的源泉,概率知识回顾,在一定条件下可能出现也可能不出现的现象 称为,随机现象,.,随机现象揭示了条件和结果之间的不确定性，其数量关系,无法用函数加以描述,，,在一次观察中出现什么结果具有,偶然性,，但是通过大量试验，结果具有,一定的统计规律性,。（掷骰子）,随机现象是通过随机试验来研究的.,概率知识回顾在一定条件下可能出现也可能不出现的现象 称为随机,概率知识回顾,随机试验,，通常用,E,表示，对自然现象的观察和进行一次科学实验。在相同条件下,可重复进行,试验的结果不止一个，每次试验总是恰好出现这些可能结果中的一个，但在一次试验之前其结果无法确知,在大量重复试验或观察中呈现出某种统计规律性的现象,例如：重复摸球试验、掷骰子、参加一次英语考试的试验,概率知识回顾随机试验，通常用 E 表示，对自然现象的观察和进,概率知识回顾,基本事件,，常用e,来表示,对一个试验来说，我们把其最简单的,不能再分的事件,称为该事件的基本事件,样本空间,-用,表示，,一个试验所有基本事件组成的集合，称为该试验的样本空间,随机事件,-,随机试验的每个可能的结果,是基本事件集的子集，简称事件,概率测度,（概率），用,P,表示，,刻画事件发生可能性大小的数量指标,非负性（,P（X）=0）、完备性(P（,）=1),概率知识回顾基本事件，常用e,来表示,2.1自信息和互信息,2.1自信息和互信息,2.1.1自信息,自信息（量）:,一个消息xi（事件）本身所包含的信息量，由事件的不确定性决定，记为I(xi),。,某事件,xi发生所提供的信息量I(xi)应该是该事件发生的,先验概率p(xi),的函数:,I(x)=f(p(x),(2)当p(x)=1时，I(x)=0；,极限情况下，当p(x)=0时，I(x)+。,应满足以下公理化条件：,(1)I(x)是p(x)的,单调递减函数,；若p(x1)I(x2),(3)信息量满足,可加性,：对于两个独立事件，其信息量等于各自信息量之和。若p(x1x2)=p(x1)p(x2),I(x1x2)=I(x1)+I(x2),2.1.1自信息自信息（量）:一个消息xi（事件）本身所包,2.1.1 自信息,某消息xi,的,自信息,，可用该消息出现的概率的对数的负值来表示：,p(xi)为消息的,先验概率,底数为2时，常把2,省略,自信息量的单位：若这里的对数底取,2，则单位为比特（bit,binary unit),P,(x)=1/2时，I(x)=1bit。即概率为1/2的事件具有1bit信息量,由于在计算机上是二进制(binary digit)，我们一般都采用比特。,2.1.1 自信息某消息xi的自信息，可用该消息出现的概率的,计算自信息量的例子,例3：信源消息X=A,T,G,C 的概率模型如下：,则该信源各消息的自信息量分别为：,单位：比特,计算自信息量的例子例3：信源消息X=A,T,G,C 的概,自信息I(xi)的含义,在事件发生以前，等于事件xi发生的不确定性的大小;,在事件发生以后，表示事件xi所含有或最大能给收信者提供的信息量。,通过,无噪信道,传输后，收信者（信宿）对事件xi,消除,的不确定性,的大小，即获得的信息量的大小,收到某消息获得的,信息量,=,不确定性,的减少量,自信息I(xi)的含义在事件发生以前，等于事件xi发生的不确,例题4,（1）假设英文字母中“a”出现的概率为0.064，“c”出现的概率为0.022，分别计算他们的自信息量。,（2）假定前后字母出现是互相独立的，计算消息“ac”的自信息。,（3）假定前后字母出现不是互相独立的，当“a”出现以后，“c”出现的概率为0.04，计算“a”出现以后，“c”出现的自信息量。,例题4,（1）英文字母中“a”出现的概率为0.064，“c”出现的概率为0.022,，分别计算他们的自信息量。,解：,（,1）,（1）英文字母中“a”出现的概率为0.064，“c”出现的概,（2）假定前后字母出现是互相独立的，计算消息“ac”,的自信息。,解：由于前后字母出现是互相独立的，“,ac”出现的概率为0.064*0.022，所以,信息量满足可加性,（2）假定前后字母出现是互相独立的，计算消息“ac”的自信息,（3）假定前后字母出现不是互相独立的，当“a”出现以后，“c”出现的概率为0.04,，,计算“,a”出现以后，“c”,出现的自信息量。,解：,“,a”出现的条件下，“c”出现的频率变大，它的不确定性变小，消除了一定的不确定性，所提供的信息量就减少。,（3）假定前后字母出现不是互相独立的，当“a”出现以后，“,2.1.2互信息,互信息,一个事件 所给出关于另一个事件,的信息定义为互信息，用 表示。,是已知事件 后所,消除的,关于事件 的不确定性。,事件 本身的不确定性,减去,已知事件 后对 仍然存在的不确定性,2.1.2互信息互信息,例5,某地二月份天气出现的频率分别为 晴1/2，阴1/4，雨1/8，雪1/8.,某一天有人告诉你：“,今天不是晴天,”，他这句话作为收到的消息y1，求收到y1后，y1,与各种天气的互信息量。,解：,把各种天气记作,x1(晴)，x2(阴),x3(雨)，x4(雪)。收到消息y1后各种天气发生的概率变成了后验概率：,条件概率公式,例5条件概率公式,根据互信息的定义，可以算出y1与各种天气之间的互信息：,根据互信息的定义，可以算出y1与各种天气之间的互信息：,利用通信系统模型理解互信息,设X为信源发出的离散消息集合；Y为信宿收到的离散消息集合；,信源发出的消息，经过,有噪声,的信道传递到信宿；,信宿,信道,信源,图,1,通信系统的简化模型,噪声,X,Y,利用通信系统模型理解互信息设X为信源发出的离散消息集合；Y为,信宿,信道,信源,噪声,X,Y,x,i,x,i,无噪,I,(,x,i,),p,(,x,i,),p,(,x,i,|,y,j,),I,(,x,i,),y,j,x,i,表示事件,出现前和出现后,关于事件 的,不确定性被消除的部分,；,表示事件 出现以后信宿,获得的,关于事件 的,信息量,。,观察者站在输出端,：,对,y,j,一无所知的情况下,x,i,存在的不确定度；,：收到,y,j,后,x,i,仍然存在的不确定度，损失的信息,信宿信道信源噪声XYxixi无噪I(xi)p(xi)p(xi,小结-信息量,收到某消息获得的信息量,=不确定性的减少量,=（收到此消息前关于某事件发生的不确定性）-（收到此消息后关于某事件发生的不确定）,小结-信息量 收到某消息获得的信息量,互信息的其他计算公式,是已知事件 后所消除的关于事件 的不确定性 。,概率的,乘法,公式,互信息的其他计算公式,互信息的其他计算公式,事件 本身的不确定性 和事件 本身的不确定性 加和，减去事件 的不确定性,。,概率乘法公式,通信前：,X,和,Y,之间没有任何关系，即,X,、,Y,统计独立，,p,(,xi yj,)=,p,(,xi,),p,(,yj,),，,先验不确定度,通信后：,p,(,xi yj,)=,p,(,xi,),p,(,yj,|,xi,)=,p,(,yj,),p,(,xi,|,yj,),，,后验不确定度,互信息的其他计算公式概率乘法公式通信前：X和Y之间没有任何关,互信息量的性质,一、,对称性,：I(x;y)=I(y;x),其通信意义表示发出x收到y所能提供给我们的信息量的大小；,二、当x与y统计独立时,I(x;y)=I(y;x)=0,表示这样一次通信不能为我们提供任何信息.,三、互信息可取正值也可取负值，也可取值0，单位也是比特,上述两条性质与我们实际情况非常吻合.,互信息量的性质一、对称性：I(x;y)=I(y;x),其通信,思考题,例题4,（1）英文字母中“a”出现的概率为0.064，“c”出现的概率为0.022，分别计算他们的自信息量。,（2）假定前后字母出现是互相独立的，计算“ac”的自信息。,（3）假定前后字母出现不是互相独立的，当“a”出现以后，“c”出现的概率为0.04，计算“a”出现以后，“c”出现的自信息量。,（4）求在（2）和（3）两种情形下，消息“a”和消息“c”的互信息各为多少。,思考题例题4,2.2平均自信息,2.2平均自信息,概率知识回顾,随机变量,-,将,样本空间,（随机事件）数量化，即用数值来表示随机试验的结果,常用大写的英文字母,X，Y，Z，或希腊字母,，,，,，,来表示,有些随机试验的结果可直接用,数值,来表示,.,例如:,在掷骰子试验中,结果可用1,2,3,4,5,6来表示,不妨用表示所有的样本点,:,出现,1,点 出现,2,点 出现,3,点 出现,4,点 出现,5,点 出现,6,点,X():1 2 3 4 5 6,X:x1 x2 x3 x4 x5 x6,概率知识回顾:出现1点 出现2点 出现3点,随机变量,有些随机试验的结果不是用数量来表示，但可数量化,例1:掷硬币试验,其结果用汉字“出现正面”和“出现反面”来表示.,例,2：基因型的表示：0 1 2,可数量化,:,用,1,表示“出现正面”,;,用,0,表示“出现反面”,.,随机变量有些随机试验的结果不是用数量来表示，但可数量化可数量,随机变量,设立随机变量的目的-,用随机变量的取值来描述随机事件和事件发生的概率,其和普通函数的差别是，不一定定义在实数轴上，是定义在样本空间上,概率空间,X,P(X),一个随机变量的所有可能取值,和,这些取值对应的概率,样本空间中某一点 随机事件,随机变量的某一取值,随机,试验的一个结果,X,的一个唯一取值,一一对应,函数关系,随机变量设立随机变量的目的-用随机变量的取值来描述随机事,例如:在掷骰子试验中,X,：,1,，,2,，,3,，,4,，,5,，,6,样本空间,P,（,X,）：,P,(,X,=1)=1/6,，,P,(,X,=2)=1/6,，,，,P,(,X,=6)=1/6,X,P,X,：,1 2 3 4 5 6,P,(,X,),：,1/6 1/6 1/6 1/6 1/6 1/6,概率空间,=,例如:在掷骰子试验中X：1，2，3，4，5，6 ,离散信源的数学定义,一维离散信源,-,输出的消息是,有限的，可数的,，且,两两信息之间互不相容,，可以用一维离散型随机变量来描述,信源可以用概率空间来表示,假设随机变量,X有 个可能的取值 ,各种取值出现的概率为 ，,它的概率空