信息论-信源与信息熵课件

1普通高等教育“十五”国家级规划教材信息论与编码第第2章章 信源与信息熵信源与信息熵n n信源描述与分类n n离散信源的信息熵和互信息n n离散序列信源的熵n n连续信源的熵与互信息n n冗余度1普通高等教育“十五”国家级规划教材信息论与编码第2章 2普通高等教育“十五”国家级规划教材信息论与编码2.1信源的描述与分类信源的描述与分类n n信源是产生消息（符号）、消息序列和连续消息的来源。从数学上，由于消息的不确定性。因此，信源是产生随机变量、随机序列和随机过程的源。n n信源的基本特性是具有随机不确定性。2普通高等教育“十五”国家级规划教材信息论与编码2.1信3普通高等教育“十五”国家级规划教材信息论与编码2.1信源特性与分类信源特性与分类n n分类n n时间时间离散离散连续连续n n幅度幅度离散离散连续连续n n记忆记忆有有无无n n三大类：三大类：n n单符号离散信源单符号离散信源n n符号序列信源（有记忆和无记忆）符号序列信源（有记忆和无记忆）n n连续信源连续信源3普通高等教育“十五”国家级规划教材信息论与编码2.1信4普通高等教育“十五”国家级规划教材信息论与编码2.1 信源描述与分类信源描述与分类n n描述：通过概率空间描述n n单符号离散信源单符号离散信源n n例如：对二进制数字与数据信源例如：对二进制数字与数据信源4普通高等教育“十五”国家级规划教材信息论与编码2.1 5普通高等教育“十五”国家级规划教材信息论与编码2.1 信源描述与分类信源描述与分类5普通高等教育“十五”国家级规划教材信息论与编码2.1 6普通高等教育“十五”国家级规划教材信息论与编码2.1信源描述与分类信源描述与分类uu连续信源连续信源6普通高等教育“十五”国家级规划教材信息论与编码2.1信7普通高等教育“十五”国家级规划教材信息论与编码2.1信源描述与分类信源描述与分类uu离散序列信源离散序列信源 以以3 3位位PCMPCM信源为例信源为例7普通高等教育“十五”国家级规划教材信息论与编码2.1信8普通高等教育“十五”国家级规划教材信息论与编码2.1信源描述与分类信源描述与分类 当当p=1/2p=1/28普通高等教育“十五”国家级规划教材信息论与编码2.1信9普通高等教育“十五”国家级规划教材信息论与编码9普通高等教育“十五”国家级规划教材信息论与编码10普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n n信息量n n自信息量自信息量n n联合自信息量联合自信息量n n条件自信息量条件自信息量n n单符号离散信源熵uu符号熵符号熵uu条件熵条件熵uu联合熵联合熵10普通高等教育“十五”国家级规划教材信息论与编码2.211普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n n信息n n不确定性的消除不确定性的消除n n信息的度量n n随机性、概率随机性、概率n n相互独立符合事件概率相乘、信息相加相互独立符合事件概率相乘、信息相加n n熵n n事件集的平均不确定性事件集的平均不确定性11普通高等教育“十五”国家级规划教材信息论与编码2.212普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息G G直观推导信息测度C C信息信息I I应该是消息概率应该是消息概率p p的递降函数的递降函数C C由两个不同的消息（相互统计独立）所提供的信由两个不同的消息（相互统计独立）所提供的信息等于它们分别提供信息之和（可加性）息等于它们分别提供信息之和（可加性）12普通高等教育“十五”国家级规划教材信息论与编码2.213普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息13普通高等教育“十五”国家级规划教材信息论与编码2.214普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息l l定义：对于给定的离散概率空间表示的信源，x=ai事件所对应的（自）信息为 以以2 2为底，为底，单位单位为比特（为比特（bit)bit)以以e e为底，单位为奈特（为底，单位为奈特（nat)1nat=1.433bitnat)1nat=1.433bit 以以1010为底，单位为笛特（为底，单位为笛特（det)1det=3.322bitdet)1det=3.322bit14普通高等教育“十五”国家级规划教材信息论与编码2.215普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息15普通高等教育“十五”国家级规划教材信息论与编码2.216普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息l l定义：联合概率空间中任一联合事件的联合（自）定义：联合概率空间中任一联合事件的联合（自）信息量为：信息量为：l l定义：联合概率空间中，事件定义：联合概率空间中，事件x x在事件在事件y y给定条件给定条件下的条件下的条件（自）信息量为（自）信息量为：16普通高等教育“十五”国家级规划教材信息论与编码2.217普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n n联合自信息、条件自信息与自信息间的关系联合自信息、条件自信息与自信息间的关系17普通高等教育“十五”国家级规划教材信息论与编码2.218普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息18普通高等教育“十五”国家级规划教材信息论与编码2.219普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息 例例1 1 设在一正方形棋盘上共有设在一正方形棋盘上共有6464个方格，如果甲个方格，如果甲将一粒棋子随意地放在棋盘中的某方格内，让乙将一粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子所在的位置：猜测棋子所在的位置：（1 1）将方格按顺序编号，令乙猜测棋子所在方格）将方格按顺序编号，令乙猜测棋子所在方格的顺序号的顺序号 （2 2）将方格按行和列编号，甲将棋子所在的方）将方格按行和列编号，甲将棋子所在的方格的行（或列）编号告诉乙，再令乙猜测棋子所格的行（或列）编号告诉乙，再令乙猜测棋子所在列（或行）所在的位置在列（或行）所在的位置。19普通高等教育“十五”国家级规划教材信息论与编码2.220普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息 解：由于甲将一粒棋子随意地放在棋盘中的某方格内，解：由于甲将一粒棋子随意地放在棋盘中的某方格内，因此棋子在棋盘中所处位置为二维等概率分布因此棋子在棋盘中所处位置为二维等概率分布 （1 1）联合（自）信息量为）联合（自）信息量为 （2 2）条件（自）信息量为）条件（自）信息量为20普通高等教育“十五”国家级规划教材信息论与编码2.221普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息 例例2.2.一个布袋内放一个布袋内放100100个球，其中个球，其中8080个球为红色，个球为红色，2020球为白色。若随机摸取一个球，猜测其颜色，球为白色。若随机摸取一个球，猜测其颜色，求平均摸取一次所获得的（自）信息量。求平均摸取一次所获得的（自）信息量。解：随机事件的概率空间为解：随机事件的概率空间为21普通高等教育“十五”国家级规划教材信息论与编码2.222普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息22普通高等教育“十五”国家级规划教材信息论与编码2.223普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息23普通高等教育“十五”国家级规划教材信息论与编码2.224普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n n单符号离散信源熵n n定义：对于给定离散概率空间表示的信源所定义的随机变量I的数学期望为信源的信息熵，单位为比特/符号24普通高等教育“十五”国家级规划教材信息论与编码2.225普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n n离散信源条件熵离散信源条件熵n n定义：对于给定离散概率空间表示的信源所定义定义：对于给定离散概率空间表示的信源所定义的随机变量的随机变量I I（x/y)x/y)在集合在集合X X上的数学期望为给定上的数学期望为给定y y条件下条件下信源的条件熵，信源的条件熵，单位为单位为比特比特/序列序列25普通高等教育“十五”国家级规划教材信息论与编码2.226普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n n离散信源联合熵离散信源联合熵n n定义：对于给定离散概率空间表示的信源所定义定义：对于给定离散概率空间表示的信源所定义的随机变量的随机变量I(xI(x，y)y)的数学期望为集合的数学期望为集合X X和集合和集合Y Y的的信源联合熵，信源联合熵，单位为单位为比特比特/序列序列26普通高等教育“十五”国家级规划教材信息论与编码2.227普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n n联合熵、条件熵与熵的关系联合熵、条件熵与熵的关系27普通高等教育“十五”国家级规划教材信息论与编码2.228普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n n单符号离散信源互信息n n定义：对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的信息量定义互信息，单位为比特28普通高等教育“十五”国家级规划教材信息论与编码2.229普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n n单符号离散信源互信息29普通高等教育“十五”国家级规划教材信息论与编码2.230普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n n条件互信息量与联合互信息量n n定义：对于给定离散概率空间表示的信源，在事件z给定条件下，事件x与事件y之间的条件互信息量为：30普通高等教育“十五”国家级规划教材信息论与编码2.231普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n n条件互信息量与联合互信息量n n定义：对于给定离散概率空间表示的信源，在事件x与联合事件yz之间的联合互信息量为：31普通高等教育“十五”国家级规划教材信息论与编码2.232普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n nEg1(p23)Eg1(p23)设信源发出设信源发出8 8种消息符号，各消息等概种消息符号，各消息等概发送，各符号分别用发送，各符号分别用3 3位二进码元表示，并输出事位二进码元表示，并输出事件。通过对输出事件的观察来推测信源的输出。件。通过对输出事件的观察来推测信源的输出。假设信源发出的消息假设信源发出的消息x x4 4，用二进码用二进码011011表示，表示，接收接收到每个二进制码元后得到有关到每个二进制码元后得到有关x x4 4信息。信息。32普通高等教育“十五”国家级规划教材信息论与编码2.233普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息33普通高等教育“十五”国家级规划教材信息论与编码2.234普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息34普通高等教育“十五”国家级规划教材信息论与编码2.235普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n n平均互信息量其中35普通高等教育“十五”国家级规划教材信息论与编码2.236普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n n熵的性质uu对称性对称性uu非负性非负性uu确定性确定性uu香农辅助定理香农辅助定理uu最大熵定理最大熵定理uu条件熵小于无条件熵条件熵小于无条件熵36普通高等教育“十五”国家级规划教材信息论与编码2.237普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n n非负性37普通高等教育“十五”国家级规划教材信息论与编码2.238普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n n对称性38普通高等教育“十五”国家级规划教材信息论与编码2.239普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n n确定性n n香农辅助定理39普通高等教育“十五”国家级规划教材信息论与编码2.240普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息40普通高等教育“十五”国家级规划教材信息论与编码2.241普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息41普通高等教育“十五”国家级规划教材信息论与编码2.242普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息42普通高等教育“十五”国家级规划教材信息论与编码2.243普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息43普通高等教育“十五”国家级规划教材信息论与编码2.244普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息44普通高等教育“十五”国家级规划教材信息论与编码2.245普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n n最大熵定理n n条件熵小于无条件熵45普通高等教育“十五”国家级规划教材信息论与编码2.246普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n n平均互信息的性质uu非负性非负性uu互易性互易性uu与熵和条件熵及联合熵关系与熵和条件熵及联合熵关系uu极值性极值性uu凸性函数性质凸性函数性质uu信息不增性原理信息不增性原理46普通高等教育“十五”国家级规划教材信息论与编码2.247普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n n非负性47普通高等教育“十五”国家级规划教材信息论与编码2.248普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n n互易性48普通高等教育“十五”国家级规划教材信息论与编码2.249普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n n平均互信息与熵的关系49普通高等教育“十五”国家级规划教材信息论与编码2.250普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n n互信息量与熵的关系50普通高等教育“十五”国家级规划教材信息论与编码2.251普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n n极值性51普通高等教育“十五”国家级规划教材信息论与编码2.252普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n n凸性函数uu当条件概率分布给定时，平均互信息量是输入概率分布的上凸函数(凹函数)uu当集合X的概率分布保持不变时，平均互信息量是条件概率分布的下凸函数52普通高等教育“十五”国家级规划教材信息论与编码2.253普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息53普通高等教育“十五”国家级规划教材信息论与编码2.254普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息54普通高等教育“十五”国家级规划教材信息论与编码2.255普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息55普通高等教育“十五”国家级规划教材信息论与编码2.256普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息56普通高等教育“十五”国家级规划教材信息论与编码2.257普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息57普通高等教育“十五”国家级规划教材信息论与编码2.258普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息58普通高等教育“十五”国家级规划教材信息论与编码2.259普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息59普通高等教育“十五”国家级规划教材信息论与编码2.260普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息60普通高等教育“十五”国家级规划教材信息论与编码2.261普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息61普通高等教育“十五”国家级规划教材信息论与编码2.262普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n n离散无记忆序列信源n n离散有记忆序列信源n n马尔可夫信源n n离散无记忆信源的序列熵n n离散有记忆信源的序列熵62普通高等教育“十五”国家级规划教材信息论与编码 2.63普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n n离散无记忆序列信源n n布袋摸球实验，若每次取出两个球，由两个球的颜色组成的消息就是符号序列。若先取出一个球，记下颜色放回布袋，再取另一个球。63普通高等教育“十五”国家级规划教材信息论与编码 2.64普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n n离散有记忆序列信源n n布袋摸球实验，每次取出两个球，由两个球的颜色组成的消息就是符号序列。若先取出一个球，记下颜色不放回布袋，再取另一个球。64普通高等教育“十五”国家级规划教材信息论与编码 2.65普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n n马尔可夫信源n n当信源的记忆长度为m+1时，该时该发出的符号与前m个符号有关联性，而与更前面的符号无关。65普通高等教育“十五”国家级规划教材信息论与编码 2.66普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n n马尔可夫信源n n由于高阶马尔可夫信源需要引入矢量进行分析，现方法将矢量转化为状态变量。定义状态：n n信源在某一时刻出现符号概率xj与信源此时所处状态si有关，用条件概率表示p(xj/si),状态转移概率表示为p(sj/si)66普通高等教育“十五”国家级规划教材信息论与编码 2.67普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n n马尔可夫信源n n更一般，经过n-m步后转移至sj的概率67普通高等教育“十五”国家级规划教材信息论与编码 2.68普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n n马尔可夫信源n n特别关心n-m=1情况，pij(m,m+1)68普通高等教育“十五”国家级规划教材信息论与编码 2.69普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n n马尔可夫信源n n系统在任一时刻可处于状态空间的任意一状态，状态转移时，转移概率是一个矩阵，一步转移转移矩阵为69普通高等教育“十五”国家级规划教材信息论与编码 2.70普通高等教育“十五”国家级规划教材信息论与编码 2.3 离散序列信源的熵离散序列信源的熵n n马尔可夫信源n nk步转移概率pij(k)与l步和k-l步转移概率之间满足切普曼-柯尔莫郭洛夫方程。n n定义：如果从状态i 转移到状态j 的概率与m无关，则称这类MovKov链为齐次n n对于齐次马尔可夫链，一步转移概率完全决定了k步转移概率。70普通高等教育“十五”国家级规划教材信息论与编码 2.71普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n n马尔可夫信源n n定义：若齐次马尔可夫链对一切i,j存在不依赖于i 的极限，则称其具有遍历性，pj 称为平稳分布71普通高等教育“十五”国家级规划教材信息论与编码 2.72普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n n马尔可夫信源n n定理：设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为wj72普通高等教育“十五”国家级规划教材信息论与编码 2.73普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵uu不可约性，对于任意一对I和j，都存在至少一个k，使pij(k)0.uu非周期性，所有pij(n)0的n中没有比1大的公因子。uu定理：设P是某一马尔可夫链的状态转移矩阵，则该稳态分布存在的充要条件是存在一个正整数N，使矩阵PN中的所有元素均大于零。73普通高等教育“十五”国家级规划教材信息论与编码 2.74普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n nEg.2-1 一个相对编码器，求平稳分布74普通高等教育“十五”国家级规划教材信息论与编码 2.75普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n nEg.2-2 二阶马氏链，X0,1,求平稳分布起始状态000110111/201/401/203/4001/301/502/304/5S1(00)S2(01)S3(10)S4(11)75普通高等教育“十五”国家级规划教材信息论与编码 2.76普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n n离散无记忆信源的序列熵76普通高等教育“十五”国家级规划教材信息论与编码 2.77普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n n离散无记忆信源的序列熵n n平均每个符号熵（消息熵）77普通高等教育“十五”国家级规划教材信息论与编码 2.78普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n n离散有记忆信源的序列熵和消息熵78普通高等教育“十五”国家级规划教材信息论与编码 2.79普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n nEg 2-11 求信源的序列熵和平均符号熵a a1 1a a2 2a a3 3a a1 1a a2 2a a3 39/119/111/81/80 02/112/113/43/42/92/90 01/81/87/97/979普通高等教育“十五”国家级规划教材信息论与编码 2.80普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n n离散有记忆信源的序列熵和消息熵n n结论结论1 1 是是L L的单调非增函数的单调非增函数n n结论结论2 2n n结论结论结论结论3 3 是是是是L L的单调非增函数的单调非增函数的单调非增函数的单调非增函数n n结论结论4 480普通高等教育“十五”国家级规划教材信息论与编码 2.81普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n n马氏链极限熵81普通高等教育“十五”国家级规划教材信息论与编码 2.82普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵82普通高等教育“十五”国家级规划教材信息论与编码 2.83普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n nEg 2-12 求马氏链平均符号熵（三个状态）83普通高等教育“十五”国家级规划教材信息论与编码 2.84普通高等教育“十五”国家级规划教材信息论与编码 2.4连续信源的熵与互信息连续信源的熵与互信息n n幅度连续的单个符号信源熵84普通高等教育“十五”国家级规划教材信息论与编码 2.85普通高等教育“十五”国家级规划教材信息论与编码 2.4连续信源的熵与互信息连续信源的熵与互信息n n幅度连续的单个符号信源熵85普通高等教育“十五”国家级规划教材信息论与编码 2.86普通高等教育“十五”国家级规划教材信息论与编码 2.4连续信源的熵与互信息连续信源的熵与互信息n n波形信源熵86普通高等教育“十五”国家级规划教材信息论与编码 2.87普通高等教育“十五”国家级规划教材信息论与编码 2.4连续信源的熵与互信息连续信源的熵与互信息n n最大熵定理最大熵定理87普通高等教育“十五”国家级规划教材信息论与编码 2.88普通高等教育“十五”国家级规划教材信息论与编码 2.4连续信源的熵与互信息连续信源的熵与互信息n n最大熵定理限平均功率最大熵定理：对于相关矩阵一定随机变量限平均功率最大熵定理：对于相关矩阵一定随机变量X X，当它是正态分布时具有最大熵，当它是正态分布时具有最大熵88普通高等教育“十五”国家级规划教材信息论与编码 2.89普通高等教育“十五”国家级规划教材信息论与编码 2.5冗余度冗余度n n冗余度，表示给定信源在实际发出消息时所包含的多冗余度，表示给定信源在实际发出消息时所包含的多余信息。它来自两个方面，一是余信息。它来自两个方面，一是信源符号间的相关性信源符号间的相关性；二是二是信源符号分布的不均匀性信源符号分布的不均匀性89普通高等教育“十五”国家级规划教材信息论与编码 2.90普通高等教育“十五”国家级规划教材信息论与编码 2.5冗余度冗余度n nEg.Eg.计算英文字母冗余度计算英文字母冗余度90普通高等教育“十五”国家级规划教材信息论与编码 2.91普通高等教育“十五”国家级规划教材信息论与编码第第2章复习章复习概念概念(1)n n信息是可以定量描述的，可以比较大小。由概率决定；n n对应特定信源，可以求出所含不确定度，也就是消除不确定度所需的信息量；n n可通过对信源的观察、测量获得信息，以减少对信源的不确定度；91普通高等教育“十五”国家级规划教材信息论与编码第2章92普通高等教育“十五”国家级规划教材信息论与编码概念概念(2)n n考虑信源符号概率分布和符号之间的相关性，信源不确定度会下降：n nH(X)就是信源无失真时必需输出的最小信息量；92普通高等教育“十五”国家级规划教材信息论与编码概念(93普通高等教育“十五”国家级规划教材信息论与编码概念概念(3)n n通过传输，信宿可以得到信息I(X;Y)，从而减小对信源的不确定度：H(X/Y)=H(X)-I(X;Y)n n信息通过系统传输，只会丢失信息，不会增加。丢失部分H(X/Y)是由噪声引起的。93普通高等教育“十五”国家级规划教材信息论与编码概念(94普通高等教育“十五”国家级规划教材信息论与编码定义、计算公式、相互关系定义、计算公式、相互关系n n自信息量、信源熵、相对熵n n互信息、条件熵、联合熵n n序列熵、平均符号熵、极限熵n n冗余度94普通高等教育“十五”国家级规划教材信息论与编码定义、