第1部分熵和互信息量课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第1章 熵和互信息量,第1章 熵和互信息量,1,本章介绍,信源的统计特性和数学模型,各类信源的信息测度-熵及其性质,引入信息理论的一些基本概念和重要结论,本章介绍,2,通信系统模型：,对信息论的学习可从信源开始,消息是信息的载荷者。信息是抽象的，消息是具体的。要研究信息，还得从研究消息入手。,由于信源发送什么消息预先是不可知的，只能用概率空间来描述信源,通信系统模型：对信息论的学习可从信源开始,3,1.1 信源的数学模型及分类,单符号信源,：,输出是单个符号（代码）的消息,离散信源,连续信源,平稳随机序列信源,：,信源输出的消息由一系列符号序列所组成，可用N维随机矢量,X,(X,1,X,2,X,N,),描述，且随机矢量,X,的各维概率分布都与时间起点无关,-平稳！,离散平稳信源,连续平稳信源,无记忆（独立）离散平稳信源,有记忆信源,m阶马尔可夫信源,随机波形信源,1.1 信源的数学模型及分类单符号信源：输出是单个符号（代,4,离散信源,(,单符号),特点,：,输出是单个符号（代码）的消息，符号集的取值,A,:,a,1,a,2,a,q,是有限的或可数的，可用一维离散型随机变量,X,来描述。,例：,投硬币、书信、电报符号等等。,数学模型,：,设每个信源符号,a,i,出现的(先验)概率,p,(,a,i,) (,i,=1,2,q,),满足：,概率空间,能表征离散信源的统计特性，因此也称概率空间为信源空间。,离散信源(单符号)特点：输出是单个符号（代码）的消息，符号集,5,连续信源,特点,：输出是单个符号（代码）的消息，,输出消息的符号集,A,的取值是连续的，可用一维的连续型随机变量,X,来描述。,例：语音信号、热噪声信号、遥控系统中有关电压、温度、压力等测得的连续数据等等。,数学模型,：连续型的概率空间。即：,或,满足,或,连续信源特点：输出是单个符号（代码）的消息，输出消息的符号集,6,1.2 离散信源的信息熵及其性质,基本的离散信源可用一维随机变量,X,来描述信源的输出，信源的数学模型可抽象为:,问题,：这样的信源能输出多少信息?,每个消息的出现携带多少信息量?,1.2 离散信源的信息熵及其性质 基本的离散信源可用一维随,7,信息的度量,考虑：,信息的度量（信息量）和不确定性消除的程度有关，消除的不确定性获得的信息量；,不确定性就是随机性，可以用概率论和随机过程来测度，概率小不确定性大；,推论：,概率小 信息量大，即信息量是概率的单调递减函数；,信息量应该具有可加性；,信息的度量考虑：,8,信息量的推导,某事件发生所含有的信息量应该是该事件发生的先验概率的函数。即：,I,(,a,i,),f,p,(,a,i,),根据客观事实和人们的习惯概念，函数,f,p,(,a,i,),应满足以下条件：,（1）它应是先验概率,p,(,a,i,),的单调递减函数，即当,p,(,a,1,) ,p,(,a,2,),时，有,f,p,(,a,1,),1）,由于这个表达式和统计物理学中热熵的表达式相似，且在概念上也有,15,熵的计算,例,： 有一布袋内放l00个球，其中80个球是红色的，20个球是白色的。随便摸出一个球，猜测是什么颜色，那么其概率空间为：,如果被告知摸出的是红球，那么获得的信息量是：,I,(,a,1,),log p,(,a,1,),log,0.8,=,0.32,（比特）,如被告知摸出来的是白球，所获得的信息量应为：,I,(,a,2,),log p,(,a,2,),log,0.2,= 2.32,（比特）,平均摸取一次所能获得的信息量为 ：,H(X)=,p,(,a,1,),I,(,a,1,),+,p,(,a,2,),I,(,a,2,),=0.72,（比特/符号）,熵的计算例： 有一布袋内放l00个球，其中,16,熵的含义,熵是,从整个集合的统计特性,来考虑的，它从平均意义上来表征信源的总体特征。,在信源输出后，信息熵,H(X),表示每个消息提供的平均信息量；,在信源输出前，信息熵,H(X),表示信源的平均不确定性；,信息熵H(X) 表征了变量X的随机性。,例如,，,有两信源,X、Y，,其概率空间分别,计算其熵，,得：H(X)=0.08（ bit /符号）,H(Y)=1（bit / 符号）,H(Y)H(X)，因此信源Y比信源X的平均不确定性要大。,熵的含义熵是从整个集合的统计特性来考虑的，它从平均意义上来表,17,例,设甲地的天气预报为：晴(占48)、阴(占28)、大雨(占18)、小雨(占18)。又设乙地的天气预报为：晴 (占78)，小雨(占18)。试求两地天气预报各自提供的平均信息量。若甲地天气预报为两极端情况，一种是晴出现概率为1而其余为0。另一种是晴、阴、小雨、大雨出现的概率都相等为14。试求这两极端情况所提供的平均信息量。又试求乙地出现这两极端情况所提供的平均信息量。,两个信源,例 设甲地的天气预报为：晴(占48)、阴(占28),18,解：甲地天气预报构成的信源空间为:,则其提供的平均信息量即信源的信息熵:,乙地天气预报的信源空间为:,结论,：甲地,天气预报,提供的平均信息量大于乙地，因为乙地比甲地的平均不确定性小。,解：甲地天气预报构成的信源空间为:则其提供的平均信息量即信源,19,甲地极端情况,极端情况1：晴天概率1,结论,：,等概率分布,时信源的不确定性最大，所以,信息熵,（平均信息量）,最大,。,极端情况2：各种天气等概率分布,甲地极端情况极端情况1：晴天概率1 结论：等概率分布时信源,20,乙地极端情况,极端情况1：晴天概率1,结论,：在极端情况2下，甲地比乙地提供更多的信息量。,因为，甲地可能出现的消息数比乙地可能出现的消息数多。,极端情况2：各种天气等概率分布,乙地极端情况极端情况1：晴天概率1 结论：在极端情况2下,21,信息熵是信源概率空间的一种特殊,矩函数,。这个矩函数的大小，与信源的符号数及其概率分布有关。,我们用,概,率矢量,P,来表示概率分布P(x)：,三、信息熵的基本性质,这样，信息熵H(,X,)是概率矢量P或它的分量,p,1,，p,2,，p,q,的q-1元函数(因各分量满足上述条件限制，所以独立变量只有q-1元)。,一般 H(,X),可写成：,信息熵是信源概率空间的一种特殊矩函数。这个矩函数的大小，与信,22,熵函数,H(P)是概率矢量P的函数，称为熵函数。,用下述表示方法：,用,H(x),表示以离散随机变量x描述的,信源的信息熵,；,用,H(P),或 H(,p,1,p,2,p,q,)表示概率矢量为,P = (,p,1,p,2,p,q,)的,q,个符号信源的信息熵,。,若当,q,=2 时，因为,p,1,+,p,2,= 1, 所以将两个符号的熵函数写成,H(p,1,),或,H(p,2,),。,熵函数H(P)是一种特殊函数，具有以下性质。,熵函数H(P)是概率矢量P的函数，称为熵函数。,23,性质：,1、对称性,：,H(P) 的取值与分量 p,1,p,2,p,q,的顺序无关。,说明：,从数学角度：,H(P)=,p,i,log,p,i,中的和式满足交换率；,从随机变量的角度：熵只与随机变量的总体统计特性有关。,例,性质：1、对称性：,24,2、确定性,：H(1,0)=H(1,0,0)=H(1,0,0,0)=0,性质说明,：从总体来看，信源虽然有不同的输出符号，但它只有一个符号几乎必然出现，而其它符号则是几乎不可能出现，那么，这个信源是一个确知信源，其熵等于零。,3、非负性,： H(P), 0,说明,：,随机变量X的概率分布满足0,p,i,1，当取对数的底大于1时，log(,p,i,),0，-,p,i,log(,p,i,),0，即得到的熵为正值。只有当随机变量是一确知量时熵才等于零。,这种非负性合适于离散信源的熵，对连续信源来说这一性质并不存在。以后可看到在相对熵的概念下，可能出现负值。,非负性体现信息是非负的。,2、确定性：H(1,0)=H(1,0,0)=H(1,0,0,25,4、扩展性,性质说明：,信源的取值数增多时，若这些取值对应的概率很小(接近于零)，则信源的熵不变。,所以，上式成立,因为,4、扩展性性质说明：信源的取值数增多时，若这些取值对应的概率,26,5、可加性,统计独立,信源X和Y的,联合信源的熵,等于信源X和Y各自的熵之和。,H(XY) = H(X)+ H(Y),可加性是熵函数的一个重要特性，正因具有可加性，才使熵函数的形式是唯一的。,5、可加性可加性是熵函数的一个重要特性，正因具有可加性，才使,27,证明：,证明：,28,例如，甲信源为,它们的联合信源是,可计算得联合信源的联合熵：,H(Z) = H(XY) = log (,nm,) = log,m,+ log,n,= H(X) + H(Y),乙信源为,例如，甲信源为它们的联合信源是可计算得联合信源的联合熵：乙信,29,6、强可加性,两个互相关联的信源,X和Y的联合信源的熵等于信源X的熵加上在X已知条件下信源Y的条件熵。,H（XY）=H（X）+ H（Y/X）,H（Y/X）表示信源,X,输出一符号的条件下，信源Y再输出一符号所能提供的平均信息量，称为,条件熵,。,6、强可加性H（Y/X）表示信源 X 输出一符号的条件下，信,30,H（XY）=H（X）+ H（Y/X）的证明：,H（XY）= H（X）+ H（Y/X）,H（XY）=H（X）+ H（Y/X）的证明： H（XY）=,31,7、递增性,若原信源 X 中,有一个符号分割成了m个元素,(符号)，这m个元素的概率之和等于原元素的概率，而其他符号的概率不变，则,新信源的熵增加,。,熵的增加量等于由分割而产生的不确定性量。,7、递增性 若原信源 X 中有一个符号分割成了m个,32,证明可以从熵的定义或,强可加性,得出：,证明可以从熵的定义或强可加性得出：,33,因为,而当in时p,ij,=0，所以,即得：,因为而当in时pij=0，所以即得：,34,递增性的推广,它表示n个元素的信源熵可以递推成(n-1)个二元信源的熵函数的加权和。这样，可使,多元信源的熵函数的计算简化成计算若干个二元信源的熵函数,。因此，熵函数的递增性又可称为递推性。,递增性的推广它表示n个元素的信源熵可以递推成(n-1)个二元,35,8、极值性(定理1.1),在离散信源情况下，信源各符号,等概率分布,时，熵值达到最大。,性质表明,等概率分布信源的平均不确定性为最大。,这是一个很重要的结论，称为,最大离散熵定理。,证明,： 因为对数是,型凸函数，满足詹森不等式Elog Y,log EY，则有：,8、极值性(定理1.1)性质表明等概率分布信源的平均不确定性,36,二进制信源是离散信源的一个特例。 该信源符号只有二个，设为“0”和“1”。符号输出的概率分别为“,”,和“1-,”,，即信源的概率空间为：,H(X) = -,log (,1-,) log(,1-,) =H(),即信息熵H(x)是,的函数。,取值于0，1区间，可画出熵函数H(,) 的曲线来，如右图所示。,二进制信源是离散信源的一个特例。 该信源,37,熵函数H(P)是概率矢量P(p,1,，p,2,， ，p,q,)的严格,型凸函数(或称上凸函数)。,它表示：对任意概率矢量P1 (p,1,p,2, ,p,q,)和P2 (p,1,p,2, ,p,q,)，和任意的 0,1，有：,H,P1十(1-,)P2 ,H(P1)十(1-,)H(P2),因为熵函数具有上凸性，所以熵函数具有极值，其最大值存在。,9、上凸性,熵函数H(P)是概率矢量P(p1，p2， ，pq)的严格,38,当离散平稳无记忆信源发出固定长度的消息序列时，则得到原信源的,扩展信源,。,例如在电报系统中，若信源输出的是二个二元数字组成的符号序列，此时可认为是一个新的信源，它由四个符号（00，01，10，11）组成，我们把该信源称为,二元无记忆信源的二次扩展信源,。,如果把N个二元数字组成一组，则信源等效成一个具有2,N,个符号的新信源，把它称为,二元无记信源的N次扩展信源,。,1.3 离散无记忆信源的扩展信源,当离散平稳无记忆信源发出固定长度的消息序列时，则得到原信源的,39,一般情况下，对一个离散无记忆信源X，其样本空间为a,1,a,2, ,a,q, ，对它的输出,消息序列,，可用一组组长度为N的序列来表示它。这时，它等效成一个,新信源,。,新信源输出的,符号,是N维离散,随机矢量,X,=(X,1,，X,2,X,N,)，其中每个分量X,i,(i1,2,N)都是随机变量，它们都取值于同一信源符号集，并且分量之间统计独立，则由随机矢量,X,组成的新信源称为,离散无记忆信源X的N次扩展信源。,一般情况下，对一个离散无记忆信源X，其样本空间为a1,a2,40,单符号离散信源X的数学模型：,N次扩展信源与单符号离散信源,比较,：数学模型相同但输出不是单个符号，而是一串N个相互独立的符号序列：,X(X,1,X,2, X,N,) ，联合分布密度P(X)=P(X,1,X,2,X,N,),把 X 等效为一个新信源，称为,X的N次扩展信源，其数学模型,：,因为是无记忆的(彼此统计独立)则：,单符号离散信源X的数学模型：N次扩展信源与单符号离散信源比较,41,离散平稳无记忆N次扩展信源的熵 H(,X,) = H(X,N,) = N,H(X),其中,：,同理计算式中其余各项，得到：,H(X,N,) = H(X)+H(X)+H(X)= N H(X),证：,离散平稳无记忆N次扩展信源的熵 H,42,例,求如下离散无记忆信源的二次扩展信源及其熵。,解,：二次扩展信源的概率空间为,X,2,的信源符号,1,2,3,4,5,6,7,8,9,对应的符号序列,a,1,a,1,a,1,a,2,a,1,a,3,a,2,a,1,a,2,a,2,a,2,a,3,a,3,a,1,a,3,a,2,a,3,a,3,概率P(,i,),1/4,1/8,1/8,1/8,1/16,1/16,1/8,1/16,1/16,例 求如下离散无记忆信源的二次扩展信源及其熵。 解：二次,43,一、离散平稳信源的数学定义,在一般情况下,，信源在,t = i,时刻将要发出什么样的符号决定于两方面：,(1) 信源在,t = i,时刻随机变量X,i,取值的概率分布P(x,i,)。,一般,P(x,i,),P(x,j,),(2),t= i,时刻以前信源发出的符号。,即与条件概率,P(x,i,/x,i-1,x,i-2,),有关,对,平稳随机序列,，序列的统计性质与时间的推移无关，即信源发出符号序列的概率分布与时间起点无关。,1.4 联合熵,一、离散平稳信源的数学定义1.4 联合熵,44,平稳随机序列的数学定义如下：,若当,t = i，t = j,时(,i,j,是大于1的任意整数)，,P(x,i,)=P(x,j,)=P(x),，则序列是一维平稳的。具有这样性质的信源称为,一维平稳信源,。,除上述条件外，如果联合概率分布,P(x,i,x,i+1,),也与时间起点无关，即,P(x,i,x,i+1,)=P(x,j,x,j+1,) (i,j,为任意整数且,i,j,)，则信源称为,二维平稳信源,。它表示任何时刻信源发出二个符号的联合概率分布也完全相等。,如果各维联合概率分布均与时间起点无关，那么，信源是完全平稳的。这种各维联合概率分布均与时间起点无关的完全平稳信源称为,离散平稳信源,。这时有：,P(x,i,) = P(x,j,),P(x,i,x,i,+1,) = P(x,j,x,j,+1,),P(x,i,x,i,+1, x,i,+N,) = P(x,j,x,j,+1, x,i,+N,),平稳随机序列的数学定义如下： P(xi) = P(xj),45,由于,联合概率与条件概率,有以下关系：,结论：,对于平稳信源来说，其条件概率均与时间起点无关，只与关联长度N有关。,即平稳信源发出的平稳随机序列前后的依赖关系与时间起点无关,。,从,平稳性,可得：,由于联合概率与条件概率有以下关系：结论：对于平稳信源来说，其,46,对平稳信源,如果,某时刻发出什么符号只与前面发出的N个符号有关,，那么,任何时刻,它们的依赖关系都是一样的。即：,对平稳信源如果某时刻发出什么符号只与前面发出的N个符号有关，,47,二、二维平稳信源及其信息熵,最简单的平稳信源就是,二维平稳信源,。它,满足一维和二维概率分布与时间起点无关。,同时已知：连续两个信源符号出现的联合概率分布为,P(,a,i,a,j,),(,i, j =,1,q,),，且：,设有一个离散一维平稳信源，其概率空间为：,二、二维平稳信源及其信息熵 同时已知：连续两个信源符号出现的,48,对离散二维平稳信源的信息测度：,由于只有两个符号有关联，且其关联与时间无关，则我们可把这个信源输出的随机序列分成,每二个符号一组,(因为相邻的两个符号才有关联)，,每组,构成新信源的一个符号,，,并假设,组与组之间统计无关,(实际上，组尾的符号与下一组组头的符号是有关的)。,这时，,等效成一个新的信源X,1,X,2,，它们的联合概率空间为：,根据信息熵的定义，得：,H(X,1,X,2,)称为,X,1,X,2,的联合熵,。,对离散二维平稳信源的信息测度： 根据信息熵的定义，得：H,49,关于,离散二维平稳信源联合熵,H(,X,1,X,2,) 表示原来信源X输出任意一对消息的共熵，即,描述信源X输出长度为2的序列的平均不确定性,（或所含有的信息量）。,可用,H(,X,1,X,2,)/2,作为,信源X的信息熵的,近似,值,。,关于离散二维平稳信源联合熵H(X1X2) 表示原来信源X输出,50,从另一角度（,来研究信源X的信息熵的近似值）：,（1）由于信源X发出的符号序列中前后两个符号之间有依赖性，可以先求出在,已知,前面一个符号,X,l,a,i,时，信源输出,下一个符号,的平均不确定性：,（2）前面一个符号,X,l,又可取a,i,a,1,，a,2,，a,q,中任一个，对某一个a,i,存在一个平均不确定性H(X,2,/X,1,a,i,)，那么对所有a,i,的可能值,进行统计平均,就得当前面一个符号巳知时，再输出下一个符号的总的平均不确定性H(X,2,/X,1,) ：,从另一角度（来研究信源X的信息熵的近似值）：（2）前,51,（3）根据概率关系，可以得到,联合熵与条件熵,的关系：,（3）根据概率关系，可以得到联合熵与条件熵的关系：,52,即：H(X,1,X,2,)H(X,1,)+H(X,2,/X,1,),而 H(X,2,/X,1,),H(X,2,),因此,H(X,1,X,2,)H(X,1,)+H(X,2,/X,1,),H(X,1,)+H(X,2,) = 2H(X),所以，一般情况下，输出二个符号的联合熵总是小于二倍信源的熵。,即：H(X1X2)H(X1)+H(X2/X1),53,例,某一离散二维平稳信源,其发出的符号只与前一个符号有关，即可用联合概率P(a,i,a,j,)给出它们的关联程度，如下表所示,求信源的熵H(X)、条件熵H(X,2,/X,1,)和联合熵H(X,1,X,2,) 。,P(a,i,a,j,),a,j,a,i,0,1,2,0,1/4,1/18,0,1,1/18,1/3,1/18,2,0,1/18,7/36,例 某一离散二维平稳信源其发出的符号只与前一个符号有关，,54,解,：根据概率关系可计算得条件概率P（a,j,/a,i,）,计算结果列表如下：,a,j,a,i,0,1,2,0,9/11,1/8,0,1,2/11,3/4,2/9,2,0,1/8,7/9,P(a,i,a,j,),a,j,a,i,0,1,2,0,1/4,1/18,0,1,1/18,1/3,1/18,2,0,1/18,7/36,解：根据概率关系可计算得条件概率P（aj/ai）,计算结果,55,得：,得：,56,一、条件熵(信道疑义度),信道输入信源X的熵,H(X)是在接收到输出Y以前，关于输入变量X的先验不确定性，称为,先验熵,。,1.5 条件熵和互信息量,一、条件熵(信道疑义度)信道输入信源X的熵 H,57,接受到b,j,后，关于X的不确定性为,后验熵在输出符号集Y范围内是个随机量，对后验熵在符号集Y中求数学期望，得条件熵-,信道疑义度,：,这是接收到输出符号b,j,后关于X的,后验熵,。,后验熵是当信道接收端接收到输出符号b,j,后，关于输入符号的信息测度。,接受到bj后，关于X的不确定性为 后验熵在输,58,互信息量,I(x,i,; y,j,),：收到消息,y,j,后获得关于x,i,的信息量。,即：互信息量表示先验的不确定性减去尚存的不确定性，这就是,收信者获得的信息量,二、平均互信息,互信息量 I(xi ; yj)：收到消息yj 后获得关于xi,59,平均互信息,I(X; Y)：,I,(x,i,; y,j,),的,统计平均,它代表接收到符号集Y后平均每个符号获得的关于X的信息量，也表示了输入与输出两个随机变量之间的统计约束程度。,平均互信息I(X; Y)： I(xi ; yj)的统计平均它,60,关于平均互信息I(X,;,Y),互信息 I(,x,;,y,) 代表收到某消息,y,后获得关于某事件,x,的信息量。,它可取正值，也可取负值。,若互信息I(,x,;,y,)= 0,。,若,I(X,;,Y),= 0,，,表示,在信道输出端接收到输出符号Y后不获得任何关于输入符号X的信息量-,全损信道,。,关于平均互信息I(X;Y),61,I(X;Y) = H(X) - H(X|Y),I(X;Y) = H(Y) - H(Y|X),I(X;Y) = H(X)+H(Y)-H(XY),其中：,平均互信息与各类熵的关系,I(X;Y) = H(X),62,平均互信息与各类熵之间关系的集合图,（,维拉图,）,表示：,H(X|Y) = H(X) - I(X,;,Y),H(Y|X) = H(Y) - I(X,;,Y),H(XY) = H(X)+H(Y)- I(X,;,Y),H(X),H(Y),H(X/Y),H(Y/X),I(X;Y),H(XY),图中，左边的圆代表随机变量X的熵，右边的圆代表随机变量Y的熵，两个圆重叠部分是平均互信息I(X,;,Y)。每个圆减去I(X,;,Y)后剩余的部分代表两个疑义度。,平均互信息与各类熵之间关系的集合图（维拉图）表示：H(X)H,63,两种特殊信道,（1）离散无干扰信道 ( 无损信道 ),信道的输入和输出一一对应，信息无损失地传输，称为,无损信道,。,H(X|Y) = H(Y|X) = 0,损失熵和噪声熵都为“0” ,由于噪声熵等于零，因此，输出端接收的信息就等于平均互信息:,I(X;Y) = H(X) = H(Y),两种特殊信道（1）离散无干扰信道 ( 无损信道 ),64,（2）输入输出独立信道 ( 全损信道 ),信道输入端X与输出端Y完全统计独立,H(X|Y) = H(X) , H(Y|X) = H(Y),所以,I(X;Y) = 0,I(X;Y) = H(X) - H(X|Y),信道的输入和输出没有,依赖,关系，信息无法传输，称为,全损信道,。,接收到Y后不可能消除有关输入端X的任何不确定性，所以获得的信息量等于零。同样，也不能从X中获得任何关于Y的信息量。,平均互信息I(X,;,Y)等于零，表明了,信道两端随机变量的统计约束程度等于零,。,（2）输入输出独立信道 ( 全损信道 ) H(X,65,二种极限信道各类熵与平均互信息之间的关系,H(X|Y) = H(X),H(Y|X) = H(Y),I(X;Y) = 0,H(X|Y)=H(Y|X)=0,I(X;Y)=H(X)=H(Y),无损信道：完全重迭,全损信道：完全独立,无损信道：,全损信道：,二种极限信道各类熵与平均互信息之间的关系 H(X|Y) =,66,平均互信息的性质,平均互信息,I,(X,;,Y) 具有以下特性：,（1）非负性,即,I,(X,;,Y) = 0,当X、Y统计独立时等式成立。,（2）极值性,即,I,(X,;,Y) = H(X|Y),H(Y) = H(Y|X),H(XY) = H(X) + H(Y),熵之间的相互关系,78,熵的意义（对通信系统）,H(X)：,表示信源中每个符号的平均信息量（,信源熵,）。,H(Y)：,表示信宿中每个符号的平均信息量（,信宿熵,）。,H(X|Y)：,表示在输出端接收到Y的全部符号后，发送端X尚存的平均不确定性。这个对X尚存的不确定性是由于干扰引起的。,信道疑义度,(,损失熵,，,含糊度,),H(Y|X)：,表示在已知X的全部符号后，对于输出Y尚存的平均不确定性。,信道散布度,(,噪声熵,),H(XY)：,表示整个信息传输系统的平均不确定性（,联合熵）,。,熵的意义（对通信系统）,79,解：信源X的熵为：,例,：有两个同时输出的信源X和Y，其中X的信源符号为A，B，C，Y的信源符号为D，E，F，G，已知 P(X)和P（Y/X），求联合信源的联合熵和条件熵。,X,A,B,C,P(x),1/2,1/3,1/6,P(y/x),D,1/4,3/10,1/6,E,1/4,1/5,1/2,F,1/4,1/5,1/6,G,1/4,3/10,1/6,解：信源X的熵为：例：有两个同时输出的信源X和Y，其中X,80,信源XY输出每一对消息的联合概率为：,P(XY) = P(Y/X)P(X),，结果如下表：,P(xy),X,A,B,C,Y,D,1/8,1/10,1/36,E,1/8,1/15,1/12,F,1/8,1/15,1/36,G,1/8,1/10,1/36,联合信源的联合熵：,信源Y的条件熵：,信道散布度,(,噪声熵,),信源XY输出每一对消息的联合概率为：P(XY) = P(Y/,81,从上述结果可得：,H(XY)=H(X)+H(Y/X) =1.461+1.956=3.417(bit/每对符号),当两个信源统计独立时，H(XY)=H(X)+H(Y)，为最大。,对第二个信源Y，其熵H(Y)的计算。由全概率公式：,因此：,从上述结果可得：当两个信源统计独立时，H(XY)=H(X)+,82,联合熵的最大值为：,由于信源相关，使联合熵减小，其减小量为：,联合熵的最大值为：由于信源相关，使联合熵减小，其减小量为：,83,