数据处理中信息的变化教学提纲课件

数据处理中信息的变化.而且而且 (2)又由又由 I(X;YZ)I(X;Y)I(X;Z/Y)和和 I(X;YZ)I(X;ZY)I(X;Z)I(X;Y/Z)得得:I(X;Z)=I(X;Y)I(X;Z/Y)-I(X;Y/Z)综合综合(1)、(2)得：得：I(X;Z)I(X;Y)将将 I(YZ;X)I(Y;X)I(Z;X/Y)中的中的X代替代替Y、Y代替代替Z、Z代替代替X得得 I(XY;Z)I(X;Z)I(Y;Z/X)（）（）再将式（）右边的再将式（）右边的X和和Y互换得：互换得：I(XY;Z)I(Y;Z)I(X;Z/Y)（）6/25/20242由式（）和（由式（）和（）得：）得：I(X;Z)I(Y;Z/X)=I(Y;Z)I(X;Z/Y)所以，有所以，有 I(X;Z)=I(Y;Z)I(X;Z/Y)-I(Y;Z/X)I(X;Z)I(Y;Z)综合综合(1)、(2)得：得：证毕。证毕。结论：结论：数据处理过程中只会失掉一些信息，绝数据处理过程中只会失掉一些信息，绝不会创造出新的信息，所谓不会创造出新的信息，所谓信息不增性信息不增性。6/25/202431.非负性非负性 H（X）H（x1，x2，xn）=0 其中：等号只有在其中：等号只有在n=1时成立。时成立。证明：证明：（1）因为因为 ，且在熵函数中，对，且在熵函数中，对数的底总是取大于数的底总是取大于1的数，则的数，则logp(xi)=0，-logp(xi)=0，（，（i=1,2,n）,所以所以 2.2.5 熵函数的代数性质6/25/20244在熵函数中，当在熵函数中，当 n=1 时时,p(x1)=1,log p(x1)=0,H(X)=H(x1)=p(x1)log p(x1)=0 证毕。证毕。说明：说明：（i）这就是熵函数的非负性。表明，从总体平这就是熵函数的非负性。表明，从总体平均意义上讲，信源在发送符号以前，总是存在均意义上讲，信源在发送符号以前，总是存在一定的不确定性；在发送符号后，总可以提供一定的不确定性；在发送符号后，总可以提供一定的信息量。一定的信息量。（ii）从数学角度上看，信息熵具有非负性的关从数学角度上看，信息熵具有非负性的关键，在于信息函数中对数的底取大于键，在于信息函数中对数的底取大于1的数。的数。熵的非负性并非必要条件。这种非负性对于离熵的非负性并非必要条件。这种非负性对于离散信源的信息熵是合适的，但对于连续信源来散信源的信息熵是合适的，但对于连续信源来讲，在相对熵的概念下，就可能出现负值。讲，在相对熵的概念下，就可能出现负值。6/25/202452对称性对称性 熵熵函函数数所所有有变变元元顺顺序序可可以以任任意意互互换换，而而熵熵函函数数的值不变。即的值不变。即 H（x1，x2，xn）H（x2，x1，xn）H（xn，x1，x2）因为熵函数只与随机变量的总体结构有关，例因为熵函数只与随机变量的总体结构有关，例如下列信源的熵都是相等的：如下列信源的熵都是相等的：6/25/20246证明：证明：由由根据加法交换律，熵函数所有变元顺序可以任根据加法交换律，熵函数所有变元顺序可以任意互换，而熵函数的值不变。意互换，而熵函数的值不变。说明说明 (1)熵函数的对称性表明熵函数的对称性表明,信源的信息熵只与信源的信息熵只与信源的概率空间的总体结构有关信源的概率空间的总体结构有关,而与各概率而与各概率分量和各信源符号的对应关系分量和各信源符号的对应关系,乃至各信源符乃至各信源符号本身无关号本身无关.(2)概率空间的总体结构概率空间的总体结构(概率分量数概率分量数n)相相同的信源同的信源,不论其信源符号是否相同不论其信源符号是否相同,也不论其也不论其概率分量与信源符号的对应关系是否一致概率分量与信源符号的对应关系是否一致,其其信源的信息熵均相等信源的信息熵均相等.6/25/20247分析概率分量数都等于概率分量数都等于3,概率空间都是由概率空间都是由1/2,1/3,1/6这三个分量构成。由于这三个这三个分量构成。由于这三个信源的概率空间的总体结构相同信源的概率空间的总体结构相同,所以他所以他们的信息熵相等们的信息熵相等.即即 H(1/3,1/2,1/6)=H(1/3,1/6,1/2)=H(1/2,1/3,1/6)=1.4592 比特比特/信源符号信源符号6/25/202483.确定性确定性若信源若信源X的概率空间中任意一概率分量等于的概率空间中任意一概率分量等于1时时,其它所有概率分量均等于零其它所有概率分量均等于零,即即 则信源则信源X的信息熵一定等于的信息熵一定等于0,即即 H(x)=H(0,0,1,0)=-0log0+0log0+1log1+0log0 =06/25/20249说明说明(1)当信源任意一个符号几乎必然出现时当信源任意一个符号几乎必然出现时,其它符号几乎不可能出现其它符号几乎不可能出现,这个信源是这个信源是一个确知信源一个确知信源.在发符号前在发符号前,不存在不确不存在不确定性定性;在发符号后在发符号后,不提供任何信息量不提供任何信息量.(2)当任意一个概率分量等于当任意一个概率分量等于1时时,才能使信才能使信源信息熵等于源信息熵等于0.6/25/2024104香农辅助定理香农辅助定理 对对于于任任意意两两个个n维维概概率率矢矢量量P=（p1，p2，pn）和和Q=（q1，q2，qn），如如下下不不等等式式成成立立:该该式式表表明明，对对任任意意概概率率分分布布pi，它它对对其其他他概概率率分分布布qi的的自自信信息息量量-logqi取取数数学学期期望望时时，必必不不小小于于 pi本身的熵。等号仅当本身的熵。等号仅当 P=Q时成立。时成立。6/25/2024115最大离散信源熵定理 给给定定离离散散无无记记忆忆信信源源输输出出n n个个不不同同的的信信息息符符 号号，离离 散散 信信 源源 的的 n个个 概概 率率 分分 量量 p1,p2,pn,当当且且仅仅当当各各个个符符号号出出现现概概率率相等时（即相等时（即piln n）熵最大。）熵最大。H（X）=H(1/n,1/n,1/n)=logn 6/25/202412证明:按条件极值的数学求解方法，做辅助函数（约束按条件极值的数学求解方法，做辅助函数（约束条件条件 )F(p1,p2,pn)=H(p1,p2,pr)+pi1 =-pipi+pi 1 其其中中，为为待待定定常常数数，对对辅辅助助函函数数F(p1,p2,pn)中中的的n 个个变变量量pi（i=1,2,n）分分别别求求偏偏导导，并并置之为零，得置之为零，得n个稳定点方程个稳定点方程 -（1+pi）+=0 （i=1,2,n）6/25/202413由稳定点方程可解得由稳定点方程可解得 pi=2(-1)（i=1,2,n）将上式代入约束方程，有将上式代入约束方程，有 pi=2(-1)=n 2(-1)=1 即得即得 2(-1)=1/n 解解得得使使熵熵函函数数H(p1,p2,pn)取取得得条条件件极极大大值值，即即熵熵函函数数H(p1,p2,pn)的的最最大大值值的的信信源符号源符号xi（i=1,2,n）相应的概率分布）相应的概率分布 pi=1/n 6/25/202414由此，求得熵函数的最大值由此，求得熵函数的最大值 H0(p1,p2,pn)=H(1/n,1/n,1/n)=1/n1/n =n 在在一一般般情情况况下下，离离散散信信源源的的熵熵函函数数不不会会超过上式所示的最大值，即有超过上式所示的最大值，即有 H(p1,p2,pn)n 6/25/2024156条件熵小于无条件熵条件熵小于无条件熵 1)条条件件熵熵小小于于信信源源熵熵：H(X/Y)=0,所以所以,H（X）一）一 H（XY）=0 H（X）=H（XY）6/25/2024162)两个条件下的条件熵小于一个条件下的两个条件下的条件熵小于一个条件下的条件熵：条件熵：H（ZX Y）=H（ZY）。）。当且仅当当且仅当p(z/xy)=p(z/y)时取等号。时取等号。证明证明:由由 I(Z;Y)=H(Z)-H(Z/Y)所以所以 I(Z/Y;X)=H(Z/Y)-H(Z/YX)又有又有 I(Z/Y;X)0 所以所以 H(Z)-H(Z/XY)0 H(Z/XY)=0所以所以 H（X）H（Y）=H（XY）6/25/202420互信息量与熵之间的关系图互信息量与熵之间的关系图H(X/Y)H(Y/X)I(X;Y)H(X)H(Y)H(XY)6/25/202421H（XY）=H（X）H（Y/X）=H（Y）H（XY）H（X）H（XY），），H（Y）H（YX）I（X；Y）=H（X）-H（XY）=H（Y）-H（YX）=H（X）H（Y）H（XY）H（XY）H（X）H（Y）如果如果X与与Y互相独立，则互相独立，则I（X；Y）0 此时：此时：H（XY）H（X）+H（Y）H（X）H（XY）H（Y）H（YX）从图中可得到如下关系从图中可得到如下关系6/25/202422例例226 二进制通信系统用符号二进制通信系统用符号“0”和和“1”，由于存在失真，传输时会产生误码，用由于存在失真，传输时会产生误码，用符号表示下列事件：符号表示下列事件：u0:发出一个发出一个“0”；u1：发出一个：发出一个“1”；v0：收到一个：收到一个“0”；v1：收到一个：收到一个“1”。6/25/202423给给定定下下列列概概率率：p（u0）=1/2,p（v0u0）3/4，p（v0u1）1/2，求求（1）已已知知发发出出一一个个“0”，收收到到符符号号后后得得到到的信息量；的信息量；（2）已已知知发发出出的的符符号号，收收到到符符号号后后得得到到的的信信息量；息量；（3）知知道道发发出出的的和和收收到到的的符符号号能能得得到到的的信信息息量；量；（4）已知收到的符号，被告知发出的符号得已知收到的符号，被告知发出的符号得到的信息量。到的信息量。6/25/202424解：解：设设U=u0,u1,V=v0,v1,（1）先求出先求出 p(v1/u0)=1 p(v0/u0)=1/4 所以所以 H(V/u0)=p(v0/u0)log2p(v0/u0)p(v1/u0)log2p(v1/u0)=H(1/4,3/4)=0.82 比特比特/符号符号6/25/202425（2）联合概率联合概率 p（u0 v0）p（v0/u0）p（u0）3/8，同理可得同理可得 p（u0 v1）p（v1/u0）p（u0）=18，p（u1 v0）=p（v0/u1）p（u1）=14，p（u1 v1）p（v1/u1）p（u1）=146/25/202426H（VU）=0.91 比特比特/符号符号 6/25/202427（3）解法解法1：H（U V）=-p(u0v0)log2p(u0v0)-p(u0v1)log2p(u0v1)-p(u1v0)log2p(u1v0)-p(u1v1)log2p(u1v1)=1.91 比特比特/符号符号 6/25/202428解法2：因为因为p（u0）=p（u1）=1/2，所以所以H(U)=-p（u0)log2 p（u0）-p（u1)log2 p（u1）=1 比特比特/符号符号 H（UV）H（U）H（VU）=10.91 1.91比特比特/符号符号 6/25/202429(4）可求出可求出 p(v0)=p(u0v0)+p(u1v0)=3/8+1/4 =5/8 p(v1)=p(u0v1)+p(u1v1)=1/8+1/4 =3/8 H（V）=H（3/8，5/8）=0.96 比特比特/符号符号 H（UV）=H（V）+H（U/V）H（U/V）=H（UV）-H（V）=1.91-0.96 =0.95 比特比特/符号符号 6/25/202430第 三 讲2002年4月29日6/25/2024314)4)条件条件熵熵定义定义 在给定在给定Y（即各个（即各个yj）条件下，）条件下，X集合的条件集合的条件 熵熵H（X/Y）定义为）定义为 H（X/Y）在给定在给定X（即各个（即各个xi）条件下，）条件下，Y集合的条件集合的条件熵熵H（Y/X）定义为）定义为 H（Y/X）回顾第二讲回顾第二讲6/25/2024325)联合熵联合熵定义定义 联合熵是联合符号集合联合熵是联合符号集合 XY上的每个元素对上的每个元素对xiyj的自信息量的概率加权统计平均值。定义的自信息量的概率加权统计平均值。定义为为 H（XY）回顾第二讲回顾第二讲6/25/202433回顾第二讲回顾第二讲什么叫互信息量什么叫互信息量?什么叫平均互信息量什么叫平均互信息量?I（xi;yj）=log 6/25/202434数据处理定理如何描述数据处理定理如何描述?当消息通过多级处理器时，当消息通过多级处理器时，随着处理器数目的增多，输入随着处理器数目的增多，输入消息与输出消息之间的平均互消息与输出消息之间的平均互信息量趋于变小。信息量趋于变小。6/25/202435熵函数的代数性质熵函数的代数性质:1.非负性非负性2.对称性对称性 H（x1，x2，xn）H（x2，x1，xn）H（xn，x1，x2）H（X）H（x1，x2，xn）06/25/2024363.确定性确定性 H(x)=H(0,0,1,0)=-0log0+0log0+1log1+0log0 =04.香农辅助定理香农辅助定理6/25/2024375.最大熵定理最大熵定理 6.条件熵小于无条件熵条件熵小于无条件熵6/25/202438今天所讲内容如下今天所讲内容如下6/25/202439 2.3.1 连续信源的熵连续信源的熵 1.什么叫连续信源熵什么叫连续信源熵?分析如下分析如下:假设假设x a,b，令，令 x(b-a)n，xi a(i-1)x,aix，px(x)为连为连续变量续变量X的概率密度函数，则利用中值定的概率密度函数，则利用中值定理理,X取取xi的概率是的概率是:第三节 连续信源的熵和互信息6/25/202440根据离散信源熵的定义，则根据离散信源熵的定义，则 当当n 时，即时，即 时，由积分定义得时，由积分定义得 6/25/202441上式的第一项具有离散信源熵的形式，上式的第一项具有离散信源熵的形式，是定值，第二项为无穷大。是定值，第二项为无穷大。因此因此,连续信源熵连续信源熵(也叫也叫相对熵相对熵)定义为定义为:6/25/202442说明:为什么连续信源的不确定度为无穷大为什么连续信源的不确定度为无穷大?虽然连续信源熵与离散信源熵具有相虽然连续信源熵与离散信源熵具有相同的形式，但其意义不同。连续信源的不同的形式，但其意义不同。连续信源的不确定度应为无穷大，这是因为连续信源可确定度应为无穷大，这是因为连续信源可以假设是一个不可数的无限多个幅度值的以假设是一个不可数的无限多个幅度值的信源，需要无限多个二进制比特来表示，信源，需要无限多个二进制比特来表示，因而它的熵为无穷大因而它的熵为无穷大(绝对熵绝对熵)。但采用上。但采用上式来定义连续信源的熵是因为在实际问题式来定义连续信源的熵是因为在实际问题中，常遇到的是熵之间的差，如互信息量，中，常遇到的是熵之间的差，如互信息量，只要两者逼近时所取的只要两者逼近时所取的x 一致，上式中一致，上式中第二项无穷大量是抵消的。第二项无穷大量是抵消的。6/25/202443 0 1 2 3 x1/2Px(x)（a）信源输出信号概率密度）信源输出信号概率密度例例2-3-1 已知信源概率密度，求连续熵？已知信源概率密度，求连续熵？由图（由图（a）得）得 6/25/202444 0 1 2 3 4 5 6 x1/4Px(x)（b）信源输出信号被放大）信源输出信号被放大2倍后概率密度倍后概率密度由图（由图（b）得）得 6/25/202445说明：说明：图（图（b）是图（）是图（a）的放大，计算结）的放大，计算结果表明信息量增加了，这是荒谬的。因果表明信息量增加了，这是荒谬的。因为这两种情况的绝对熵是不会变的，这为这两种情况的绝对熵是不会变的，这是由无穷大项所造成的，图（是由无穷大项所造成的，图（b）比）比（a）大了）大了1比特。因此比特。因此Hc（X）给出的熵）给出的熵有有相对意义，而不是绝对值。相对意义，而不是绝对值。6/25/202446连续信源联合相对熵连续信源联合相对熵连续信源条件相对熵连续信源条件相对熵 6/25/2024472.互信息量互信息量 Hc(XY)Hc(X)Hc(Y/X)Hc(Y)Hc(X/Y)I(X;Y)I(Y;X)Hc(X)-Hc(X/Y)Hc(X)Hc(Y)-Hc(XY)Hc(Y)-Hc(Y/X)6/25/2024482.3.2 连续信源最大相对熵定理连续信源最大相对熵定理 问题问题:在连续信源中，当概率密度函数满足什么在连续信源中，当概率密度函数满足什么条件时才能使连续信源条件时才能使连续信源相对熵相对熵最大？最大？6/25/2024491.峰值功率受限的最大相对熵定理峰值功率受限的最大相对熵定理 对于定义域为有限的随机矢量对于定义域为有限的随机矢量X，当它是，当它是均匀分布时，其熵最大。均匀分布时，其熵最大。证明证明:已知已知变量变量X的幅度取值限制在的幅度取值限制在a,b，则，则由，由，有有 ，对于对于由拉格郎日乘数法知由拉格郎日乘数法知 6/25/202450令令 有有6/25/202451当任意当任意 符合平均分布条件符合平均分布条件 时，信源达到最大熵。时，信源达到最大熵。6/25/2024522.限平均功率最大相对熵定理限平均功率最大相对熵定理 对于相关矩阵一定的随机矢量对于相关矩阵一定的随机矢量X，当它是正态分布时具，当它是正态分布时具有最大相对熵。有最大相对熵。定理：对于单维连续信源定理：对于单维连续信源X来说，在取值区间来说，在取值区间a,b（或（或R)内，若有这样一个概率密度函数内，若有这样一个概率密度函数 对另一个满足同样约对另一个满足同样约束条件的概率密度函数束条件的概率密度函数 ，如有，如有 则这个概率密度函数则这个概率密度函数 就是使单维连续信源就是使单维连续信源X的相对熵的相对熵达到最大值的概率密度函数，其最大相对熵是：达到最大值的概率密度函数，其最大相对熵是：6/25/202453证明:设：设：连续信源连续信源X在整个实数轴在整个实数轴R:（-，）取值，取值，其平均功率限定为其平均功率限定为P(均值固定为均值固定为m)。若。若 是是 满足平均功率限定条件（均值固定为满足平均功率限定条件（均值固定为m）的除）的除 了正态分布的概率密度函数以外的任一概率密了正态分布的概率密度函数以外的任一概率密 度函数，即有度函数，即有 6/25/202454 若若把把连连续续信信源源X在在取取值值区区间间（-，）内内满满足足平平均均功功率率限限定定条条件件（均均值值固固定定为为m）的的正正态态分分布布的的概概率率密密度度函函数数记记为为 ,则有则有 =1 （4）=m （5）=P （6）6/25/202455 符符合合约约束束条条件件（4）和和（5）及及（6）式式的的正态分布的概率密度函数正态分布的概率密度函数 其中：其中：m为数学期望，为数学期望，是方差是方差 6/25/202456 （7）由于平均功率由于平均功率P是限定值（均值固定为是限定值（均值固定为m），所以方差），所以方差 也是限定值也是限定值 6/25/202457由(1),(2),和(3)及(4)式可有 6/25/2024586/25/202459其中其中，6/25/202460 这就证明了，平均功率限定这就证明了，平均功率限定P（均值（均值固定为固定为m）的连续信源）的连续信源X，当输出消息的，当输出消息的概率密度函数为高斯分布的概率密度函概率密度函数为高斯分布的概率密度函数数p(x)时，其相对熵时，其相对熵H(X)达到最大值达到最大值Hp(X)，其值只取决于限定的平均功率，其值只取决于限定的平均功率（固定均值为（固定均值为m）,即取决于方差即取决于方差 6/25/2024613.均值受限最大相对熵定理均值受限最大相对熵定理证明：证明：设连续信源设连续信源X的取值区间为（的取值区间为（0，），），均值限定为均值限定为a(a0)。若。若q(x)是满足均值限定条件是满足均值限定条件的，除了指数分布以外的任意概率分布的概率的，除了指数分布以外的任意概率分布的概率密度函数，即有密度函数，即有 =1 （1）=a （2）6/25/202462若把连续信源若把连续信源X在取值区间（在取值区间（0，）内满足）内满足均值限定条件的指数分布的概率密度函数均值限定条件的指数分布的概率密度函数记为记为p(x),则有则有 =1 （3）=a （4）6/25/202463符合限制条件（符合限制条件（3）和（）和（4）式的指数分）式的指数分布的概率密度函数布的概率密度函数 （5）6/25/202464 由由(1),(2),(3),(4),(5)式可得式可得 6/25/202465 （7）6/25/202466 这就证明了，输出非负消息且其均这就证明了，输出非负消息且其均值限定值限定a的单维连续信源的单维连续信源X,当输出消息的当输出消息的概率密度函数为指数分布的概率密度函概率密度函数为指数分布的概率密度函数数p(x)时，其相对熵时，其相对熵H(X)达到最大值达到最大值Hp(X)，其值只取决于限定均值，其值只取决于限定均值a。6/25/202467此课件下载可自行编辑修改，仅供参考！此课件下载可自行编辑修改，仅供参考！感谢您的支持，我们努力做得更好！谢谢感谢您的支持，我们努力做得更好！谢谢