信息论-信息熵课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,信息熵,熵,条件熵,联合熵,1.,信息熵,2.1.2,信息熵,信息熵熵条件熵联合熵1.信息熵2.1.2 信息熵,1,已知单符号离散无记忆信源的数学模型,定义：各离散消息自信息量的数学期望，即信源的,平均信息量,。,信源的信息熵；香农熵；无条件熵；熵函数；,熵,单位：,比特/符号,已知单符号离散无记忆信源的数学模型定义：各离散消息自信息量,2,例:某地二月份天气构成的信源为,由定义，该信源的熵为,例:某地二月份天气构成的信源为 由定义，该信源的熵为,3,总括起来，信源熵有三种物理含义：,信源熵,H(X),表示,信源输出后,，离散消息所提供的,平均信息量,。,信源熵,H(X),表示,信源输出前,，信源的,平均不确定度,。,信源熵,H(X),反映了,变量X的随机性,。,1,2,3,总括起来，信源熵有三种物理含义：信源熵H(X)表示信源输出后,4,例：有三个信源,X,，,Y,，,Z,，其概率空间为,可见 H(,X,)H(,Y,)H(,Z,)，信源符号的概率分布越均匀，则平均信息量越大，信源X比信源Y平均信息量大，Z是确定事件，不含有信息量。,例：有三个信源X，Y，Z，其概率空间为可见 H(X)H(Y,5,例：有一篇千字文章，假定每个字可从一万个汉字中任选，则共有不同的千字文篇数为N=10000,1000,=10,4000,篇，按等概计算，平均每篇千字文可提供的信息量？,例：有一篇千字文章，假定每个字可从一万个汉字中任选，则共有不,6,2.条件熵,思考：求条件熵时为什么要用联合概率加权？,2.条件熵 思考：求条件熵时为什么要用联合概率加权？,7,例:已知,X,，,Y,0，1，,XY,构成的联合概率为：,p,(00)=,p,(11)=1/8，,p,(01)=,p,(10)=3/8,计算条件熵,H,(,X,/,Y,)。,例:已知X，Y0，1，XY构成的联合概率为：p(00),8,3.联合熵,3.联合熵,9,1,2.1.3 信息熵的性质,证明：随机变量X的概率分布满足0p(x,i,)1，,log,2,p(x,i,)0，所以H(X)0,因每一项非负，所以必须是每一项为零等号才成立。此时只有p(x,i,)=0或p(x,i,)=1 时上式才成立，而,所以只能有一个,p,(,x,i,)=1，而其他,p,(,x,k,)=0(,k,i,)。这个信源是一个确知信源，其熵等于零。,非负性,H,(,X,)0,其中等号成立的充要条件是当且仅当对某,i,，,p,(,x,i,)=1，其余的,p,(,x,k,)=0(,k,i,)。,12.1.3 信息熵的性质证明：随机变量X的概率分布满足0,10,对称性,2,当变量,p,(,x,1,),p,(,x,2,),p,(,x,n,)的顺序任意互换时，熵函数的值不变，即,对称性2 当变量 p(x1),p(x2),p(xn,11,信源中包含,n,个不同离散消息时，信源熵,H(X),有,当且仅当,X,中各个消息出现的概率全相等时，上式取等号。,最大离散熵定理,3,信源中包含n个不同离散消息时，信源熵H(X)有 当且仅当X中,12,证明：自然对数具有性质,证明：自然对数具有性质,13,信息论-信息熵课件,14,对于单符号离散信源，当信源呈等概率分布时具有最大熵。,对于单符号离散信源，当信源呈等概率分布时具有最大熵。,15,确知信源的不确定度为零。,确定性,4,确知信源的不确定度为零。确定性4,16,可加性,5,可加性5,17,6,香农辅助定理和极值性,对于任意两个消息数相同的信源,X,和,Y,，,i,=1,2,n,有,含义：任一概率分布对其他概率分布的自信息量取数学期望，必大于等于本身的熵。,6香农辅助定理和极值性 对于任意两个消息数相同的信源X和Y，,18,由上式可证明条件熵小于等于等于无条件熵，即H(X/Y)H(X),由上式可证明条件熵小于等于等于无条件熵，即H(X/Y)H(,19,二进制通信系统用符号“0”和“1”，由于存在失真，传输时会产生误码，用符号表示下列事件：,u,0,：一个“0”发出；u,1,：一个“1”发出；,v,0,：一个“0”收到；v,1,：一个“1”收到；,给定下列概率：p(u,0,)=1/2，p(v,0,/u,0,)=3/4，p(v,0,/u,1,)=1/2，求,（1）已知发出一个“0”，收到符号后得到的信息量；,（2）已知发出的符号，收到符号后得到的信息量；,（3）知道发出的和收到的符号能得到的信息量；,（4）已知收到的符号，被告知发出的符号能得到的信息量；,二进制通信系统用符号“0”和“1”，由于存在失真，传输时会产,20,作业：2.3 2.4,作业：2.3 2.4,21,2.3 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？,2.4 设离散无记忆信源,，其发出的信息为(202120130213001203210110321010021032011223210)，求,(1)此消息的自信息量是多少？,(2)此消息中平均每符号携带的信息量是多少？,2.3 居住某地区的女孩子有25%是大学生，在女大学生中有7,22,