资源描述
熵与互信息第2章 熵与互信息信息如何度量？7/29/2024熵与互信息2.1 熵信源发出的消息为单一符号，而这些符号随机地取值于一个有限集合1、单符号离散信源定义表示离散型随机变量X7/29/2024熵与互信息随机变量X的取值xi为信源发出的消息 i=1,2,N7/29/2024熵与互信息例1例27/29/2024熵与互信息2、自信息量消息xi的概率P(xi)对数的负值，也叫无条件自信息量，用I(xi)表示定义表示单位由对数的底a决定当a=2时为bit(binary unit)，a=e时为nat(nature unit)，a=10时为Hart(Hartley)7/29/2024熵与互信息以bit为单位的自信息量I(xi)与xi的概率P(xi)相关I(xi)是P(xi)的减函数，且当P(xi)=0时I(xi)，P(xi)=1时I(xi)=0I(xi)是P(xi)的连续函数7/29/2024熵与互信息例3信源发出各消息的自信息量7/29/2024熵与互信息3、熵信源各消息自信息量的数学期望，也叫无条件熵，用H(X)表示定义表示单位一般为bit或bit/symbol7/29/2024熵与互信息H(X)反映信源每发出一条消息所提供的平均信息量，不反映信源发出某条特定消息的信息量一般情况下，H(X)不等于每接受一条消息所获得的平均信息量7/29/2024熵与互信息4、熵的主要性质和最大熵定理非负性严格上凸性7/29/2024熵与互信息严格上凸性的描述设函数f(x)对任一小于1的正数及定义域中任意两个值x1、x2，如果称函数f(x)为严格上凸函数7/29/2024熵与互信息7/29/2024熵与互信息7/29/2024熵与互信息7/29/2024熵与互信息最大熵定理等概率信源具有最大熵，最大熵H(X)max=logn7/29/2024熵与互信息7/29/2024熵与互信息例4信源的信息熵7/29/2024熵与互信息例5信源的信息熵7/29/2024熵与互信息例6信源的信息熵及p-H(p)曲线当p=0时，H(p)=0p=0.25时，H(p)=0.811(bit)7/29/2024熵与互信息p=0.75时，H(p)=0.811(bit)p=1时，H(p)=0p=0.5时，H(p)=1(bit)00.51H(p)1p0.250.750.8117/29/2024熵与互信息2.2 联合熵与条件熵信源发出的消息为有限或可数的符号序列，而符号序列中任何时刻的符号都随机地取值于同一个有限集合1、多符号离散信源定义表示离散型随机过程X1X2Xn7/29/2024熵与互信息7/29/2024熵与互信息例17/29/2024熵与互信息2、自信息量消息xi1xi2xin的概率P(xi1xi2xin)对数的负值，也叫联合自信息量，用I(xi1xi2xin)表示定义表示7/29/2024熵与互信息定义条件概率P(xin/xi1xin-1)对数的负值，用I(xin/xi1xin-1)表示条件自信息量表示7/29/2024熵与互信息自信息量的链式法则定理7/29/2024熵与互信息例2信源发出消息x1x1和x3x2各自的自信息量7/29/2024熵与互信息3、联合熵信源各消息自信息量的数学期望，也叫联合熵，用H(X1X2Xn)表示定义表示7/29/2024熵与互信息7/29/2024熵与互信息7/29/2024熵与互信息信息熵的链式法则定理7/29/2024熵与互信息7/29/2024熵与互信息7/29/2024熵与互信息7/29/2024熵与互信息信息熵的界7/29/2024熵与互信息例3信源的信息熵7/29/2024熵与互信息7/29/2024熵与互信息7/29/2024熵与互信息7/29/2024熵与互信息7/29/2024熵与互信息4、熵率信源每发出一个消息符号所提供的平均信息量，也叫平均符号熵，用HN(X1X2XN)表示定义表示单位一般为bit/symbol7/29/2024提问与解答环节Questions And Answers谢谢聆听 学习就是为了达到一定目的而努力去干,是为一个目标去战胜各种困难的过程,这个过程会充满压力、痛苦和挫折Learning Is To Achieve A Certain Goal And Work Hard,Is A Process To Overcome Various Difficulties For A Goal
展开阅读全文