信源的信息熵是概率分布Px课件

信息论信息论电子信息工程学院电子信息工程学院n设离散信源设离散信源X X的概率空间为：的概率空间为：n信息熵是信源概率空间的一种特殊矩函数，这个函数的大小信息熵是信源概率空间的一种特殊矩函数，这个函数的大小与信源的消息数及其概率分布有关。与信源的消息数及其概率分布有关。n当信源消息集的个数当信源消息集的个数q q 给定时，信源的信息熵是概率分布给定时，信源的信息熵是概率分布P(x)P(x)的函数的函数,概概率分布用率分布用概概率矢量率矢量P P来表示来表示：2.3 信息信息熵的基本性的基本性质设离散信源X的概率空间为：2.3 信息熵的基本性质信息论信息论电子信息工程学院电子信息工程学院n这样，信息，信息熵 是概率矢量是概率矢量P P或它的分量或它的分量 的的 元函数元函数(各分量各分量 满足足 ,所以独立所以独立变量量只有只有 元元)。一般式可写。一般式可写为：n 是概率矢量是概率矢量P P的函数，称为熵函数的函数，称为熵函数2.3 信息信息熵的基本性的基本性质这样，信息熵 是概率矢量P或它的分量 的 信息论信息论电子信息工程学院电子信息工程学院n熵函数也是一种特殊的函数，它的函数形式为：熵函数也是一种特殊的函数，它的函数形式为：n它具有下列一些性质。它具有下列一些性质。l(1)(1)对称性对称性：当变量当变量 任意变换时，熵函任意变换时，熵函数的值不变，即：数的值不变，即：2.3 信息信息熵的基本性的基本性质熵函数也是一种特殊的函数，它的函数形式为：它具有下列一些性质信息论信息论电子信息工程学院电子信息工程学院n该性质表明：熵只与随机变量的总体结构有关，即与信源的总该性质表明：熵只与随机变量的总体结构有关，即与信源的总体的统计特性有关。体的统计特性有关。n差别：信源差别：信源X X与与Y Y同一消息的概率不同，同一消息的概率不同，X X与与Z Z的具体信息不同，但的具体信息不同，但它们的信息熵相同，表示三个信源总的统计特性相同，它们的信它们的信息熵相同，表示三个信源总的统计特性相同，它们的信息数和总体结构是相同的。即：息数和总体结构是相同的。即：2.3 信息信息熵的基本性的基本性质如：如：该性质表明：熵只与随机变量的总体结构有关，即与信源的总体的统信息论信息论电子信息工程学院电子信息工程学院l(2)确定性确定性：n因为在概率矢量因为在概率矢量 中，当分量中，当分量 时有时有 。而其余分量。而其余分量 n该性质说明：信源虽然有不同的输出符号，但只有一个消息几该性质说明：信源虽然有不同的输出符号，但只有一个消息几乎必然出现，而其它符号则是几乎不可能出现，那么这个信源乎必然出现，而其它符号则是几乎不可能出现，那么这个信源是确知信源，其熵等于零是确知信源，其熵等于零。2.3 信息信息熵的基本性的基本性质(2)确定性：2.3 信息熵的基本性质信息论信息论电子信息工程学院电子信息工程学院l(3)(3)非负性非负性：n该性质是非常明显的，因为随机变量该性质是非常明显的，因为随机变量X X的所有取值的概率的所有取值的概率分布满足分布满足 时，熵是正值的，只有当随机变量是确时，熵是正值的，只有当随机变量是确知量时，其熵等于零。知量时，其熵等于零。n这种非负性对于离散信源而言是正确的，但对于连续信源这种非负性对于离散信源而言是正确的，但对于连续信源来说这一性质就不一定存在。以后可以看到，在差熵的概来说这一性质就不一定存在。以后可以看到，在差熵的概念下，可能出现负值。念下，可能出现负值。2.3 信息信息熵的基本性的基本性质(3)非负性：该性质是非常明显的，因为随机变量X的所有取值的信息论信息论电子信息工程学院电子信息工程学院l(4)(4)扩展性扩展性n因为：因为：n说明：信源的消息数增多时，若这些消息对应的概率很小说明：信源的消息数增多时，若这些消息对应的概率很小(接接近于零近于零)，则信源的熵不变。，则信源的熵不变。2.3 信息信息熵的基本性的基本性质(4)扩展性2.3 信息熵的基本性质信息论信息论电子信息工程学院电子信息工程学院l(5)(5)可加性可加性：n统计独立信源统计独立信源X X和和Y Y的的联合信源的熵联合信源的熵等于等于分别的熵之和分别的熵之和。n两个随机变量两个随机变量X X和和Y Y，相互独立，相互独立，X X概率分布为：概率分布为：,Y ,Y的概率分布为的概率分布为 。则：则：n根据熵函数表达式有：根据熵函数表达式有：2.3 信息信息熵的基本性的基本性质(5)可加性：统计独立信源X和Y的联合信源的熵等于分别的熵之信息论信息论电子信息工程学院电子信息工程学院故：故：2.3 信息信息熵的基本性的基本性质故：2.3 信息熵的基本性质信息论信息论电子信息工程学院电子信息工程学院n 可可加加性性是是熵熵函函数数的的一一个个重重要要特特性性，正正因因为为具具有有可可加加性性，所所 以以可可以以证证明明熵熵函函数数的的形形式式是是唯唯一一的的，不不可可能能有有其其他他的的形形式式存存在。在。l(6)(6)强可加性强可加性：n两个互相关联的信源两个互相关联的信源X X和和Y Y的联合信源的熵等于信源的联合信源的熵等于信源X X的熵加上信的熵加上信源源X X已知条件下信源已知条件下信源Y Y的条件熵。的条件熵。n设两个随机变量设两个随机变量X X和和Y Y，互相关联，互相关联，X X概率分布为：概率分布为：Y Y的概率分布为的概率分布为 ：n其中其中 ：叫叫条件概率条件概率，来描述彼，来描述彼此的关联。此的关联。叫叫联合概率联合概率 2.3 信息信息熵的基本性的基本性质 可加性是熵函数的一个重要特性，正因为具有可加性，所 以可以信息论信息论电子信息工程学院电子信息工程学院2.3 信息信息熵的基本性的基本性质n 证明：证明：2.3 信息熵的基本性质 证明：信息论信息论电子信息工程学院电子信息工程学院n 式中右边第一项是信源式中右边第一项是信源 的熵的熵 。n 第二项中第二项中n 所以，熵函数所以，熵函数 就是就是 和和 的联合信源的联合熵的联合信源的联合熵 。2.3 信息信息熵的基本性的基本性质 它它表表示示已已知知信信源源 取取值值 下下，信信源源 选选取取一一个个值值所所提提供供的的平平均均信信息息量量。此此量量对对 取取统统计计平平均均值值，表表示示在在信信源源 输输出出一一个个符符号号的的条条件件下下，信信源源 再再输输出出一一个个符符号号所所提提供供的的信信息息量量，记作记作 ,称为称为条件熵条件熵 。式中右边第一项是信源 的熵 。所以信息论信息论电子信息工程学院电子信息工程学院n 因此，强可加性式可写成：因此，强可加性式可写成：n显然，可加性是强可加性的特殊情况，当信源显然，可加性是强可加性的特殊情况，当信源 和和 统计独立时，其满足：统计独立时，其满足：2.3 信息信息熵的基本性的基本性质n可得：可得：因此，强可加性式可写成：显然，可加性是强可加性的特殊情况，信息论信息论电子信息工程学院电子信息工程学院l(7)(7)极值性极值性n此此性性质质表表明明：在在离离散散信信源源情情况况下下，对对于于具具有有 个个符符号号的的离离散散信信源源，只只有有当当它它们们等等可可能能出出现现时时，信信源源熵熵才才能能达达到到最最大大值值。即即表表明明等等概概率率分分布布信信源源的的平平均均不不确确定定性性最最大大，我我们们称称该结论为该结论为最大离散熵定理最大离散熵定理。2.3 信息信息熵的基本性的基本性质(7)极值性此性质表明：在离散信源情况下，对于具有 个符号