信息论与编码-第4讲-第2章信源及信息度量(修改最新).ppt

信息论与编码理论基础 第4讲信息熵及熵的基本性质主讲刘巧平延安大学物电学院 本讲主要内容 1 信源熵2 条件熵3 联合熵4 熵的基本性质和定理 本讲重点 1 掌握信息熵的物理含义及数学表达式2 熟悉条件熵和联合熵的定义3 掌握信息熵的基本性质及定理本讲难点 信息熵的定义及熵的基本性质及定理 1信源熵 1 信源熵 平均信息量2 信源熵的三种物理含义 1 信源熵 平均信息量 自信息是一个随机变量 自信息是指某一信源发出某一消息所含有的信息量 所发出的消息不同 它们所含有的信息量也就不同 平均信息量 信源熵 自信息的数学期望 也称为信源的信息熵 信源熵 香农熵 无条件熵 熵函数 熵 信息熵的数学表达式 为了求得整个信源所提供的平均信息量 首先 我们应当了解数学中有关三种不同类型的平均方法以及它们各自的计算公式 这三种平均方法分别是算术平均 统计平均和几何平均 2 8 式中 Pi Ni N i 1 2 r 为对应的随机变量xi出现的概率 或称为频数 即 2 9 2 10 根据有关统计平均的定义 可求得信源X自信息量的统计平均值 我们把这个统计平均值记为H X 即 2 9 2 10 信息熵的数学表达式 信息熵的单位 取决于对数选取的底 一般选用以2为底 其单位为比特 符号 信息熵的意义 信源的信息熵H是从整个信源的统计特性来考虑的 它是从平均意义上来表征信源的总体特性的 对于某特定的信源 其信息熵只有一个 不同的信源因统计特性不同 其熵也不同 2 信源熵的三种物理含义 信源熵是从平均意义上来表征信源的总体特性的一个量 因此信源熵有以下三种物理含义 1 信源熵H X 是表示信源输出后每个消息 符号所提供的平均信息量 2 信源熵H X 是表示信源输出前 信源的平均不确定性 3 用信源熵H X 来表征变量X的随机性 举例1 有一布袋内放100个球 其中80个球是红色的 20个球是白色的 随便摸出一个球 猜测是什么颜色 其概率空间为x1 表示摸出的是红球x2 表示摸出的是白球 举例2 有两个信源 其概率空间分别为信息熵分别为H X 0 99log0 99 0 01log0 01 0 08比特 符号H Y 0 5log0 5 0 5log0 5 1比特 符号可见H Y H X 本例结论1 信源Y的二个输出消息是等可能性的 所以在信源没有输出消息以前 事先猜测哪一个消息出现的不确定性要大 2 信源Y比信源X的平均不确定性大 3 信源X的二个输出消息不是等概率的 事先猜测x1和x2哪一个出现 虽然具有不确定性 但大致可以猜出x1会出现 因为x1出现的概率大 所以信源X的不确定性要小 4 信息熵反映的就是信源输出前平均不确定程度的大小 2条件熵 定义 条件熵是在联合符号集合XY上的条件自信息的数学期望 在已知Y时 X的条件熵为已知X时 Y的条件熵为 为什么要用联合概率 证明 在给定yj条件下 xi的条件自信息量为 I xi yj logp xi yj 集合X的条件熵为 在给定Y 即各个yj 条件下 集合X的条件熵定义为 信道疑义度 H X Y 表示信宿在收到Y后 信源X仍然存在的不确定度 是通过有噪信道传输后引起的信息量的损失 是传输失真造成的 故也可称为损失熵 噪声熵 H Y X 表示在已知X的条件下 对于符号集Y尚存在的不确定性 疑义 这完全是由于信道中噪声引起的 例 已知信源X取自符号集 a1 0 a2 1 信源Y取自符号集 b1 0 b2 1 联合集合 X Y 的联合概率密度为 计算条件熵H X Y 解由全概率公式 可得p b1 p a1 b1 p a2 b1 0 5 p b2 p a1 b2 p a2 b2 0 5由概率公式p ai bj p ai p bj ai p bj p ai bj i j 1 2 可以求出 p a1 b2 0 75 p a2 b1 0 75 p a2 b2 0 25根据条件熵的计算表达式可得 H X Y p a1 b1 logp a1 b1 p a1 b2 logp a1 b2 p a2 b1 logp a2 b1 p a2 b2 logp a2 b2 0 406比特 符号 3 联合熵 定义 是联合离散符号集合XY上的每个元素对的联合自信息量的数学期望 也叫共熵 用H XY 表示 4熵的基本性质和定理 熵函数H X 熵H是p x1 p x2 p xn 的n元函数 1 非负性 2 对称性 3 最大离散熵定理 4 扩展性 5 确定性 6 可加性 7 极值性 8 上凸性 1 非负性 H X 0因为随机变量X的所有取值的概率分布满足0 p xi 1 当取对数的底大于1时logp xi 0 而 p xi logp xi 0 所以熵H X 0 只有当随机变量是一确知量时 熵H X 0 这种非负性对于离散信源的熵是合适的 但对连续信源来说这一性质并不存在 2 对称性 定义 当变量p x1 p x2 p xn 的顺序任意互换时 熵函数的值不变 即 含义 该性质说明熵只与随机变量的总体结构有关 与信源的总体统计特性有关 如果某些信源的统计特性相同 含有的符号数和概率分布相同 那么这些信源的熵就相同 举例 下面三个信源的概率空间为x1 红x2 黄x3 蓝y1 晴y2 雾y3 雨 X与Z信源的差别 它们所选择的具体消息 符号其含义不同 X与Y信源的差别 它们选择的某同一消息的概率不同 但它们的信息熵是相同的 这三个信源总的统计特性是相同的 所以熵表征信源总的统计特性 总体的平均不确定性 3 最大离散熵定理 定理 离散无记忆信源输出n个不同的信息符号 当且仅当各个符号出现概率相等时 即p xi 1 n 熵最大 H p x1 p x2 p xn H 1 n 1 n 1 n log2n出现任何符号的可能性相等时 不确定性最大 举例 二进制信源是离散信源的一个特例 设该信源符号只有二个 0和1设符号输出的概率分别为p和1 p信源的概率空间为二进制信源的信息熵为这时信息熵H X 是p的函数 p取值于 0 1 区间 我们可以画出熵函数H p 的曲线 从图中可以得出熵函数的一些性质 1 如果二进制信源的输出是确定的 p 1 则该信源不提供任何信息 2 当二进制信源符号0和1等概率发生时 信源的熵达到最大值 等于1比特信息3 二元数字是二进制信源的输出 在具有等概率的二进制信源输出的二进制数字序列中 每一个二元数字提供1比特的信息量 如果符号不是等概率分布 则每一个二元数字所提供的平均信息量总是小于1比特 这也进一步说明了 二元数字 计算机术语称 比特 与信息量单位 比特 的关系 4 扩展性 由对数函数的性质知道 证明根据定义 而显然第二项而第一项 由于归纳起来 本性质说明 信源的取值增多时 若这些取值对应的概率很小 接近于零 则信源的熵不变 虽然概率很小的事件出现后 给予收信者较多的信息 但从总体来考虑时 因为这种概率很小的事件几乎不会出现 所以它在熵的计算中占的比重很小 这也是熵的总体平均性的一种体现 5 确定性 H 1 0 H 1 0 0 H 1 0 0 0 H 1 0 0 0在概率矢量P X p x1 p x2 p xn 中当p xi 1时 p xi log2p xi 0 其余变量p xj 0 j i 只要信源符号表中有一个符号出现概率为1 信源熵就等于0 在概率空间中 如果有两个基本事实 其中一个是必然事件 另一个则是不可能事件 因此没有不确定性 熵必为0 当然可以类推到n个基本事件构成的概率空间 6 可加性 H XY H X H Y X H XY H Y H X Y 证明第一个式子 可加性是熵函数的一个重要特性 正因为具有可加性 所以可以证明熵函数的形式是唯一的 不可能有其它形式存在 7 极值性 香农辅助定理 对任意两个消息数相同的信源有上式含义 任一概率分布p xi 它对其它概率分布p yi 的自信息取数学期望时 必大于p xi 本身的熵 思考如何证明极值性 由熵的极值性可以证明条件熵小于信源熵 无条件熵 H X Y H X H Y X H Y 证明 H X Y H X 已知Y时X的不确定度应小于一无所知时X的不确定度 因为已知Y后 从Y得到了一些关于X的信息 从而使X的不确定度下降 8 上凸性 H P 1 Q H P 1 H Q 上凸性证明 设有一个多元矢量函数f x1 x2 xn f X 对任一小于1的正数 0 1 及f的定义域中任意两个矢量X Y 若f X 1 Y f X 1 f Y 则称f为严格上凸函数 问题1 问题1 问题2 问题2 问题2 45 例2 4已知信源空间信道特性如图2 4所示 求在该信道上传输的疑义度H X Y 噪声熵H Y X 和共熵H XY 图2 4例2 4的信道特性 解 1 根据P xiyj P xi P yj xi 求各联合概率 得P x1y1 P x1 P y1 x1 0 5 0 98 0 49P x1y2 P x1 P y2 x1 0 5 0 02 0 01P x2y1 P x2 P y1 x2 0 5 0 20 0 10P x2y2 P x2 P y2 x2 0 5 0 80 0 40 2 求Y集合中各符号的概率 得P y1 P x1 P y1 x1 P x2 P y1 x2 0 5 0 98 0 5 0 2 0 59P y2 1 0 59 0 41 3 求各种熵 有 H X Y H XY H Y 1 43 0 98 0 45比特H Y X H XY H X 1 43 1 0 43比特