信息论各种熵之间的关系.ppt

2 1 5各种熵之间的关系 2 2 1无记忆扩展信源的熵 2 2 2离散平稳信源的熵 2 2 3马尔可夫信源 2 2 4信源的冗余度 2 2扩展信源 无记忆的离散信源序列 离散有记忆序列信源 离散平稳信源 马尔可夫信源 无记忆扩展信源每次发出一组含两个以上符号的符号序列代表一个消息 而且所发出的各个符号是相互独立的 各个符号的出现概率是它自身先验概率 序列中符号组的长度即为扩展次数 离散平稳信源随机矢量中的各随机变量的统计特性都不随时间推移而变化 1 离散无记忆二进制信源X的二次扩展信源 每两个二进制数字构成一组 则新的等效信源X的输出符号为00 01 10 11 若单符号离散信源的数学模型为二次扩展信源的数学模型为其中 X2表示二次扩展信源 这里 a1 00 a2 01 a3 10 a4 11 且有 2 2 1无记忆扩展信源的熵 2 离散无记忆信源X的N次扩展信源 1 数学模型设单符号离散信源的数学模型为满足则其N次扩展信源用XN来表示 其数学模型为满足每个符号ai对应于某个有N个xi组成的序列 在N次扩展信源XN中 符号序列构成的矢量其各分量之间是彼此统计独立的 即 2 熵N次扩展信源的熵按信息熵的定义为其单位为比特 符号序列 H XN H X1X2 XN H X1 H X2 X1 H X3 X1X2 H XN X1X2 XN 1 由于无记忆扩展信源的各Xi之间是彼此独立的 且各个H Xi H X 所以H XN H X1X2 XN H X1 H X2 H X3 H XN NH X 单符号信源如下 求二次扩展信源熵 扩展信源 各维联合概率均与时间起点无关的完全平稳信源 对于随机变量序列X X1X2 XN 若任意两个不同时刻i和j 大于2的任意整数 信源发出消息的概率分布完全相同 即一维平稳信源P Xi x1 P Xj x1 p x1 P Xi x2 P Xj x2 p x2 P Xi xn P Xj xn p xn 2 2 2离散平稳信源的熵 1 定义 二维平稳信源P Xi x P Xj x p x P Xi x1 Xi 1 x2 P Xj x1 Xj 1 x2 p x1x2 其中x1 x2 X x1 x2 xn 离散平稳信源P Xi P Xj P XiXi 1 P XjXj 1 P XiXi 1Xi 2 Xi N P XjXj 1Xj 2 Xj N 反映信源记忆特性的两方法 用联合概率反映信源记忆特性 用条件概率反映信源记忆特性 1 2 2 二维信源 每组中的后一个符号与前一个符号有统计关联关系 而这种概率性的关联与时间的起点无关 假定符号序列的组与组之间是统计独立的 一般地 例 原始信源 条件概率 H X1X2 H X1 H X2 X1 1 542 0 870 2 412 比特 符号 3 N维离散平稳有记忆信源 1 熵 平均符号熵 极限熵 2 极限熵 3 性质 条件熵H XN X1X2 XN 1 随着N的增加而递减证明 H XN X1X2 XN 1 H XN X2 XN 1 条件熵小于等于无条件熵 H XN 1 X1X2 XN 2 序列的平稳性 若N一定 则平均符号熵大于等于条件熵HN X H XN X1X2 XN 1 证明 NHN X H X1X2 XN H X1 H X2 X1 H XN X1X2 XN 1 H XN H XN XN 1 H XN X1X2 XN 1 序列平稳性 NH XN X1X2 XN 1 条件熵小于等于无条件熵 所以HN X H XN X1X2 XN 1 平均符号熵也随N的增加而递减证明 NHN X H X1X2 XN H XN X1X2 XN 1 H X1X2 XN 1 H XN X1X2 XN 1 N 1 HN 1 X HN X N 1 HN 1 X 所以HN X HN 1 X 即序列的统计约束关系增加时 由于符号间的相关性 平均每个符号所携带的信息量减少 如果H X 则存在 并且 作业 2 172 18 2 17某一无记忆信源的符号集为 0 1 已知P 0 1 4 P 1 3 4 1 求符号的平均熵 2 有100个符号构成的序列 求某一特定序列 例如有m个 0 和 100 m 个 1 的自信息量的表达式 3 计算 2 中序列的熵 2 18设有一个信源 它产生0 1序列的信息 它在任意时间而且不论以前发生过什么符号 均按P 0 0 4 P 1 0 6的概率发出符号 1 试问这个信源是否是平稳的 2 试计算H X2 H X3 X1X2 及H 3 试计算H X4 并写出X4信源中可能有的所有符号