连续信源的熵与互信息量.ppt

连续信源的熵与互信息量 第四讲 离散信源的非平均自信息与熵 离散随机变量的非平均自信息 离散信源的平均自信息即熵 扩展 离散无记忆信源 H X HL X H X 离散有记忆信源 H X HL X H X 离散信源序列的熵 信源的序列熵 离散信源的互信息 系统1 系统2 X Y Z 两级串联信道的情况X Y Z构成Markov链 当消息经过多级处理后 随着处理器数目的增多 输入消息与输出消息之间的平均互信息量趋于变小 数据处理定理 连续信源的熵与互信息量 第四讲 输出消息取值上连续的信源 如语音 电视等 对应的数学工具为连续型随机变量或随机过程 连续信源输出的状态概率用概率密度来表示 连续信源的数学模型 考虑一个定义在 a b 区间的连续随机变量 如下图 首先把X的取值区间 a b 等分割为n个小区间 小区间宽度为 b a n 根据概率分布与概率密度曲线区间面积的关系x取值为第i个小区间xi的概率为p xi xi为小区间xi中的一点 于是得到分割后的离散信源Xn的概率源空间为 p x p xi a0 xibx 连续信源的熵 其中 按离散信源熵的定义 当 0 n 时 Xn接近于连续随机变量X 这时可得连续信源的熵为 绝对熵 相对熵 定义 连续随机变量的相对熵为 1 相对熵为绝对熵减去一个无穷大量 2 相对熵不具有非负性 可以为负值 4 连续信源的绝对熵为一个无穷大量 但当分析互信息量时是求两个绝对熵的差 当采用相同的量化过程时 两个无穷大量将被抵消 因而采用相对熵不影响分析互信息 3 相对熵不等于一个消息状态具有的平均信息量 连续信源的相对熵 定义 连续随机变量的联合熵为 定义 连续随机变量的条件熵为 连续信源的相对熵 连续随机变量的联合熵 条件熵和互信息之间关系 连续信源的互信息 定义 连续随机变量的平均互信息量为 连续随机变量的联合平均互信息量 连续信源的互信息 连续随机变量的条件平均互信息量 连续随机变量X与离散随机变量Y联合联合熵 条件熵 连续信源的熵与平均互信息量 连续随机变量X与离散随机变量Y的平均互信息量 例题令X是在区间 a b 上均匀分布的随机变量 求X的相对熵 解 x的概率密度为注意 连续变量的微分熵不具有非负性当b a 1时 b a 1时 b a 1时 例令X是数学期望为m 方差为的正态随机变量 求它的熵 解 正态随机变量x的概率密度它的值视的大小可正 可负或零 且与数学期望无关 均匀分布的连续信源的熵 高斯分布的连续信源的熵 连续熵实例 仅与区域的边界有关 与数学期望无关 仅与方差有关 设pXY是 xy 二维高斯概率密度函数 求X与Y的平均互信息 连续熵实例 例X和Y的一维概率密度函数容易求得为 X和Y之间的平均互信息由定义有奈特表明 两个高斯变量之间的互信息只与相关系数有关 而与数学期望及方差和无关 例 设原连续随机变量X是数学期望为m 方差为的正态随机变量 经一个放大倍数为k的放大器放大输出为Y 求Y的相对熵 解 y kx为数学期望为km 方差为的正态随机变量 注意 相对熵值通过线性放大器后发生变化 指数分布的连续信源的熵 连续熵实例 连续熵可为负值 为什么 连续熵的相对性所致 可加性平均互信息的非负性 对称性 信息处理定理最大连续熵定理 连续熵的性质 峰值功率受限的最大熵定理若连续随机变量X的峰值不超过M 即X限于 M M 内取值 则X的相对熵 当且仅当X为均匀分布时等号成立 平均功率受限的最大熵定理若连续随机变量X的方差为一定 则X服从正态分布时的相对熵最大 即 连续信源与离散信源不同 1 它不存在绝对最大熵 2 其最大熵与信源的限制条件有关 最大连续熵定理 峰值功率受限的最大熵定理若连续随机变量X的峰值不超过M 即X限于 M M 内取值 则X的相对熵 当且仅当X为均匀分布时等号成立 平均功率受限的最大熵定理若连续随机变量X的方差为一定 则X服从正态分布时的相对熵最大 即 最大连续熵定理 证明 应用拉格朗日乘因子法 首先构造函数 由相对熵定义 可得 当且仅当 时 等号成立 将其代入约束条件 可得 则有 于是有 X M M 峰值功率受限的最大熵定理若连续随机变量X的峰值不超过M 即X限于 M M 内取值 则X的相对熵 当且仅当X为均匀分布时等号成立 平均功率受限的最大熵定理若连续随机变量X的方差为一定 则X服从正态分布时的相对熵最大 即 最大连续熵定理 证明 考虑到约束条件 应用拉格朗日乘因子法计算极大值 当且仅当 时 等号成立 将其代入两个约束条件 即可求得 和 于是有 X的方差一定 均值受限的最大熵定理若连续随机变量X非负的均值为M 则X服从指数分布时的相对熵最大 即 最大连续熵定理 当平均功率受限时 高斯分布信源的熵最大 若令其平均功率为 则其熵为 熵功率 若平均功率为的信源具有熵为HC X 则称熵为HC X 的高斯信源的平均功率为熵功率 若另一信源的平均功率仍为 则它的熵一定小于 连续信源的剩余度 平均功率受限时 一般信源的熵小于高斯分布信源的熵 所以信号的熵功率总小于信号的实际平均功率 熵功率的大小可以表示连续信源剩余的大小 信号平均功率和熵功率之差 称为连续信源的剩余度 思考 设X和Y为连续随机变量 且X的概率密度为 条件概率密度为 其中 x y 试求Hc X Hc Y X Hc X Y 和I X Y 解 思考 习题2 23设X是在 1 1 上为均匀分布的随机变量 试求Hc X Hc X2 和Hc X3 解 a b 令 c 令 本节小结 连续信源的数学模型 连续信源的相对熵 随机过程 定义及含义 内容见课本32 39页 连续型随机变量或随机序列 性质 可加性 极值性 最大熵定理 熵功率 平均互信息 定义 含义及性质 作业 2 252 272 28