《信道及信道容量》PPT课件.ppt

第四章离散信道及其信道容量 信道 信息传输的通道信息论中与信源并列的另一个主要研究对象 研究的主要内容 信道的建模 信道容量 不同条件下充分利用信道容量的方法 一 数学模型 第一节信道模型及其分类 信道的数学模型 X p y x Y 1 按其输入 输出信号在幅度和时间上的取值是离散或连续来分 二 分类 2 按其输入 输出之间关系的记忆性划分 3 按其输入 输出信号之间是否是确定关系来分 在某一时刻信道的输出消息仅与当前信道的输入消息有关 而与之前时刻的信道输入无关 在任一时刻信道的输出不仅与当前输入有关 而且还与以前时刻输入有关 存在噪声 不存在确定关系 实用价值大 研究的理想对象 不存在噪声 存在确定关系 实用价值小 4 按其输入 输出信号个数来分 两端信道 两用户信道 只有一个输入端和一个输出端的单向通信的信道 又称为单路信道 多端信道 多用户信道 信道的输入输出至少有一个具有两个或两个以上的信号 5 按信道的统计特性分 恒参信道变参信道 一 定义1 定义 输入 输出在幅度和时间上都是离散的 并且在某一时刻信道的输出消息只与当前信道的输入有关 而与之前时刻的信道输入无关 2 数学模型 离散信道对任意N长的输入 输出序列有 第二节离散无记忆信道DMC 1 定义 2 传输概率 p y x 可描述信道中干扰影响的大小 干扰存在 传输时可能发生错误 二 单符号离散无记忆信道 完全反映信道的特性 3 信道矩阵P 4 信道输出与输入之间的关系 二元对称信道 BSC 二进制对称信道 其中 p q表示正确传输的概率 二元删除信道 二进制删除信道 1 信道疑义度 损失熵 表示 由于信道的干扰 导致信道输出端收到Y后 对输入X仍然存在的平均不确定度 也可表示 由于信道干扰导致信息量的损失 三 信道疑义度和平均互信息 表示 接收端收到Y后获得的关于X的信息量 即接收到的信息量 I X Y H X H X Y 定理1 对于固定信道 I X Y 是信源概率分布p x 的上凸函数 2 平均互信息 定理2 对于固定的信源分布 I X Y 是信道传递概率P y x 的下凸函数 例4 2 考虑二元对称信道 其信源概率空间为 求其平均互信息 解 应用全概率公式 则有 则平均互信息 当信道固定 即p为一个固定常数时 可得到I X Y 是信源输出分布 的上凸函数 当信源固定 即 是一个常数时 可得到I X Y 是信道传递概率p的下凸函数 当p 0 5时 I X Y 0 在接收端未获得信息量 当 1 2时 即取极大值 例4 3 掷色子 如果结果是1 2 3 4 则抛一次硬币 如果结果是5 6 则抛两次硬币 试计算从抛硬币的结果可以得到多少掷色子的信息量 四 离散无记忆信道的N次扩展信道 例4 4 求二元无记忆对称信道的二次扩展信道 定理1 若信道的输入 输出分别为N长序列X和Y 且信道是无记忆的 即 用两个定理回答这个问题 定理2 若信道的输入 输出分别为N长序列X和Y 且信源是无记忆的 即 当每个序列中的分量Xi取值于同一信源符号集 且具有同一种概率分布 则输出Y的分量Yi也取值同一符号集 则各I Xi Yi 是相等的 即 对于N次扩展 则有 一 级联信道 串联信道 第三节信道组合 消息依次通过几个信道串行传输 级联信道的平均互信息存在两个定理 定理1 级联信道中的平均互信息满足以下关系 Y确定后 Z不再与X有关 只取决于信道2的转移概率矩阵 则I X Z Y 0 这意味着X Y Z构成一个一阶马尔可夫链 定理2 若随机变量X Y Z构成一个马尔可夫链 则有 可得 在任何信息传输系统中 最后获得的信息至多是信源所提供的信息 如果一旦丢失信息 以后系统不管如何处理 如果不涉及到该信道过程的输入端 都不能恢复已丢失的信息 信息不增性原理 当信道不断级联时 信道的最终传输信息量趋于0串联信道的总信道矩阵 定理2表明 通过串联信道的传输只会丢失信息 至多保持原来的信息量 例4 5 下图中的X Y Z满足马氏链 求该串联信道的总信道矩阵 多个信道联合起来使用 当待发送的消息比较多时 可用多个信道并行传送 香农称之为平行信道有各自的输入和输出 最后总和 二 并联信道 一个输入多个输出 且为相同的输入 缺点是信道的利用率低 但可提高信息传输的可靠性 传输信息时 每次只使用其中一个信道 它的信道矩阵 一 基本概念 1 信道容量C 信道能无错误地传送的最大信息率 第四节信道容量 2 信道的信息传输率R 信道中平均每符号所能传送的信息量 3 信道的信息传输速率 信道在单位时间内平均传输信息量 信道在单位时间内传输的最大信息量为 例4 6 考虑二元对称信道 其信源概率空间为 求该信道的信道容量 1 无损信道 一个输入对应多个互不相交的输出 二 几种特殊信道的信道容量 H Y X 0 称噪声熵 则 信道容量 2 确定信道 一个输出对应多个不相交的输入 信道疑义度H X Y 0 单位 比特 符号 3 无损确定信道 输入与输出一一对应 H Y X 0H X Y 0则I X Y H X H Y 信道中没有损失 单位 比特 符号 可知 对于无噪信道求C的问题已从求I X Y 极值问题退化成求H X 或H Y 极值问题 如果信道矩阵的每一行 列 都是第一行 列 元素的不同排列 则称该信道为行 列 对称信道 如果信道矩阵的每一行都是第一行元素的不同排列 每一列并不都是第一列元素的不同排列 但是可以按照矩阵的列将信道矩阵划分成或干对称的子矩阵 则称该信道为准对称信道 若信道矩阵中 每一行 或列 都是第一行 或第一列 的元素的不同排列 则称为离散对称信道 对称信道 准对称信道 三 离散对称信道 对称信道 1 定义 则称此信道为均匀信道 对称信道的特例 注意 一般信道的信道矩阵的各行之和为1 各列之和不一定为1 但是均匀信道的各列之和为1 2 离散对称信道的C 证明 则有 结论 求离散对称信道的信道容量 实质上是求一种输入分布p x 使输出熵H Y 达最大 例4 7 求具有以下信道矩阵的信道的信道容量 解 分析可知这是一个对称信道 则信道容量为 结论 在该对称信道中 只有当信道输入符号等概分布时 每个符号平均能传送的信息为0 126bit 一般情况下每个符号平均传输的信息都是小于0 126bit 对于二元对称信道 r 2 则信道容量C 解 均匀信道是对称信道的一种特例 则其信道容量用对称信道的信道容量的求解公式 则 引理 对于一个离散对称信道 只有当信道输入分布p x 为等概率分布时 输出分布才能为等概率分布 证明 设该信道有r个输入符号 当输入等概分布时 有 根据全概率公式 输出为 由对称信道可知 每列元素之和相等 设为 则该矩阵所有元素之和为 从矩阵的行可知所有元素之和为r 则 所以有 表明 对于一个离散对称信道 当信道输入分布p x 为等概率分布时 输出分布为等概率分布 3 准对称信道的C 例4 9 求二元对称删除信道的信道容量 为拉格朗日乘子 待定常数 根据高数知识 首先构造函数 四 一般离散无记忆信道的C 对p ai 求偏导 并令偏导等于0 即 例4 10 设有扰离散信道的传输情况如图所示 求C以及达到C时的输入概率分布 利用对称信道的信道容量公式求得 解 I X Y H Y H Y X 则有 达到C时的输入分布 解 N个二元对称信道级联后的总信道矩阵为 五 组合信道的C 1 级联信道 此时C 0 2 输入并接信道 C大于任意一个组成信道的信道容量 上界为 3 并用信道 独立并联信道 4 和信道 即C为各组成信道的信道容量之和 六 N次扩展离散无记忆信道的信道容量 表示某时刻通过离散无记忆信道传输的最大信息量 则 对于离散无记忆信道有 对于N次扩展信道 任何时刻是相同的 七 香农信道容量公式 限带 加性白色高斯噪声的信道容量 著名的信道容量的香农公式 在这种信道中 输入输出信号和噪声都被限制在一定的频带中 一般设此频带为 B 信道传输的费用就是信号的功率 又设信道的噪声为加性的 高斯的且具有平坦的功率谱 均值为 例4 12 已知信道的带宽B为3kHz 信号在信道传输中受到单边功率谱密度为的加性白高斯噪声的干扰 信号的平均功率S为9W 1 求信道的容量 2 若信道带宽增加到原来的10倍 并保持信道容量不变 那么信号平均功率要改变多少dB 无损信道的剩余度 第五节信源与信道匹配 一 信道剩余度 C I X Y C R 二 相对剩余度 1 R C 对于无损信道 C logr 无损信道的相对剩余度 信源的剩余度 对于无损信道 可通过信源编码 减小信源的剩余度 提高信道的信息传输率使之达到C 例4 13 有一个二元对称信道 其信道矩阵如图所示 设该信道以1500个二元符号 秒的速度传输输入符号 现有一消息序列共有14000个二元符号 并设在这消息中p 1 p 0 1 2 问从信息传输的角度来考虑 10秒内能否将这消息序列无失真传送完 解 分析得消息信源的熵为H X 1比特则这个消息序列含有信息量14000 1 14000比特 由图可知 信道矩阵为 由信道矩阵可知 此信道为二元对称信道 所以其信道容量 最大信息传输率 为 信道的最大信息传输速率 信道在10秒钟内能无失真传输的最大信息量 12879比特14000 12879则从信息传输的角度考虑 不可能在10秒内将这消息无失真传输完 例4 15 一个快餐店只提供汉堡包和牛排 当顾客进店以后只需向厨房喊一声 B 或 Z 就表示他点的是汉堡包或牛排 不过通常8 的概率厨师可能会听错 据统计进店的顾客90 会点汉堡包 10 会点牛排 求 1 该信道的信道容量 2 每次顾客点菜时提供的信息 3 该信道能否正确传递顾客点菜的信息