资源描述
第第3章章 离散信源离散信源3.1信源的数学模型及其分类信源的数学模型及其分类信源的概念信源输出的描述3.1.1信源的数学模型离散信源和连续信源单符号信源单符号信源：输出是单个符号（代码）的消息离散信源连续信源平稳随机序列信源平稳随机序列信源：信源输出的消息由一系列符号序列所组成，可用N维随机矢量X(X1,X2,XN)描述，且随机矢量X的各维概率分布都与时间起点无关平稳！离散平稳信源连续平稳信源独立离散平稳信源有记忆信源m阶马尔可夫信源3.1.23.1.2 信源的分类信源的分类平稳随机序列信源平稳随机序列信源总体特点：信源输出的消息由一系列符号序列所组总体特点：信源输出的消息由一系列符号序列所组成，可用成，可用N维随机矢量维随机矢量X(X1,X2,XN)描述，且描述，且随机矢量随机矢量X的各维概率分布都与时间起点无关的各维概率分布都与时间起点无关平稳平稳！离散平稳信源：每个随机变量离散平稳信源：每个随机变量Xi(i1,2,N)都是都是离散型随机变量离散型随机变量连续平稳信源：每个随机变量连续平稳信源：每个随机变量Xi(i1,2,N)都是都是取值连续的随机变量取值连续的随机变量随机波形信源在某一固定时间t0的可能取值是连续和随机的。对于这种信源输出的消息，可用随机过程来描述。例：语音信号X(t)、热噪声信号n(t)、电视图像信号X(r(t),g(t),b(t)等时间连续函数。3.2离散无记忆信源消息符号的自信息量自信息量与熵信源熵3.3离散无记忆信源的扩展信源离散信源离散信源 单符号离散信源单符号离散信源 离散序列信源离散序列信源 离散无记忆信源离散无记忆信源 一般无记忆一般无记忆 平稳无记忆平稳无记忆 离散有记忆信源离散有记忆信源 平稳序列信源平稳序列信源 齐次马尔可夫链信源齐次马尔可夫链信源3.3.1最简单的离散信源3.3.2 N次扩展信源例如在电报系统中，若信源输出的是二个二元数字组成的符号序列，此例如在电报系统中，若信源输出的是二个二元数字组成的符号序列，此时可认为是一个新的信源，它由四个符号（时可认为是一个新的信源，它由四个符号（0000，0101，1010，1111）组成，我）组成，我们把该信源称为二元无记忆信源的二次扩展信源。们把该信源称为二元无记忆信源的二次扩展信源。3.3.3 N次扩展信源的熵3.4离散平稳信源3.4.1平稳信源二维平稳信源N维平稳信源离散平稳信源结论：对于平稳信源来说，其条件概率均与时间起点结论：对于平稳信源来说，其条件概率均与时间起点无关，只与关联长度无关，只与关联长度N N有关。它表示平稳信源发出的平有关。它表示平稳信源发出的平稳随机序列前后的依赖关系与时间起点无关。稳随机序列前后的依赖关系与时间起点无关。离散平稳有记忆信源3.4.2平稳信源的熵联合熵离散二维平稳信源的信息特点：只有相邻两个符号有关联，离散二维平稳信源的信息特点：只有相邻两个符号有关联，且其关联与时间无关。且其关联与时间无关。基本思路：把这个信源输出的随机序列分成每二个符号一组，基本思路：把这个信源输出的随机序列分成每二个符号一组，每组构成新信源的一个符号，并设组与组之间统计无关每组构成新信源的一个符号，并设组与组之间统计无关(实实际上，组尾的符号与下一组组头的符号是有关的际上，组尾的符号与下一组组头的符号是有关的)。建立一。建立一个等效信源个等效信源X X1 1X X2 2，它们的联合概率空间为：它们的联合概率空间为：二维平稳信源的熵条件熵平稳信源的熵熵的可加性二维平稳信源的熵例题3.4.3极限熵N维平稳有记忆信源的熵条件熵随N增加而递减矢量熵H（X）平均符号熵与极限熵极限熵的意义极限熵存在定理定理证明极限熵的计算小结3.5马尔可夫信源和初始状态无关，不是时间起点（时齐性）和初始状态无关，不是时间起点（时齐性）3.5.2 马尔可夫信源略.略.略.3.6信源的相关性与剩余度关于剩余度关于剩余度:从提高信息传输效率的角度出发，总是希望减少剩余度（压缩）从提高信息传输效率的角度出发，总是希望减少剩余度（压缩）信源信源编码；编码；从提高信息抗干扰能力来看，总是希望增加或保留剩余度，从提高信息抗干扰能力来看，总是希望增加或保留剩余度，信道编码信道编码略.略.略.略.小结
展开阅读全文