《离散无记忆信源》PPT课件.ppt

第二节离散无记忆信源,信源分类离散无记忆扩展信源离散平稳信源无记忆信源的熵,2.1信源的描述与分类,按照信源发出的消息在时间上和幅度上的分布情况，把信源分为：连续信源：发出在时间上或幅度上都是连续分布的连续消息的信源；(1)时间连续，幅度离散(2)时间离散，幅度连续(连续信源)(3)模拟信源2.离散信源：发出在时间上和幅度上都是离散分布的离散消息的信源。(数字信源),离散信源又可以细分为：（1）离散无记忆信源：所发出的各个符号之间是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。（2）离散有记忆信源：发出的各个符号之间不是相互独立的，各个符号出现的概率是有关联的。,根据信源发出一个消息所用符号的多少，将离散信源分为：1.发出单个符号的离散信源：信源每次只发出一个符号代表一个消息；2.发出符号序列的离散信源：信源每次发出一组含两个以上符号的符号序列代表一个消息。将以上两种分类结合，就有四种离散信源：（1）发出单个符号的无记忆离散信源；（2）发出符号序列的无记忆离散信源；（3）发出单个符号的有记忆离散信源；（4）发出符号序列的有记忆离散信源。,一类重要的符号序列有记忆离散信源-马尔可夫信源：某一个符号出现的概率只与前面一个或有限个符号有关，而不依赖更前面的那些符号。,尤为重要的是：,符号集,1.单个符号的离散信源-每次只发出一个符号代表一个消息，且消息数量有限。,2.2离散无记忆扩展信源,2.发出符号序列离散信源每次发出一组含两个以上的符号序列来代表一个消息,信源X输出用N维随机序列（随机矢量）来描述信源输出的消息，用联合概率分布来表示信源特性。在上述随机矢量中，若每个随机变量都是离散的，则可用N重离散概率空间来描述这类信源。,2.2离散平稳信源,1、离散平稳信源记X在第k个时刻发出的符号为Xk，若对任意时刻t有,则称此信源为离散平稳信源。,注：平稳信源既是指在发出符号不变的前提下，发出符号概率不依时间而改变，今后不特别说明时，我们提到的信源都是平稳信源。,2、平稳信源等价条件,由条件概率的乘法公式，可得,上式表示：相同的消息序列，在不同时刻发出的条件概率不变，或者发出的平稳随机序列前后依赖关系与时间起点无关。,定义：如果在平稳信源中，任一时刻发出的符号与之前发出的符号有关，则称该信源为平稳有记忆信源。,设XN为X的N次扩展信源，概率空间如下：,注2、H(XN)=NH(X):每个消息所能提供的平均信息量为每个信源符号平均信息量的N倍。,2.3离散无记忆N次扩展信源的熵,