资源描述
,信息及其度量,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,信息论,电子信息工程学院,电子信息工程学院,信息及其度量,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,信息论,电子信息工程学院,信息及其度量,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2.4,离散无记忆的扩展信源,2.4.1,单符号离散无记忆信源,信源,的符号集 ，每个符号的发生概率为,，信源每次发出一个符号，且符号发生的概率相互独立，称为,单符号离散无记忆信源,，简称,离散无记忆信源,。,2.4,离散无记忆的扩展信源,2.4.2,离散无记忆信源的扩展信源,1,、离散无记忆二进制信源的二次扩展信源,二次扩展信源,扩展后的信源符号集合,新概率的计算举例：,2.4,离散无记忆的扩展信源,2,、离散无记忆二进制信源的三次扩展信源,三次扩展信源,扩展后的信源符号集合,新概率的计算举例,:,2.4,离散无记忆的扩展信源,3,、任意进制离散无记忆信源的,N,次扩展信源,其中：,N,次扩展信源,2.4,离散无记忆的扩展信源,4,、离散无记忆信源,X,的,N,次扩展信源,设离散无记忆信源,，其样本空间为 ，用一组长度为,的序列表示其输出消息序列。此时，将输出序列等效为一个新的信源，,用,维离散随机矢量来描述，记作 ，则称 组成的新信源为,离散无记忆信源,的 次扩展信源,。,其中，每个分量 都是随机变量，它们都取决于同一信源,，并且分量之间统计独立。,用 重空间描述离散无记忆信源 的 次扩展信源，记为 。,2.4,离散无记忆的扩展信源,设一个离散无记忆信源的概率空间为,:,则信源,X,的,N,次扩展信源,X,N,是具有,q,N,个符号的离散信源，其中,N,重概率空间为,上式中，每个符号 是对应于某一个由,N,个 组成的序列。的概率 是对应,N,个 组成的序列概率。,2.4,离散无记忆的扩展信源,因为是无记忆的（彼此统计独立），若,则,其中,又,而,2.4,离散无记忆的扩展信源,上式表明离散无记忆信源 的 次扩展信源的概率空间 也是完备集。,根据信息熵的定义，次扩展信源熵,可以证明,离散无记忆信源,的,次扩展信源,的熵等于信源,的熵值的,倍，即：,2.4,离散无记忆的扩展信源,证明,:,设 是 概率空间的一个符号，对应于由,N,个 组成的序列,2.4,离散无记忆的扩展信源,因为：,所以：,故：,先考察其中一项,2.4,离散无记忆的扩展信源,例,2.6,求离散无记忆信源的二次扩展信源及其熵。,解：二,次扩展信源的概率空间为,X,2,1,2,3,4,5,6,7,8,9,序列,a,1,a,1,a,1,a,2,a,1,a,3,a,2,a,1,a,2,a,2,a,2,a,3,a,3,a,1,a,3,a,2,a,3,a,3,P(,i,),1/4,1/8,1/8,1/8,1/16,1/16,1/8,1/16,1/16,2.4,离散无记忆的扩展信源,上式可直观的理解，扩展信源 的每一个输出符号,是由 个 组成的序列，且序列中前后符号是统计独立,现已知每个信源符号 含有的平均自信息量为 ，则 个 组成的平稳无记忆序列平均含有的自信息量,为 ，所以信源 每个输出符号 含有的平均自信息量为 。,
展开阅读全文