信息论基础复习

单击此处编辑母版标题样式,*,湘潭大学数学与计算科学学院,*,上一页,下一页,1,2,3,4,5,6,7,8,9,10,序论,一、信息论的形成及历史,Claude Shannon,及其主要贡献,二、通信系统的模型,信源、信道、信宿及相互关系,三、信息论的基本研究内容,11,第一章 随机变量的信息度量,一、信源的分类及数学模型,12,二、自信息,定义,性质、单位、随机事件的不确定性,13,三、信源的信息熵,定义：,单位,bit,、,nat,、,hart,、,N,进信息单位,信息含义（物理意义）,联合熵：,14,条件熵：,熵的简单性质：,等号成立的充要条件是,X,有退化分布,2,、极值性,等号成立的充分必要条件是,X,服从均匀分布,15,3,、链法则：,二进熵函数：,16,四、相对熵和互信息,相对熵：,相对熵的非负性：,等号成立的充要条件是,17,互信息、条件互信息,互信息的简单性质：,1,、非负性,2,、链法则,3,、数据处理不等式,18,各种熵及互信息的相互关系：,注：此图表示了一些等式和不等式的关系，能够写出并从信息的角度来解释它们。,19,五、信息量的一些性质,1,、凸函数的定义,2,、,Jensen,不等式，对数和不等式,3,、,D,(,p|q,),是概率分布对,(,p,q,),的凸函数,(,证明）,4,、熵,H,(,p,),是概率分布,p,的凹函数,(,证明,),6,、,法诺不等式,20,第二章 随机过程的信息度量,一、信源和随机过程的基本概念,各种信源的数学模型：,无记忆信源,马尔科夫信源：,平稳分布、转移概率矩阵、香农线图,相互关系,平稳信源,大数定理,21,二、随机过程的信息度量,平稳信源的极限熵,(,熵率,):,特别,1,、无记忆信源：,2,、,k,阶平稳马氏信源：,k,1,时：,注：会计算平稳马氏信源的平稳分布及熵率,22,三、渐近等分性,1,、对无记忆信源：,2,、弱典型序列：,23,四、信源编码定理,了解信源编码定理的内容,(,定理,2.4.1),24,第三章 数据压缩和信源编码,一、等长码,等长码的概念,码率,:,25,二、变长码,变长码的定义、有限扩张码、唯一可译码、,平均码长,即时码及存在的充要条件,Kraft,不等式：,码树、用树图法进行编码,26,三、编码方法,1,、,Huffman,码,熟练掌握编码方法、了解该方法的特点、优势,和不足,(,特别注意补虚元的问题,),2,、算术码,掌握香农法诺编码方法,3,、通用信源编码,了解,LZ,算法、,LZW,算法的基本原理和具体方法,27,第四章 数据可靠传输和信道编码,一、离散无记忆信道和信道容量,离散信道的数学模型：,信道编码的定义、编码速率、错误概率,离散无记忆信道容量的定义：,几种特殊的信道容量的计算：,二进无噪信道、二进对称信道、一般对称信道、弱对称信道、准对称信道,28,二、信道容量的计算,会用拉格朗日乘数法求信道容量,了解信道容量的迭代算法的基本思想,29,三、线性分组码,信道的译码规则,极大似然译码规则：,平均错误概率：,30,生成矩阵、校验矩阵、相互关系,线性分组码的汉明距离、汉明重量,检纠能力与最小距离（最小重量）的关系，,与校验矩阵的关系,(,两个定理）,系统码,最小距离译码规则,汉明码,注：给出生成矩阵,(,或校验矩阵,),求校验矩阵,(,或生成矩阵,),、求所有码字、最小距离,(,最小重量,),、检纠能力、求给出输出序列的译码。,31,第五章 限失真信源编码和率失真函数,一、限失真信源编码模型和率失真函数,2,、失真测度、平均失真、失真矩阵,1,、限失真信源模型,3,、限失真信源编码、码率,4,、信息率失真函数,32,5,、信息率失真函数的性质,(,定理,5.1.1),6,、平稳信源的率失真函数,特别对无记忆信源,33,二、率失真函数的计算,简单信源的信息率函数的计算,用拉格朗日乘子法计算,了解迭代算法的基本思想,三、限失真信源编码定理,了解限失真信源编码定理的基本内容,34,第六章 连续信源和信道编码理论,一、可微熵,1,、连续信源可微熵的定义,:,简单的信源的熵的计算,(,均匀分布、指数分布、正态分布,),联合熵、条件熵的定义、熵函数的性质,随机变量经变换后可微熵的变化情况,(,定理,6.1.2),35,二、相对熵、互信息,相对熵、互信息的性质及相互关系,最大熵原理,36,三、信息率失真函数,失真测度、率失真函数的定义,率失真函数的性质,高斯信源的率失真函数,无记忆信源的率失真函数,四、高斯信道,高斯信道的定义、容量,37,