信息论期末复习ppt课件

信息论期末复习信息论期末复习1信息论期末复习1第一章第一章 概述概述l信息论的创始人：美国科学家香农l1948年发表年发表“通信的数学理论通信的数学理论”，标志着信息论，标志着信息论的诞生的诞生2第一章 概述信息论的创始人：美国科学家香农2l信息的概念信息的概念l1.l2.l3.l4.3信息的概念3l信息论的研究对象l信息论的研究目的4信息论的研究对象4l信息的一些重要性质信息的一些重要性质 存在的普遍性存在的普遍性 有序性有序性相对性相对性 可度量性可度量性 可扩充性可扩充性 可存储、传输与携带性可存储、传输与携带性 可压缩性可压缩性 可扩散性可扩散性 可替代性可替代性 可共享性可共享性 时效性时效性 信息的独有性质5信息的一些重要性质 存在的普遍性 l信息论的研究范围信息论的研究范围l经典信息论经典信息论（狭义信息论、香农信息论）（狭义信息论、香农信息论）l一般信息论一般信息论l广义信息论广义信息论主要研究信息的测度、信道容量、信息率失真函数，主要研究信息的测度、信道容量、信息率失真函数，与这三个概念相对应的香农三定理以及信源和信道编码。与这三个概念相对应的香农三定理以及信源和信道编码。主要是研究信息传输和处理问题。除了香农基本理论之外，主要是研究信息传输和处理问题。除了香农基本理论之外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论。后一部分内容以美国科学家维纳（调制理论。后一部分内容以美国科学家维纳（NWiener）为代表。为代表。概括说来，凡是能够用广义通信系统模型描述的过程或系概括说来，凡是能够用广义通信系统模型描述的过程或系统，都能用信息基本理论来研究。统，都能用信息基本理论来研究。6信息论的研究范围主要研究信息的测度、信道容量、信息率失真函数第二章第二章 离散信源及其信息测度离散信源及其信息测度l信源的数学模型及分类信源的数学模型及分类7第二章 离散信源及其信息测度信源的数学模型及分类7l自信息l信息熵8自信息8l条件熵条件熵l联合熵联合熵9条件熵9l信息熵的基本性质10信息熵的基本性质10l离散无记忆的扩展信源11离散无记忆的扩展信源11l离散平稳信源l离散平稳信源的极限熵12离散平稳信源12l另外l马尔可夫信源13另外13l求解马尔可夫信源熵的步骤l根据题意画出状态转移图。判断是否是时齐遍历的马尔可夫信源。l根据状态转移图写出一步转移概率矩阵，计算信源的极限概率。l根据一步转移概率矩阵和极限概率计算信源的信息熵。14求解马尔可夫信源熵的步骤14l注意：l信源剩余度15注意：15第三章第三章 离散信道及其容量离散信道及其容量l信道的数学模型与分类16第三章 离散信道及其容量信道的数学模型与分类16l平均互信息17平均互信息171818l平均互信息的特性l信道容量及其一般计算方法19平均互信息的特性19l无噪无损信道的信道容量（信道的输入输出一一对应）l无损信道（信道的输入输出一对多）20无噪无损信道的信道容量（信道的输入输出一一对应）20l无噪有损信道（无噪有损信道（信道的输入输出多对一信道的输入输出多对一）l对称离散信道（对称离散信道（信道矩阵的行与列都具有可排列性信道矩阵的行与列都具有可排列性）l准对称信道准对称信道21无噪有损信道（信道的输入输出多对一）21l一般离散信道的信道容量的计算步骤l求求l求求Cl求求l求求l若若 则则C就是所求的信道容量，否则重新计算就是所求的信道容量，否则重新计算22一般离散信道的信道容量的计算步骤求22l离散无记忆扩展信道及其信道容量23离散无记忆扩展信道及其信道容量23l独立并联信道及其信道容量l数据处理定理、信息不增性原理24独立并联信道及其信道容量24l信源与信道的匹配25信源与信道的匹配25第四章第四章 波形信源与波形信道波形信源与波形信道l连续信源的差熵26第四章 波形信源与波形信道连续信源的差熵26l两种特殊连续信源的差熵两种特殊连续信源的差熵l均匀分布均匀分布l高斯分布高斯分布27两种特殊连续信源的差熵27l差熵的性质28差熵的性质28l具有最大差熵的连续信源l连续信道与波形信道的分类l按信道输入输出的统计特性l波形信道l多维连续信道l基本连续信道29具有最大差熵的连续信源29l按噪声的统计特性l高斯信道l白噪声信道l高斯白噪声信道l有色噪声信道l按噪声对信号的作用l乘性信道l加性信道30按噪声的统计特性30l连续信道与波形信道的信息传输率l基本连续信道的平均互信息l连续信道平均互信息的特性31连续信道与波形信道的信息传输率313232l连续信道与波形信道的信道容量l单符号高斯加性信道的信道容量l限带高斯白噪声加性波形信道的信道容量33连续信道与波形信道的信道容量33l香农公式重要的实际指导意义34香农公式重要的实际指导意义343535第五章第五章 无失真的信源编码定理无失真的信源编码定理l编码器36第五章 无失真的信源编码定理编码器363737l等长码l等长信源编码定理38等长码38l变长码39变长码394040l克拉夫特不等式唯一可译码也满足该不等式。l变长信源编码定理41克拉夫特不等式41424243434444第八章第八章 无失真的信源编码无失真的信源编码l霍夫曼编码l二元霍夫曼编码方法将信源符号按概率由大到小顺序排队给两个概率最小的符号各分配一个码位“0”和“1”，将其概率相加后合并作为一个新的符号，与剩下的符号一起，再重新排队给缩减信源中概率最小的两个符号各分配一个码元重复步骤2、3直至信源剩两个符号为止，此时概率和为1。从最后开始，沿编码路径返回，得到码字。214345第八章 无失真的信源编码霍夫曼编码将信源符号按概率由大到小顺lr 元霍夫曼编码l霍夫曼编码的一些说明l霍夫曼编码得到的码字并不唯一。首先，每次缩减信源时所分配的码字是任意的，不同的码元分配，得到的具体码字不同，但码长、平均码长都不变，所以没有本质区别。其次，若合并后的新符号的概率与其他符号的概率相等，从编码的方法上来说，这几个符号的次序可任意排列，编出的码都是正确的，但得到的码字不同。l若合并后的新符号的概率与其他符号的概率相等，一般一般将将合并的概率放在上面。合并的概率放在上面。46r 元霍夫曼编码46l霍夫曼码的特点l霍夫曼码具有最佳性l费诺编码费诺码属于概率匹配编码，比较适合于对分组概率相等或接费诺码属于概率匹配编码，比较适合于对分组概率相等或接近的信源编码。费诺码属于即时码，但是不一定是最佳码。近的信源编码。费诺码属于即时码，但是不一定是最佳码。47霍夫曼码的特点费诺码属于概率匹配编码，比较适合于对分组概率相l费诺码的编码步骤对概率按r进行分组，使每组概 率尽可能相等。即编二进制码就分2组，编r元码就分成r组。给每个分组分配一个码元对每个分组重复2、3步，直到不可分为止1234按信源符号的概率从大到小的顺序排队不妨设不妨设48费诺码的编码步骤对概率按r进行分组，使每组概率尽可能相等。第六章第六章 有噪信道编码定理有噪信道编码定理l错误概率和译码准则l最大后验概率译码准则（最小错误概率译码准则）l最大似然译码准则49第六章 有噪信道编码定理错误概率和译码准则49选择译码规则与计算错误概率的方法l判断输入符号的先验概率是否等概率分布。判断输入符号的先验概率是否等概率分布。l若等概率分布，采用最大似然译码准则若等概率分布，采用最大似然译码准则直接从信道矩阵中直接从信道矩阵中得到译码函数，此时得到的平均错误概率必然最小。得到译码函数，此时得到的平均错误概率必然最小。l译码函数的选择方法：译码函数的选择方法：F(bj)应该译成信道矩阵第应该译成信道矩阵第j列概率最大的列概率最大的那个元素对应的信源符号。那个元素对应的信源符号。l平均错误概率的计算方法：平均错误概率的计算方法：按行计算。输入符号概率与其对应行按行计算。输入符号概率与其对应行的错误概率之和相乘，然后各行相加。的错误概率之和相乘，然后各行相加。（注意：非等概率分布时，若使用最大似然译码准则，平均错误概（注意：非等概率分布时，若使用最大似然译码准则，平均错误概率也按此方法计算，只是得到的平均错误概率不一定最小）率也按此方法计算，只是得到的平均错误概率不一定最小）50选择译码规则与计算错误概率的方法判断输入符号的先验概率是否等l若输入符号的先验概率若输入符号的先验概率非等概率分布非等概率分布，则采用，则采用最小错误概最小错误概率准则率准则可以使平均错误概率达到最小。可以使平均错误概率达到最小。l译码函数的选择方法：译码函数的选择方法：计算信道的计算信道的联合概率矩阵联合概率矩阵，F(bj)应该译成应该译成联合概率矩阵第联合概率矩阵第j列概率最大的那个元素对应的信源符号。列概率最大的那个元素对应的信源符号。l平均错误概率的计算方法平均错误概率的计算方法：按列计算，即把联合概率矩阵每列的按列计算，即把联合概率矩阵每列的错误概率相加，再对各列相加。错误概率相加，再对各列相加。51若输入符号的先验概率非等概率分布，则采用最小错误概率准则可以费诺不等式费诺不等式l错误概率与编码方法52费诺不等式错误概率与编码方法52 可见，消息数M越多，码率越高；码长n越长，码率越低。l汉明距离（码字距离）要发现（检测）e个随机错误，要求dmine+1；要纠正t个随机错误，要求dmin2t+1；要纠正t个随机错误的同时检测e个随机错误（e t），要求dmint+e+1 53 可见，消息数M越多，码率越高；码长n越长，码率越低。l有噪信道编码定理l有噪信道的信道容量为有噪信道的信道容量为C，若信息传输率，若信息传输率RC则不存在以则不存在以R传输信息而传输信息而PE为任意小的为任意小的码。码。l此定理可以推广到有记忆信道、连续信道、波形信此定理可以推广到有记忆信道、连续信道、波形信道中。道中。54有噪信道编码定理54l信源信道编码定理55信源信道编码定理55第七章第七章 保真度准则下的信源编码保真度准则下的信源编码l失真度l平均失真度56第七章 保真度准则下的信源编码失真度56l保真度准则lD失真许可的试验信道57保真度准则57l率失真函数及其性质l率失真函数的定义域58率失真函数及其性质58l信息率失真函数是允许失真度D的U型凸函数l信息率失真函数的连续性和单调递减性。l二元对称信源的率失真函数lr元对称信源的率失真函数59信息率失真函数是允许失真度D的U型凸函数59l保真度准则下的信源编码定理60保真度准则下的信源编码定理60