信息论与编码论文.doc

电 子 测 量 论 文 2014 年 6 月 17 日 论文题目 论最大熵原理及其应用 学 院 电子工程学院 年 级 2011 级 专 业 电子信息工程 姓 名 学 号 任课教师 目录 目录 2 摘要 3 引言 4 第一章 信息熵的概念 5 第二章 最大熵原理 6 第三章 最大熵原理的合理性 7 第四章 最大熵原理在实际中的应用 8 4 1 最大熵原理在水文水资源科学中的应用 9 4 2 最大熵原理在投资项目风险分析中的应用 10 4 3 最大熵原理在地震重现关系上的应用 10 4 4 最大熵原理在灾害损失分析中的应用 11 结论 12 参考文献 12 摘要 熵是源于物理学的基本概念 后来 Shannon在信息论中引入了信息熵 的概念 它在统计物理中的成功使人们对熵的理论和应用有了广泛和高度 的重视 最大熵原理是一种在实际问题中已得到广泛应用的信息论方法 本文从信息熵的概念出发 对最大熵原理做了简要介绍 并论述了最大熵 原理的合理性 最后提及它在一些领域的应用 通过在具体例子当中应用 最大熵原理 展示该原理的适用场合 以期对最大熵原理及其应用有更深 刻的理解 关键词 熵 信息熵 最大熵原理 不适定性问题 引言 科学技术的发展使人类跨入了高度发展的信息化时代 在政治 军事 经 济等各个领域 信息的重要性不言而喻 有关信息理论的研究正越来越受到重 视 信息论方法也逐渐被广泛应用于各个领域 信息论一般指的是香农信息论 主要研究在信息可以度量的前提下如何有 效地 可靠地 安全地传递信息 涉及消息的信息量 消息的传输以及编码问 题 1948 年 C E Shannon为解决通信工程中不确定信息的编码和传输问题创立 信息论 提出信息的统计定义和信息熵 互信息概念 解决了信息的不确定性 度量问题 并在此基础上对信息论的一系列理论和方法进行了严格的推导和证 明 使以信息论为基础的通信工程获得了巨大的发展 信息论从它诞生的那时 起就吸引了众多领域学者的注意 他们竞相应用信息论的概念和方法去理解和 解决本领域中的问题 近年来 以不确定性信息为研究对象的信息论理论和方 法在众多领域得到了广泛应用 并取得了许多重要的研究成果 迄今为止 较 为成熟的研究成果有 A N Kolmogorov 在 1956年提出的关于信息量度定义的三 种方法 概率法 组合法 计算法 A N Kolmogorov 在 1968年阐明并为 J Chaitin在 1987年系统发展了的关于算法信息的理论 这些成果大大丰富了 信息理论的概念 方法和应用范围 在信息论中 最大熵的含义是最大的不确定性 它解决的一大类问题是在 先验知识不充分的条件下进行决策或推断等 熵方法在谱估计 图象滤波 图 象重建 天文信号处理 专家系统等中都有广泛的应用 最大熵原理在实际问 题中的应用近年来一直在不断地发展 第一章 信息熵的概念 信息熵是将熵概念成功地扩展到信息科学领域 熵是描述客观事物无序性 的参数 它最早是由 R Clausius于 1865年引入热力学中的一个物理概念 通 常称之为热力学熵 后来 L Boltzmann赋予熵统计意义上的解释 称之为统计 热力学熵 1929 年 匈牙利科学家 Lszilard首先提出了熵与信息不确定性的 关系 使信息科学引用熵的概念成为可能 1948 年 贝尔实验室的 C Shannon 创立了信息论 熵的概念有了新的解释 香农认为信息是人们对事 物了解的不确定性的消除或减少 他把通讯过程中信源讯号的平均信息量称 为信息熵 现在一般称之为香农熵 实现了信息熵的实际应用 从此对信息熵 的研究 随着信息科学的发展而得到不断的发展 香农将随机变量 X的信息熵定义为 XHnNnplog1 式中 为 的概率分布 n 1 2 N 当对数底数取 2时 信息nx 熵的单位为 bit sign 取自然对数时 单位为 nat sign 取常用对数时 单 位为 hart sign 它代表了信源输出后每个消息所提供的平均信息量 或信源 输出前的平均不确定度 信息熵的定义使随机变量的不确定性得到了量度 使 信息论得到了空前的发展 而且 信息熵具有的凸函数性质使得它特别适合作为优化问题中的目标函 数 这同时也为信息论概念和方法在除通信领域以外的其他领域内的应用提供 了理论基础 拓宽了信息论的应用范围 第二章 最大熵原理 香农提出的信息熵的概念很好地解决了随机事件的不确定性程度的度量问 题 但没有解决随机事件的概率是如何进行分配的问题 设想有一个可观测的 概率过程 其中的随机变量 取离散值 如果从观测的结果知x1x2nx 道了这个随机变量的均值 方差等特征值 怎样才能确定它取各离散值的概率 呢 在项目决策实际中 有些随机事件不能直接计算其概率 1P2nP 也无法知道其频率 通常只能取得与该随机事件 或随机变量 有关的一个或几 个平均值 从理论上讲 对于给定的随机变量 如何获取最为合适的一个分布 呢 1957年 E T Jaynes 在 信息论与统计力学 一文中 提出一个选择准 则 当根据部分信息进行推理时 必须选择这样一组概率分配 它应具有最 大的熵 并服从一切已知的信息 换言之 在只掌握部分信息的情况下要对分 布做出推断时 符合已知信息的概率分布可能不止一个 而我们应该选取符合 约束条件但熵值取最大的概率分布 这是我们可以做出的唯一的不偏不倚的选 择 任何其他的选择都意味着我们添加了其他的约束或假设 这些约束或假设 根据我们所掌握的信息是无法做出的 E T Jaynes 建立的这一统计推理准则 被称为最大熵原理 或者极大熵准则 它为我们如何从满足约束条件的诸多相 容分布中 挑选 最佳 最合理 的分布提供了一个选择标准 尽管这个准 则在性质上也有主观的一面 但却是一个最 客观 的主观准则 因为 我们 知道 熵定义的实际上是一个随机变量的不确定性 熵最大的时候 说明随机 变量最不确定 换句话说 也就是随机变量最随机 对其行为做准确预测最困 难 熵值最大意味着添加的约束和假设最少 这时求出的分布是最自然 偏差 最小的 第三章 最大熵原理的合理性 最大熵方法对于构造概率密度函数来说 是一种有价值的方法 按照极大 熵准则 人们应该挑选在一定约束下 常常是某些与随机变量有关的平均值 使 得熵 或条件熵 能极大化的那种分布作为选定的分布 使用这个准则 先验信 息 已知数据 将构成求极值的问题的约束条件 由最大熵准则得到的概率分布 称为最大熵分布 应用最大熵准则构造先验概率分布有如下优点 首先 最大熵的解是最超 然的 即在数据不充分的情况下求解 解必须和己知的数据相吻合 而又必须 对未知的部分做出最少的假定 其次 根据熵集中原理 绝大部分可能状态都 集中在最大熵状态附近 因此 用最大熵法所做出的预测是相当准确的 第三 用最大熵法求得的解满足一致性要求 不确定性的测度 熵 与试验步骤无关 最大熵方法的这一宝贵性质来源于推导熵函数的合成法则 用最大熵准则设立先验分布的理论根据由 S A Smith从数学上进行了证 明 其思路是把随机性决策问题作为对策问题看待 即自然界选择一状态的分 布使期望损失极大 而决策人选择一决策使此期望损失为极小 推导出在损失 函数的集为适合特定条件的理想集的情况 这个极小化极大解的确能导致一概 率分布适合最大熵准则 第四章 最大熵原理在实际中的应用 在数学 物理 工程技术及其它领域中 常常要根据测量的数据 所给的 条件或所作的假设求解 对于求解 通常关心三个问题 存在性 唯一性和稳 定性 如果这三个要求中至少有一个不满足 则认为是 不适定性问题 对 于此类问题 最大熵原理是有效方法之一 譬如 地球物理学中利用地震勘探 法确定地层构造 射电天文学中利用无线电干涉仪获取星空图像 计算机层析 术中利用扫描投影数据构造断层图像 语音识别和语音编码中根据语音信号估 计声道参数 图像处理中对散焦或目标位移造成的蜕化图像进行复原 雷达及 声纳中根据接收信号进行功率谱估计 数字通信中对信道畸变带来的符号间串 扰进行盲目均衡等不适定性问题的解决通常采用基于最大熵原理的最大熵估计 法 不适定问题 是求解时由于数据不完全或有噪声 或两者兼有 使掌握 的数据不足以推求该问题的确定解 其中包括所测得的数据求解时所给定的条 件或假设 在 不适定问题 的所有的可行 可能 解中 应选其中熵值最大的 一个解 因为熵最大意味着对由于数据不足而作的人为假定 人为添加信息 最 小 从而所获得的解是最合乎自然 最为超然 偏差最小的 统计物理中一些 有名的分布已被证明都是在若干类似上述的约束条件下使熵或微分熵最大的分 布 例如 统计力学中气体分子速度的分布是能量受约束下的最大熵分布 大 气层空气密度随高度的分布是在平均势能受约束下的最大熵分布等 从熵作为 不确定程度的度量来看 此时的解包含的主观成分最少 因而是最客观的 自 1957年 Jaynes提出这一原理以来 这一原理先后在统计力学 统计学 运输 工程 排队论 计算机系统建模 系统仿真 生产决策 股市分析等领域得到 应用 特别是在信号处理领域 最大熵原理成为谱估计或图像复原中的主要方 法 4 1 最大熵原理在水文水资源科学中的应用 水文水资源科学从本质上看 是一门有关水信息 采集 传输 整理 分 析 研究 的学科 现有的大量研究成果表明 最大熵原理在水系统频率分析 水文时间序列谱分析 水文水质观测站网的布设评估 水模型的研建评价 水 文预报与预测 水力学 河流地貌学 水利风险分析及水环境工程等方面具有 广泛的应用 在水系统中应用最大熵原理最多的是水文频率分析研究 推导水文随机变 量的概率分布和参数估计两个方面 7 在水文频率分析研究中 由于无法从 概率论理论直接推导出水文变量的先验分布 一般只能是依据观测数据 通过 统计来推求近似的后验分布 然而水文变量现有的观测数据十分有限 远不足 以推求概率分布 这是一个典型的不适定性问题 1972 年 J O Sonuga 首次 将最大熵原理应用到水文频率分析中 推导了基于有限数据的小偏差的正态分 布以进行频率分析 只需均值和标准差作为先验信息 研究证明 基于最大熵 原理推导频率分布 人为偏差最小 所得的结果最客观 合乎自然 另一方面 由于导出的分布仅有的参数是以约束方程组形式表达 得出的分布的函数形式 是无限制的 也可对假定的有参概率分布函数根据样本数据作参数估计 若考 虑到样本数据所含的可观的抽样误差 则参数估计仍旧适用最大熵原理的不适 定问题 另外 水文 气象时间序列分析经常遇到确定周期等问题 而谱分析方法 具有低分辨率 选择自相关函数最大时滞的主观性不足 最大熵谱分析则具有 频谱短且光滑 分辨率高等独特优势 1967 年 J P Burg 首次将最大熵原理 用于频谱分析 利用信息论的观点提出了外推方式 在观察时间内估计值等于 观察值 在观察时间之外的取值不做任何假定 即保持最随机 最不确定性 也就是使得熵为最大 从而得到一种新的非线性谱估计法 即最大熵谱分析法 1980年 A R Rao 等比较了谱分析中的几种新近发展的方法 表明最大熵谱分 析方法在水文时间序列的分析中是非常有效的 总之 在水文水资源科学领域中的许多问题 最大熵原理是一种前景看好 的解决问题的新途径 4 2 最大熵原理在投资项目风险分析中的应用 由于投资项目的未来与目前的预测不可能是完全一致的 因此对项目偏离 预期目标的程度和发生偏离的概率的分析是十分必要的 也是投资人在项目决 策时最为关心的 通过对各种投资项目风险分析技术的对比研究中得出结论 只有概率分析法能够直接用于定量描述各种风险因素对投资项目评价指标的影 响并得出评价指标的概率分布 但由于受解析法与蒙特卡罗模拟技术本身局限 的制约 其使用范围以及使用效果受到一定影响 为了弥补概率分析方法在投 资项目风险分析中的不足 结合前人对熵的研究成果 一种新的风险分析方法 基于最大熵原理的投资项目风险分析越来越受到人们的重视 研究证明该 风险分析方法具有绝对的可行性和有效性 众所周知 风险是与不确定联系在 一起的 由于信息熵是度量 处理 分析系统不确定性的一个有效工具 风险 决策中又存在众多不适定性问题 最大熵原理在风险分析和风险管理领域中的 应用具有广阔的天地 4 3 最大熵原理在地震重现关系上的应用 在地震危险性分析中 综合以往地震发生的信息所用的最普通方法是建立 地震重现 关系 这个关系把震源的某一参数 如震级或烈度 与相应的地震发生次数 联系起来 比如说 已知某震源在过去五十年中地震发生的信息 要想归纳这信 息 最常用的方法就是建立其重现关系 最大熵原理首先可用于推导地震发生 的时间间隔的分布 其次通过计算各震级地震次数 累加地震次数以及概率密 度函数可以看出最大熵法都显著地与实际数据吻合得很好 这一方法得到的重 现关系是与现有信息完全一致的 因而是偏差最小的 4 4 最大熵原理在灾害损失分析中的应用 灾害是一种随机事件 它以最无序的方式在各地发生 意味着灾害熵达到 了最大值 因此可以用最大熵原理来确定一个地区一定时段内灾害损失系列的 分布 研究结果表明 根据最大熵原理估计的灾害损失概念明确 便于应用 因为一个地区未来灾害的发生有其重复性 因而根据该区历史灾害损失系列估 计的未来灾害损失是有资料基础的 但灾害发生的时间是不确定的 灾害损失 的大小也是不确定的 而目前的认识和预测水平还相差较远 因此根据现有资 料 用最大熵理论来估计未来灾害损失是可行的 只要确定灾害的风险水平或 抗灾能力的大小 那么即可求出具有一定重现期的灾害损失 结论 熵原本是分子热力学的一个概念 是对在分子随机运动下所处状态的一种 数量描述 以后被引用到信息论 衡量从随机信号得到的信息量大小 早在 20 世纪著名物理学家爱因斯坦曾将熵理论的地位概述为 熵理论 对于整个科 学来说是第一法则 随着时间的推移 人们对熵理论认识也在不断深入 最 大熵原理指出 当我们需要对一个随机事件的概率分布进行预测时 我们的预 测应当满足全部已知的条件 而对未知的情况不要做任何主观假设 不做主 观假设这点很重要 在这种情况下 概率分布最均匀 预测的风险最小 因 为这时概率分布的信息熵最大 所以人们称这种模型叫 最大熵模型 我们 常说 不要把所有的鸡蛋放在一个篮子里 其实就是最大熵原理的一个朴素的 说法 因为当我们遇到不确定性时 就要保留各种可能性 最大熵模型 在 实际中有着及其广泛的应用 参考文献 1 陈运 信息论与编码 第 2版 北京 电子工业出版社 2007 2 曹雪虹 张宗橙 信息论与编码 北京 清华大学出版社 2004 3 李立萍 张明友 信息论导引 成都 电子科技大学出版社 2005 4 田宝玉 工程信息论 北京 北京邮电大学出版社 2004 5 朱雪龙 应用信息论基础 北京 清华大学出版社 2000 6 李建东 王永茂 胡林敏 最大熵原理及其应用 信息科学 42 43