信息论基础课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,信息论基础,*,信息论基础,任俊玲,信息论基础,基本情况,课时：32学时,考核：平时成绩：10%,作业：30%=20%+10%,考试：60%,信息论基础,参考资料,1、李梅、李亦农等，信息论基础教程（第2版），北京邮电大学出版社，2008.10,2、冯桂等，信息论与编码技术，清华大学出版社，2007.3,3、傅祖芸，信息论-基础理论与应用（第2版），电子工业出版社，2008.4,4、周荫清，信息理论基础，北京航空航天大学出版社，2002,5、（美）Thomas M.Cover著，阮吉寿、张华等译，信息论基础，机械工业出版社， 2008.1, ,信息论基础,内容,介绍,第一部分 绪论（第一章）,第二部分 信息测量问题,信息的度量（第二章）,信源及信源熵（第三章）,信道及信道容量（第四章）,第三部分 编码问题（香农三定理）,无失真信源编码（第五章）,香农第一定理,有噪信道编码（第六章）,香农第二定理,限失真信源编码（第七章）,香农第三定理,保真度准则下的信源编码定理,信息论基础,第一章 绪论,信息论基础,主要内容,1.1,信息的概念,1.2,信息论研究的对象、目的和内容,1.3,信息论的发展过程,1.4,信息论的研究现状,信息论基础,组成客观世界的三大基本要素：,物质、能量,和,信息,，,材料科学、能源科学、,和,信息科学,一起被称为当代文明的“三大支柱”。,Without,materials, there is nothing.,Without,energy, nothing happens.,Without,information, nothing makes sense .,没有,物质,的世界是,虚无,的世界；,没有,能源,的世界是,死寂,的世界；,没有,信息,的世界是,混乱,的世界。,信息是信息论中最基本、最重要的概念。,1.1,信息的概念,信息论基础,信息的定义,信息定义举例：,从本质层次上定义：,信息是事物相互作用的表现形式。,信息是事物联系的普遍形式。,信息是物质的普遍属性。,信息是被反映的物质的属性。,信息是人与外界相互作用的过程中所交换的内容的名称。,信息是物质和能量在时间和空间分布的不均匀性。,信息是事物运动状态或存在方式的不确定性的描述。,信息是用以消除随机不定性的东西。,信息论基础,信息的定义,从科学层面上定义：,信息是收信者事先所不知道的报导。,信息是通信传输的内容。,信息是事物之间的差异（变异度） 。,信息是使概率分布发生变动的东西。,信息是负熵。,信息是有序性的度量。,信息是系统组织程度的度量。,信息是被反映的差异（变异度） 。,信息论基础,举例：,哈特莱信息定义。,维纳信息定义。,朗格信息定义。,香农信息定义。,通信领域关于信息的定义,信息论基础,哈特莱信息定义,1928年，哈特莱在贝尔系统技术杂志上发表了一篇题为“信息传输”的论文。认为，发信者所发出的,信息，就是他在通信符号表中选择符号的具体方式,。,信息概念,：选择通信符号的方式；,例如,：假定符号表是26个英文字母及标点符号，那么用符号“I am well”传达了一种信息，而用符号“I am sick”传达了另一种信息。,度量方式,：选择的自由度。,例如：如果发信者只能从由0和1两个符号组成的符号表中选择符号而且长度限定为1，则发信者只有两种选择，即0和1，这时传达的信息量很小；如果放宽限制，如长度不超过n（n1）则发信者可以选择的符号串有 个，n越大能传达的信息量就越大。,信息论基础,哈特莱信息定义,哈特莱信息定义的局限性：,他所定义的信息不涉及内容和价值，只考虑选择的方式；,没有考虑到信源的统计性质；,把信息理解为选择的方式，就必须有一个选择的主体作为限制条件。,这些缺点使它的运用范围受到很大的限制。,信息论基础,维纳信息定义,1948年，维纳在控制论动物和机器中通信与控制问题中给出了对信息的描述。指出：,信息是信息，不是物质，也不是能量。,1950年，维纳在人有人的用处一书中指出：,信息就是我们在适应外部世界，并把这种适应反作用于外部世界的过程中，同外部世界进行交换的内容的名称。,接收信息和使用信息的过程，就是我们适应外界环境的偶然性的过程，也是我们在这个环境中有效地生活的过程。,信息论基础,维纳信息定义,意义：,信息是与物质和能量同等重要的最基本概念。,缺陷：,把信息与物质及能量混为一谈。,信息论基础,朗格信息定义,1975年，朗格在信息论：新的趋势与未决问题中提出：,信息是反映事物的形式、关系和差别的东西。,信息是包含于客体间的差别中，而不是在客体本身中。,意义：,信息就是差异。,缺陷：,没有指出没有差异就没有信息。,信息论基础,香农信息定义,1948年，香农在发表的论文 通信的数学理论中，从研究,通信系统传输的本质,出发，对信息做了科学的定义,，并进行了定性和定量的描述。,信息,：是事物运动状态或存在形式的不确定性的描述。,通信系统中,接受消息的过程,就是,消除不确定性的过程,。不确定的消除就获得了信息。,信息量与不确定性消除的程度有关。,信息的度量,：信息熵。,信息论基础,香农信息定义,香农信息定义的优点：,它是一个科学的定义，有明确的数学模型和定量计算。,它与日常用语中的信息的含义一致。,香农信息定义的缺陷：,该定义是以经典集合论为基础的概率模型来描述的。但在实际中的某些事物运动状态很难找到合适的模型。,原因：,香农的信息定义只考虑了概率引起的不确定性，而没有考虑由于模糊性等造成的不确定性。,该定义未考虑收信者的主观特征和主观意义。,信息论基础,信息、消息与信号,举例：,电视转播球赛,球赛情况,电视中的图像和声音,电信号,广播播放球赛,球赛情况,广播中的声音,电、声信号,网络转播球赛,球赛情况,计算机上的图像和声音,电信号,报纸刊登球赛,.,信息,消息,信号,信息论基础,信息与消息的区分,消息,：是指,包含有信息,的语言、文字和图像等，可表达客观物质运动和主观思维活动的状态。,消息中包含信息，是信息的载体。,信息载体,：信息必须依附于一定的物质形式存在，这种运载信息的物质，称为信息载体。,同一信息可用不同的消息形式来载荷。,一则消息也可载荷不同的信息，可能包含丰富的信息，也可能包含很少的信息。,消息和信息既有区别又有联系,。,信息论基础,信息与信号的区分,信号,：把消息变换成,适合信道传输,的,物理量,即为信号（如电信号、光信号、声信号等）。,信号携带着消息，它是消息的运载工具。,信号携带信息，但不是信息本身。,同一信息可用不同的信号来表示。,同一信号也可表示不同的信息。,信息论基础,通信中的信号有电信号和光信号两种。,信号的特性可以通过幅度、频率、相位等参量来描述，从信号的特性出发可将其分为,模拟信号,和,数字信号,两大类：,模拟信号,是指信号的,某一参量,可以取,无穷多个值,，并且,与,原始,消息直接对应,的信号，如话音信号及其按照抽样定理所得的,PAM,样值信号等；,t,x,(,t,),(,a,),时间连续的模拟信号,t,x,(,t,),(,b,),时间离散的模拟信号,信息论基础,数字信号,是指信号的,某一参量,只能取,有限多个值,，且,与原始消息不直接对应,的信号，如计算机终端输出的二进制信号及其经过,PSK,、,FSK,等调制方式调制后所得的信号等；,1 0 1 1 0 0 1,t,(,a,),二进制数字信号,x,(,t,),t,0,1,2,3,(,b,),多进制数字信号,x,(,t,),信息论基础,信息总结,指事件中所包含的,内容,。,是事物运动状态或存在形式的,不确定性,的 描述。,不确定性大，则信息多；,不确定性小，则信息少；,没有不确定性，则不包含信息。,信息的度量通过对不确定性的度量来进行。,信息在数量上等于通信前后“不确定性”的减少（消除）量。,度量方法？,概率，随机过程,信息论基础,信息的特征,信息是可以识别的。,信息的载体是可以转换的。,信息是可以存贮的。,信息是可以传递的。,信息是可以度量的。,信息是可以加工的。,信息是可以共享的。,信息论基础,1.2,信息论研究的对象、目的和内容,通信系统框图,（发送者）,信道,信宿,信源,干扰或噪声,消息,（接收者）,信息论基础,信息论的研究对象,通信系统模型,编码器,信道,译码器,信宿,噪声源,信源,信息论基础,通信系统模型组成,信源,：,产生消息和消息序列的来源。,编码器,：把消息变换成适合于信道传输的,信号,。,信源编码器,：将信源的输出进行适当的变换，以提高信息传输的有效性。,信道编码器,：对信源编码器的输出进行变换，用增加多余度的方法提高信道的抗干扰能力，以提高信息传输的可靠性。,信道,：通信系统把载荷消息的信号从发送端送到接收端的媒介或通道，是包括收发设备在内的物理设施。,信息论基础,通信系统模型组成,噪声源,：对传输信道或存储媒介构成干扰或噪声的来源的总称。,译码器,：把信道输出的已迭加了干扰的编码信号进行反变换，变成信宿能够接受的消息。,信道译码器,：利用信道编码时所提供的多余度，检查或纠正数字序列中的错误。,信源译码器,：把经过信道译码器核对过的信息序列转换成适合接收者接收的信息形式。,信宿,：消息传送的对象，即接受消息的人或机器。,信息论基础,信息论的研究对象,通信系统模型,编码器,信道,译码器,信宿,噪声源,信源,消息,信号,干扰,信号+干扰,消息,信源编码+信道编码,信道译码+信源译码,信息论基础,信息论的研究目的,研究目的,提高,信息传输系统的,可靠性、有效性,和,安全性,，以达到信息传输系统的最优化。,信息论基础,信息论的研究内容,研究内容：,基于通信系统模型，研究信息传输和处理的共同规律。,编码器,信道,译码器,信宿,噪声源,信源,信源编码+信道编码,信道译码+信源译码,信息论基础,狭义（香农）信息论的研究内容,具体内容,：,什么是,信息,？如何度量信息？,怎样确定,信源,中含有多少,信息量,？,对于一个信道，它传输信息量的最高极限（,信道容量,）是多少？,为了能够无失真的传输信源信息，对,信源编码,时所需的最少的码符号数是多少？（,无失真信源编码,即,香农第,一,定理）,在有噪信道中有没有可能以接近信道容量的信息传输率传输信息而错误概率几乎为零？（,有噪信道编码,即,香农第,二,定理）,如果对信源编码时允许一定量的失真，所需的最少的码符号数又是多少？（,限失真信源编码,即,香农第,三,定理）,编码器,信道,译码器,信宿,噪声源,信源,信源编码+信道编码,信道译码+信源译码,信息论基础,对信息论研究内容的理解,对信息论的研究内容一般有三种理解：,狭义信息论（香农信息论，经典信息论）,主要研究,信息论的基础理论，,包括,信息的测度、信道容量以及信源和信道编码理论等问题。,一般信息论（工程信息论，通信理论）,主要是研究,信息传输和处理问题,，除了香农理论外，还包括噪声理论、信号滤波和预测、统计检测和估计理论、调制理论以及信息处理理论（如：加密）等。,广义信息论（信息科学）,不仅包括上述两方面内容，而且包括,所有与信息有关的自然和社会领域,，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题。,信息论基础,1.3,信息论的发展过程,现代信息论实际上是从20世纪20年代奈奎斯特和哈特莱的工作开始的。,1924年，Nyquist提出信息传输理论；,1928年，Hartley提出信息量关系,1946年，柯切尼柯夫提出信号检测理论；,1948年，Shannon提出信息论，“通信中的数学理论 ”，,标志着信息论学科诞生,。,系统讨论了通信的基本问题；,得出无失真信源编码定理（香农第一定理）；,得出有噪信道编码（香农第二定理）。,信息论基础,信息论的发展过程,五十年代：信息论在学术界引起了巨大反响。,1959年：香农发表文章“保真度准则下的离散信源编码定理”。,为各种信源编码的研究奠定了基础；,信息率失真理论,（,限失真信源编码,即,香农第,三,定理）,数据压缩,理论与技术成为信息论的重要分支。,六十年代：信道编码技术有较大进展。,汉明码、循环码、卷积码、BCH等。,信道编码,成为信息论重要分支。,信息论基础,信息论的发展过程,1961年：香农的重要论文“双路通信信道”开拓了,多用户信息理论,的研究。,七十年代：有关信息论的研究，从点对点间的单用户通信推广到多用户系统的研究。,1959年：迪弗和海尔曼发表文章“密码学的新方向”。,提出了公开密钥密码体制。,密码学,成为信息论重要分支。,信息论基础,1.4,信息论的研究现状,现状,在香农理论基础上给出的,最佳噪声通信系统模型,近年来正在成为现实；,在噪声中信号过滤与检测基础上发展起来的,信号检测理论,和,抗干扰编码基础上发展起来的编码理论,已成为现代信息论的两个重要分支；,此外，模糊信息处理、相对信息处理、主观信息处理、智能信息处理、自动化信息控制等大量崭新课题的研究也相继展开，使信息理论的面貌一新，并将大大促进信息科学的发展。,信息论基础,信息论的发展方向,香农信息论,信息概念的深化；,网络信息理论和多重相关信源编码理论的发展和应用；,通信网的一般信息理论研究；,信息率失真理论的发展及其在数据压缩和图像处理中的应用；,信息论在大规模集成电路中的应用；,磁记录信道的研究等。,纠错码理论（信道编码）,：在工程方面应用及最优编码方法研究。,维纳信息论,：对量子检测和估计理论、非参数检测和估计理论以及非线性检测与估计理论的研究。,信息论基础,本章小结,1.1,信息的概念,1.2,信息论研究的对象、目的和内容,1.3,信息论的发展过程,1.4,信息论的研究现状,End,信息论基础,香农信息定义,1948年，香农在发表的论文 通信的数学理论中，从研究,通信系统传输的本质,出发，对信息做了科学的定义,，并进行了定性和定量的描述。,信息,：是事物运动状态或存在形式的不确定性的描述。,通信系统中,接受消息的过程,就是,消除不确定性的过程,。不确定的消除就获得了信息。,信息量与不确定性消除的程度有关。,信息的度量,：信息熵。,信息论基础,香农（狭义）信息论的研究内容,研究内容：,基于通信系统模型，研究信息传输和处理的共同规律。,编码器,信道,译码器,信宿,噪声源,信源,信源编码+信道编码,信道译码+信源译码,信息论基础,常用概率公式,贝叶斯公式,信息论基础,