信息伦与编码

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,信息论与编码,刘美春,应用数学系,2,期末总评,期末考试成绩占,60,平时成绩占,20,作业,课堂表现：考勤、问答情况等,课堂作业,课程实验占,20%,使用教材,3,4,参考书,1,信息论,基础理论与应用,，傅祖芸编，电子工业出版社，,2001,2,信息论与编码,，陈运编著，电子工业出版社，,2002,信息理论与编码,，吕锋等编著，人民邮电出版社，,2004,信息科学,一、信息论：理论基础，主要研究可能性和存在性问题,二、信息技术：,主要研究如何实现、怎样实现的问题,信息科学、材料科学和能源科学一起被称为当代文明的,“,三大支柱,”,。,“,没有物质的世界是虚无的世界，没有能源的世界是死寂的世界，,没有信息的世界是混乱的世界,。,”,5,6,课程内容,信息论的基本问题,信息的度量,无失真信源编码定理,香农第一定理,信道编码定理,香农第二定理,限失真信源编码定理,香农第三定理,信源编码,信道编码,7,教学目标,香农信息论的基本理论、概念和方法；,信息的统计度量，离散信源，离散信道和信道容量,编码的理论和实现原理,信源编码与信道编码,教学重点,信息度量,信源描述,信道容量,信源编码,信道编码,课程内容安排,第一章 绪论,第二章 信源与信息熵,第三章 信道与信道容量,第四章 信息率失真函数,第五章 信源编码,第六章 信道编码,8,绪 论,第一章,10,1.1,信息论的形成和发展,1.2,信息论研究的分类和基本概念,1.3,通信系统的模型,1.4,信息科学的发展,1.4,目前信息论的主要研究成果,内容,11,1.1,信息论的形成和发展,12,信息传输和传播手段经历了五次重大变革：,语言的产生；,文字的产生,印刷术的发明,电报、电话的发明，开始了电信时代，通信理论、技术迅猛发展。现代信息论产生发展。,计算机技术与通信技术相结合，促进网络通信发展。宽带综合业务数字网的出现，给人们提供了除电话服务外的多种服务，进入信息化时代。,13,现代信息论实际上是从,20,世纪,20,年代奈奎斯特和哈特莱的工作开始的。,1924,年 奈奎斯特 “影响电报速率因素的确定”信号带宽和信息速率的关系；,1928,年 哈特莱“信息传输”最早研究了通信系统传输信息的能力，给出了信息度量方法；,14,1948,年 香农 权威性长文“通信的数学理论”讨论了信源和信道特性,1949,年 香农“噪声中的通信”,这两篇文章奠定了现代信息论的理论基础。香农因此成为信息论的奠基人。,50,年代，信息论在学术界引起巨大反响：组织、学术会刊,60,年代，信道编码技术发展,70,年代后，多用户信息论，即网络信息论称为中心研究课题之一。,密码学也被归类为信息论的分支。,15,16,Claude Shannon(1916-2001),数学家,工程学家,信息论创始人、,奠基人,电子计算机理论的重要奠基人之一,17,代表著作：,1938,年,继电器和开关电路的符号分析,。,首次用布尔代数进行开关电路的分析,证明了布尔代数的逻辑运算可以通过继电器电路来实现，明确给出了实现加减乘除等运算的电子电路设计方法。,文中首次使用了比特,(bit),的概念。,这篇论文成为开关电路理论的开端。,哈佛大学,的,Howard Gardner,教授说，“这可能是本世纪最重要、最著名的一篇硕士论文。”,18,1948,年在,贝尔系统技术,杂志上发表的,通信的数学理论,(A mathematical theory of communication),。第一次提出了,信息量,的概念，并应用,数理统计,的方法来研究通信系统，从而创立了影响深远的信息论。,通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息,-,香农,19,1949,年，,噪声下的通信,。经典地阐明了通信的基本问题，提出了通信系统模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题。,这两篇文章成了现在信息论的奠基著作，标志着香农成为了,信息论,这门新兴学科的奠基人。,20,其他的著作：,1,）,1956,年，,噪声信道的零差错容量,（,the zero-error capacity of a noisy channel,）开创了零差错容量的研究领域；,2,）,1959,年 在保真度准则下的离散信源编码定理,(Coding theorems for a discrete source with a fidelity criterion),系统地提出了信息率失真理论，它是数据压缩的数学基础，为各种信源编码的研究奠定了基础。,3,）,1961,年，双路通信信道（,two-way commu-nication channels,），开创了多用户理论研究。,21,科研风格：,触类旁通。善于站在巨人的肩膀上，可以看得更高更远,标新立异，个性化研究。提出了很多新的概念。,22,1.2,信息论研究的分类和基本概念,23,什么是信息,?,信息,：,一个既复杂又抽象的概念,-,信息是指各个事物运动的状态及状态变化的方式。,人们从来自对周围世界的观察得到的数据中获得信息。信息是抽象的意识或知识，它是看不见、摸不到的。人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候它就是一种信息。,24,例,1,、竞技场上的较量。,高手过招，过程是千变万化、不规则、随机的，结果是未知的。,当成绩公布时，这则消息给予了我们信息。,2,、网页上的消息,25,信息的特征,信息的基本概念在于它的,不确定性,任何已确定的事物都不含信息。,接收者在收到信息之前，对它的内容是不知道的，所以，信息是新知识、新内容；,信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识；,信息可以产生，也可以消失，同时信息可以被携带、贮存及处理；,信息是可以量度的，信息量有多少的差别,26,例：气象预报,甲,乙,“,甲地晴”比“乙地晴”的,不确定性,来的小,某一事物状态出现的概率越小，其不确定性越大。某一事物状态出现的概率接近于,1,即预料中肯定会出现的事件，那它的不确定性就接近于零。,27,信息、消息和信号,信息,是事物运动状态或存在方式。,消息,是指包含有信息的语言、文字和图像等,信号,是消息的物理体现。信号是信息的载荷子或载体，是物理性的。,在通信系统中，实际传输的是信号，但本质内容的是信息。信息包含在信号之中，信号是信息的载体。通信的结果是消除或部分消除不确定性，从而获得信息。,28,信息论,信息论,一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、提取和处理系统中一般规律的学科。,信息论在,信息可以量度,的基础上,研究,有效地,和,可靠地,传递信息的科学,它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识,29,信息论研究的内容,狭义信息论：,研究信息的测度、信道容量以及信源和信道编码理论等问题。,一般信息论：,研究信息传输和处理问题，除香农信息论，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等。,广义信息论：,不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题,30,1.3,通信系统的模型,31,数字通信系统模型,信道,信源,信源编码,加密,信道编码,干扰源,信宿,信源解码,解密,信道解码,加密密钥,解密密钥,u,x,y,k,z,v,z,y,x,32,信源、信宿和信道,信源：,向通信系统提供消息,u,的人和机器。发送消息的源，,离散信源,模拟信源,重点讨论,信源输出,的描述方法及性质。,信宿：,信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。,信道：,传输信息的物理媒介，如空气、电缆线等等,信源编码,大前提：信源的输出是电信号,X=(x,1,x,2,x,n,),从信息传输的角度看，希望传输效率越高越好，即以最小代价传递尽可能多的信息,假定前提：传送一个序列符号所耗的时间是固定的。,理想情况：每个符号携带的信息同样多，并达到最大,实情：信息分布不均匀,信源编码,：对符号序列加以变换，使得变换后的序列信息分布均匀化。,33,34,信源编码器与译码器,信源编码器的主要作用,压缩信源的冗余度,以提高通信系统传输消息的效率。,信源编码器分为两类,一类是无失真信源编码,适用于离散信源或数字信号；,另一类是限失真信源编码,用于连续信源或模拟信号,如语音、图像等信号的数字处理,35,信源编码器与译码器,信源编码器的主要指标,是它的编码效率，即理论上能达到的码率与实际达到的码率之比。,一般来说，效率越高，编译码器的代价也将越大。,信源译码器的作用,是把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于信源编码器的逆过程。,36,信道编码器与译码器,信道编码,主要作用是提高信息传送的,可靠性,。,信道编码器的作用,在信源编码器输出的代码组上有目的地增加一些监督码元,使之具有检错或纠错的能力,信道编码的主要方法,增大码率或频带,即增大所需的信道容量。这恰与信源编码相反。,信道译码器的作用,具有检错或纠错的功能,它能将落在其检错或纠错范围内的错传码元检出或纠正,以提高传输消息的可靠性。,37,密码学研究的内容,如何隐蔽消息中的信息内容,使它在传输过程中不被窃听,.,提高通信系统的,安全性,；,将明文变换成密文,通常不需要增大信道容量,例如在二进码信息流上叠加一密钥流；,但也有些密码要求占用较大的信道容量。,38,问题：,能否将三种码,(,信源编码、信道编码和密码,),合成一种码进行编译？,提高有效性必须去掉信源符号中的冗余部分,此时信道误码会使接收端不能恢复原来的信息,也就是必须相应提高传送的可靠性,不然会使通信质量下降；,反之,为了可靠而采用信道编码,往往需扩大码率,也就降低了有效性。安全性也有类似情况,编成密码,有时需扩展码位,这样就降低有效性；有时也会因失真而使授权用户无法获得信息,必须重发而降低有效性,或丢失信息而降低可靠性。,39,从理论方面来说，若能把三种码合并成一种码来编译，即同时考虑有效、可靠和安全，可使编译码器更理想化，在经济上可能也更优越。,这种三码合一的设想是当前众所关心的课题，但因理论上和技术上的复杂性，要取得有用的结果，还是相当困难。,40,1.4,信息科学的发展,41,信息科学的定义及迅速发展的背景,:,信息科学是研究信息的获取、存储、传输、加工处理和利用等内容的技术科学。,它与数学、物理、材料、生命、心理等基础学科以及众多技术学科交叉形成新领域，是发展和更新最为迅速的技术科学研究领域之一。,信息科学与其它科学技术交叉将派生出大量的新概念、新构思、新技术和边缘学科。,其核心是现代通信加信息技术。,42,国家信息基础结构,亦称,“,信息高速公路,”,，是一个具有大容量、高速度的,电子数据传输系统,，最早由美国联邦政府引导工业界提出并逐步建立，简称,NII,（,National Information Infrastructure,）。,它以现代信息技术为基础，以光导纤维网络为骨干，连接全美的学校、研究机构、企业、图书馆、实验室乃至每个家庭，使人们共享丰富的信息资源。,43,信息产业,信息产业在世界范围内正在由先导产业逐步变为主导产业。,从微观上看，表现为单位产品的价格构成中，能源和材料的消耗减少而信息技术和信息服务的比重上升；,从宏观上看，表现为国民生产总值（,GDP,）中信息产业所占的比重增加。,一个国家信息产业的发展水平将是衡量该国社会经济总体发展和现代化程度的重要标志之一。,信息与通信工程一级学科,九十年代中期，国家在进行科学研究的学科规划和调整时，将工程学科原来,100,多个一级学科调整为,31,个，但却将原来的,“,电子与信息系统,”,调整为,“,信息与通信工程,”,和,“,电子科学与技