《信息论基础教程》_课件教案_第一章_绪论

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,信息论与编码,课程信息,教材及主要参考书,：,信息论基础教程,第二版 李梅,李亦农,北京邮电大学出版社，,2008,年,10,月,信息论,-,基础理论与应用,，傅祖芸,电子工业出版社，,2001,年,8,月,考核,：,平时成绩,20,（作业、考勤、,实验,）,期末考试,80,（闭卷）,答疑,：,实践性教学内容、要求及学时分配,实验一：信道容量的迭代算法,2,学时,实验二：,Huffman,编码,2,学时,实验三：通信系统仿真,4,学时,（备选题目：,LZW,压缩编码）,国外参考教材,T. M. Cover, Fundamental of Information Theory,􀂅,最为流行的英文教材，为,Stanford,、,MIT,等学校的研究生课程选用,􀂅,数学推导适中，强调概念，作为参考教材,R.G.,Gallager, Information Theory and Reliable Communication,􀂅,数学推导较为艰深,􀂅,作为提高教材,第一章：绪论,一、,什么是信息,二、通信系统模型,三、信息论的研究内容,四、信息论的形成和发展,第一章：绪论,一、什么是信息,二、通信系统模型,三、信息论的研究内容,四、信息论的形成和发展,1.,概述,2.,信息的通俗概念,3.,信息的狭义概念（香农信息）,4.,信息的广义概念,组成客观世界的三大基本要素：,物质,能量,信息,没有物质什么都不存在，没有能量什么都不会发生，没有信息什么都没有意义。,美国学者欧廷格,研究内容,形成和发展,什么是信息,通信系统模型,第一章：绪论,1.,概述,2.,信息的通俗概念,信息的通俗概念：消息就是信息。,用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就称为,消息,。,研究内容,形成和发展,什么是信息,通信系统模型,第一章：绪论,消息,中包含信息，消息是信息的载体。,2.,信息的通俗概念（续,1,）,信号,是表示消息的物理量，包括电信号、光信号等。,信号,中携带着消息，信号是消息的载体。,信息,信号,消息,研究内容,形成和发展,什么是信息,通信系统模型,第一章：绪论,3.,信息的狭义概念（香农信息）,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,香农信息：信息是对事物运动状态或存在方式的,不确定 性,的描述。,通信的基本问题是在一点,(,信宿）精确或近似恢复另一点（信源）所选择的消息。,香农,通信的过程就是消除,不确定性,的过程。,3.,信息的狭义概念（香农信息） （续,1,）,第一章：绪论,例,1,：,甲袋红、白球各,50,个，乙袋红、白、蓝、黑球各,25,个。比较从甲袋中取出一个球是红球的事件和从乙袋中取出一个球是红球的事件发生的难易程度，也就是事件发生的不确定性。,研究内容,形成和发展,什么是信息,通信系统模型,3.,信息的狭义概念（香农信息） （续,2,）,第一章：绪论,例,2,：,北京地区十月份可能出现的天气包括：晴、阴、雨、雪。比较天气预报为,“,晴,”,和天气预报为,“,雪,”,，给人们带来的信息量。,研究内容,形成和发展,什么是信息,通信系统模型,结论,：不确定性的大小与事件发生的概率有关。,3.,信息的狭义概念（香农信息） （续,3,）,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,不确定性的大小与事件发生的概率有关,因此，信息量可以表示为概率的函数。,不确定性是概率的函数,3.,信息的狭义概念（香农信息） （续,4,）,信息与概率的关系：,事件发生的,概率越大,，该事件包含的,信息量越小,；,如果一个事件发生的,概率为,1,，那么它包含的,信息量为,0,；,两个相互独立事件所提供的信息量应等于它们各自提供的信息量之和。,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,3.,信息的狭义概念（香农信息） （续,5,）,某个消息的不确定性（含有的信息量）可以表示为：,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,信源的平均,不确定性：,3.,信息的狭义概念（香农信息） （续,6,）,第一章：绪论,香农信息的优点：,有明确的数学表达式，定量化,与人们直观理解的信息含义一致,不考虑收信者主观感受的不同，认为同一消息对任何收信者，所得信息量相同。,研究内容,形成和发展,什么是信息,通信系统模型,3.,信息的狭义概念（香农信息） （续,7,）,第一章：绪论,香农信息的局限：,没有考虑收信者的主观特性和主观意义,研究内容,形成和发展,什么是信息,通信系统模型,4.,信息的广义概念,研究内容,形成和发展,什么是信息,通信系统模型,信息,是认识主体（人、生物、机器）所感受的和表达的事物运动的状态和运动状态变化的方式。,语法信息,语义信息,语用信息,第一章：绪论,第一章：绪论,一、什么是信息,二、通信系统模型,三、信息论的研究内容,四、信息论的形成和发展,1.,通信系统模型,2.,提高通信系统的性能指标的措施,1.,通信系统模型,研究内容,形成和发展,什么是信息,通信系统模型,第一章：绪论,图,1,通信系统模型,1.,通信系统模型（续,1,）,信源,编码器,信道,译码器,信宿,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,1,）信源,研究内容：,信源发出的消息的,统计特性,离散,信源、,连续,信源、,波形,信源,有记忆,信源和,无记忆,信源,平稳,信源和,非平稳,信源,信源产生信息的,速率,熵率,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,1.,通信系统模型（续,2,）,2,）编码器,编码器的功能：将消息变成适合信道传输的信号,编码器包括：,信源编码器,信道编码器,调制器,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,1.,通信系统模型（续,3,）,第一章：绪论,图,2,编码器的组成,研究内容,形成和发展,什么是信息,通信系统模型,1.,通信系统模型（续,4,）,信源编码器：,去除信源消息中的冗余度，提高传输的有效性。,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,1.,通信系统模型（续,5,）,信道编码器：,将信源编码后的符号加上冗余符号，提高传输的可靠性。,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,图,3,信道编码示例,1.,通信系统模型（续,6,）,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,思考题：,信源编码去除冗余度，信道编码却加上冗余度，为什么要这么做？,1.,通信系统模型（续,7,）,调制器：,功能：将信道编码后的符号变成适合信道传输的信号,目的： 提高传输效率,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,1.,通信系统模型（续,8,）,3,）信道,狭义信道,广义信道,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,1.,通信系统模型（续,9,）,研究内容：,信道的,统计特性,无噪声,信道、,有噪声,信道,离散,信道、,连续,信道、,波形,信道,有记忆,信道和,无记忆,信道,恒参,信道（,平稳,信道）和,随参,信道（,非平稳,信道）,单用户,信道和,多用户,信道,信道传输信息的,最高速率,信道容量,1.,通信系统模型（续,10,）,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,4,）译码器,译码器的功能：从接收到的信号中恢复消息。,包括：,解调器,信道译码器,信源译码器,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,1.,通信系统模型（续,11,）,第一章：绪论,图,4,译码器的组成,研究内容,形成和发展,什么是信息,通信系统模型,1.,通信系统模型（续,12,）,5,）信宿,信宿是消息传送的对象（人或机器）。,香农信息论不研究信宿。,第一章：绪论,研究内容,形成和发展,什么是信息,通信系统模型,1.,通信系统模型（续,13,）,第一章：绪论,提高,有效性,： （数据压缩）,信源编码：,无失真,信源编码和,限失真,信源编码,提高,可靠性,： （可靠传输）,信道编码,2.,提高通信系统性能指标的措施,研究内容,形成和发展,什么是信息,通信系统模型,第一章：绪论,一、什么是信息,二、通信系统模型,三、信息论的研究内容,四、信息论的形成和发展,1.,信息论研究的主要问题,2.,什么是信息论,3.,信息论的应用,1.,信息论研究的主要问题,第一章：绪论,通信系统模型,形成和发展,什么是信息,研究内容,狭义信息论：又称香农信息论。,一般信息论：也叫工程信息论。,广义信息论,广义,信息论,一般,信息论,狭义,信息论,1.,信息论研究的主要问题（续,1,）,1,）什么是信息？如何度量信息？,第一章：绪论,通信系统模型,形成和发展,什么是信息,研究内容,2,）怎样确定信源输出信息的速率？,3,）对于一个信道，它传输信息的最高速率（信道容量）是多少？,1.,信息论研究的主要问题（续,2,）,4,）无失真信源编码，所需要的最少码符号数是多少？,第一章：绪论,香农第一定理,： 如果编码后的信源序列的编码信息率不小于信源的熵，那么一定存在一种无失真信源编码方法；否则，不存在这样的一种无失真信源编码方法。,通信系统模型,形成和发展,什么是信息,研究内容,1.,信息论研究的主要问题（续,3,）,5,）在有噪声信道中，有没有可能实现几乎无差错的传输信息？,第一章：绪论,香农第二定理,：如果信道的信息传输率小于信道容量，那么总可以找到一种编码方式，使得当编码序列足够长时传输差错任意小；否则，不存在使差错任意小的信道编码方式。,通信系统模型,形成和发展,什么是信息,研究内容,1.,信息论研究的主要问题（续,4,）,6,）如果信源编码时，允许一定的失真，那么信源编码所需要的最少码符号数又是多少？,第一章：绪论,香农第三定理,：对于任意的失真度 ，只要码字足够长，那么总可以找到一种编码方法，使编码后的编码信息率 ，而码的平均失真度 。,通信系统模型,形成和发展,什么是信息,研究内容,信息论是通信的数学基础，它以概率论为主要数学工具，详细研究了通信中的各个关键环节，以定理的形式给出了信源编码、信道编码的理论极限，为各种具体的通信技术提供了理论上的指导。,信息论创立的标志,:,香农于,1948,年发表,的论文,：, A Mathematical Theory of Communication,（通信的数学理论）,2.,什么是信息论,通信系统模型,形成和发展,什么是信息,研究内容,第一章：绪论,2.,什么是信息论（续,1,）,以概率论、随机过程为基本研究工具。,第一章：绪论,通信系统模型,形成和发展,什么是信息,研究内容,研究的是通信系统的整个过程，而不是单个环节，并以编、译码器为重点。,关心的是最优系统的性能和怎样达到这个性能（并不具体设计系统）。,要求信源为随机过程，不研究信宿。,信息论的特点,信息论帮助通信工程师从全局的观点观察和设计通信系统。,信息论是从事信息通信系统研究和开发的必备的知识。,香农信息论的目标是研究通信系统的信息传递，而不是帮助人们理解信息含义。香农信息论有它的局限性。,2.,信息论的应用,第一章：绪论,通信系统模型,形成和发展,什么是信息,研究内容,2.,信息论的应用（续,1,）,通信的基本问题是在一点精确地或近似地恢复另一点（信源）所选择的消息。通常，这些消息是有含义的，但是这些语义方面的问题与通信问题无关，而重要的方面是实际消息是从一个可能的消息集合中选择出的一条消息。,香农,第一章：绪论,通信系统模型,形成和发展,什么是信息,研究内容,2.,信息论的应用（续,2,）,信息论的应用举例,语音信号压缩（,G.711, GSM,Vocoder,）,计算机文件压缩,模拟话路中数据传输速率的提高,其他（音频信号压缩,MP3,、图象信号的压缩,JPEG, MPEG,等）,第一章：绪论,通信系统模型,形成和发展,什么是信息,研究内容,第一章：绪论,一、什么是信息,二、通信系统模型,三、信息论的研究内容,四、信息论的形成和发展,1.,技术背景,2.,理论背景,3.,香农的主要工作,1.,技术背景,当时通信理论与技术已有较大的发展，存在的通信技术包括：,电报（,Morse,，,1838,）、电话（,Bell,，,1876,）、无线电报,(Marconi,1887),、调幅广播（,1900s,早期）、单边带调制（,Carson,，,1922,）、电视（,1925-1927,）、调频广播（,Armstrong,，,1936,）、脉冲编码调制（,Reeves,，,1937-1939,）、声码器（,Dudley,，,1939,）、扩频通信（,1940s,）等。,第一章：绪论,通信系统模型,研究内容,什么是信息,形成和发展,2.,理论背景,1948,年以前，,Nyquist,、,Hartley,、,Wiener,做了许多有影响的工作。,第一章：绪论,通信系统模型,研究内容,什么是信息,形成和发展,3.,香农的主要工作,1948,年，发表,通信的数学理论,。,第一章：绪论,1949,年，发表,噪声下的通信,。,1959,年，发表,在保真度准则下的离散信源编码定理,。,1961,年，发表,双路通信系统,。,通信系统模型,研究内容,什么是信息,形成和发展,1956,年，发表,噪声信道的零差错容量,。,大写字母等表示随机变量,小写字母等表示随机变量的具体取值,大写黑体字母 等表示多维随机变量，也就是随机矢量,小写黑体字母 等表示随机矢量的具体取值,本课程约定的符号表示,