第一章：概论

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,信 息 论 基 础,课程概况,目的,：,了解学习信息论的,作用、方法与意义,，对信息论的,研究方法和成果,有广泛的基本认识，学会,应用,，为进一步研究打下基础,特点,：,以,信息理论,为中心，区别与“信源编码”、“信道编码,”,以概念和物理意义为主，数学推导尽量放到课外,结合通信系统实际,应用,参考书目,付祖云，,朱雪龙，,“,应用信息论基础,”,，清华大学出版社,吴伟陵，,“,信息处理与编码,”,，人民邮电出版社,王育民等，,“信息与编码理论”，西电出版社,周炯槃，“信息理论基础”，人民邮电出版社,McElice, The Theory of Information &Coding,Proakis, Digital Communication,Viterbi, Principle of Digital communication &Coding,其它有关事项,讲课,:,（概念、方法）,自学,:,（数学推导、定理证明）,考试,：基本概念，基本计算。,联系方式：,Email:,wintermeizi,Phone：05972800591,欢迎提出各种问题、意见和建议,是否学过信息论、信源/信道编码或密码学等,，,程度如何？,希望重点讲什么？,希望哪些可以简略？,希望增加哪些内容？,对授课方式有什么意见和建议？,第一章：概述,信息、信息科学与信息论,信息论研究的对象、目的和内容,信息论发展简史与现状,信息论的形成与发展,信息论方法的应用及其取得的成果,1.1信息理论的基本内容,Informinformation,“,某人被通知或告知的内容、情报、消息”,牛津英文字典,广义的信息,信息的形式、内容最广泛意义,技术术语的信息表达信息所用的形式或载体具体但无确切定义,统计信息,信息表达形式中统计方面的性质明确定义的科学名词,与内容无关、独立于形式,什么是信息？,信息、信息科学与信息论,信息、信息科学与信息论,IT -,计算机所涉及的各种各样的技术,优点：笼统、不明确,适应种类繁多、不断发展,统一的、全面的、高层次的,什么是信息技术？,信息、信息科学与信息论,出现于图书馆学研究图书文献的检索,计算机出现后新的含义,不同国家含义不尽相同,发展和长远的观点能与信息技术相对应的基础科学,什么是信息科学？,信息、信息科学与信息论,信息论统计信息理论,四十年代末期,C.E.Shannon(,克劳德香农)，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。,统计信息理论局限性不能解决一些问题,如：人工智能中启发式,搜索和学习,发展的观点信息科学所不可缺少的理论,基石,什么是信息理论？,信息、信息科学与信息论,在,通信,中对信息的表达分为三个层次：,信号,、,消息,、,信息,。,信号/信源,：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。,信源分类:,自然信源,社会信源,知识信源,消息,：,(,或称为符号,),是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：,1),离散,(,数字,),消息，是一组未知量，可用随机序列来描述：,U,=(U,1,U,l,U,L,),2),连续,(,模拟,),消息，也是未知量，它可用随机过程来描述：,U(t,),信息,：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。,通信中的信息含义？,信息、信息科学与信息论,关系：,信息,-,可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。,信号,-,则是抽象信息在物理层表达的外延；,消息,-,则是抽象信息在数学层表达的外延。,同一信息，可以采用不同的信号形式,(,比如文字、语言、图象等,),来载荷；,同一信息，也可以采用不同的数学表达形式,(,比如离散或连续,),来定量描述；,同一信号形式，比如“,0,”,与“,1,”,可以表达不同形式的信息，比如无与有、断 与通、低与高,(,电平,),等等。,通信中的信息含义？,信息论研究的对象、目的和内容,信息论的研究范畴,广义 信息论,工程,信息论,统计,信息论,信息论研究的对象、目的和内容,统计信息论对象,信息传输系统,统一的通信系统模型,信息论研究的对象、目的和内容,统计信息论,Shannon,信息论（,本课程的主要内容）,主要研究通信系统的数学描述与定量分析，研究系统的最优状态与优化理论，即研究通信系统,理论上的潜在能力与数学上的极限情况。它是以存在性研究为主体，又称它为数学信息论。,研究内容,：,1),信源的描述，信息的定量度量、分析与计算。,2),信道的描述，信道传输的定量度量、分析与计算。,3,）,信源、信道与通信系统之间的统计匹配，以及通信系统的优化。,Shannon,的三个编码定理。,信息论诞生五十年来，至今，仍然是指导通信技术发展的理论基础，是创新新通信体制的源泉。,信息论研究的对象、目的和内容,系统优化的实质,就是要研究系统在不同优化指标下，两类参量（主、客观）之间的统计匹配与匹配的条件。,优化的目标：,系统传输最有效：对无失真信源、对限失真信源,系统传输最可靠；,系统传输最安全；,有以上三个指标、四个方面所讨论的系统优化就构成了最著名的,C. E. Shannon,三个编码定理与一个密码学基本定理。,信息论研究的对象、目的和内容,工程信息论,以工程为背景，主要研究通信系统中各部分的最佳工作规律，与最佳设计原则，它以构造性为主体，以工程上技术问题为主。,研究内容主要包括：,信源编、译码理论及其设计构造方法；,信道编、译码理论及其设计构造方法；,最佳调制与解调理论与实现；,最佳检测、估值与最佳接收理论与实现；,检测、估值、滤波理论,最佳信息处理理论、方法与算法；,均衡、模式识别、人工智能、随机控制,信息论研究的对象、目的和内容,目的,找到信息传输过程的共同规律,提高信息传输的可靠性、有效性、安全性,可靠性：信源发出信道准确、不失真地再现于信宿,有效性：尽可能短的时间、尽可能少的资源实现传送,安全性：隐蔽、保护传送到消息,达到信息传输系统最优化,1.2信息论发展简史,通信技术的理论基础,交通,物资运输,电网,能量（电力）运输,通信,？,信息的表现形式,通信,关心,简单、基础的广义信息,信宿不能准确再现信源时：,信息论发展简史与现状,信息论的形成与发展,信息论发展简史与现状,信息论的形成与发展,1948,年以前,Telegraph (Morse, 1830s);,Telephone (Bell, 1876);,Wireless Telegraph (Marconi, 1887);,AM Radio (early 1900s),Single -Sideband Modulation(Carson,1922);,Television (1925 -1927);,Teletype (1931);,Frequency Modulation (Armstrong, 1936);,Pulse-Code Modulation (PCM)(Reeves, 1937-1939);,Vocoder,(Dudley, 1939);,Spread Spectrum (1940s).,通信技术的发展提出新的问题：,远距离传输、提高信道利用率等,信息论发展简史与现状,信息论的形成与发展,Claude. E.,Shannon,的两篇论文,Shannon,信息论,1948,年,-,信息时代的里程碑,!,“,A Mathematical Theory in Communication”（,通信的数学理论）-,Shannon,第一、二定理,1959,年,“,Coding theorems for a discrete source with a fidelity criterion”,.,（,保失真度准则下的有失真信源编码定理,）,- Shannon,第三定理,信息论发展简史与现状,信息论的形成与发展,1948,年以后，调制解调,Digital Modulation:,BPSK, QPSK, QAM,FH, DS,FDMA, TDMA,CDMA,空间时间自适应处理、智能天线技术,多用户检测、干扰抑制技术,多载波和,OFDM,信息论发展简史与现状,信息论的形成与发展,1948,年以后，信源编码,Huffman,Fano,Code (1950);,波形编码：,PCM, DM, DPCM;,语音参量编码,;,图象编码：,DCT,帧间预测插值,运动补偿,数据压缩编码,语音编码标准,图象编码标准,信息论发展简史与现状,信息论的形成与发展,1948,年以后、信道编码,Hamming Code, Cyclic Code (1950);,Convolution Code (,Fano,Viterbi, 1950);,BCH Code, Reed,Solumn,Code (1959),级连码（内码：,RS,码,+,外码：卷级码）,Trellis coded Modulation (1976, 1982),Turbo Code (1993) (10-5,，,0.5dB),LDPC (Gallager,1963) (10-6, 0.04dB),信息论发展简史与现状,信息论的形成与发展,统计数学的一个分支,Fiser,信息量、,Shannon,熵、率失真理论,熵、,阶,熵、,次,熵、,熵等,信号与信息处理的一般理论基础,密码学、最大熵谱估计、最大熵准则等,1.3控制论、信息论与系统论,“,老三论”,：,系统论、控制论和信息论是本世纪四十年代后,提出,又称,SCI,论,“新三论”,：,耗散结构论、协同论、突变论是本世纪七十年代后创立，也称为,DSC,论,1.控制论,控制论是著名美国数学家维纳（,Wiener N）,创始的。,重要特点:,1.摆脱了牛顿经典力学和拉普拉斯机械决定论的束缚,而 是建立在统计理论基础上,2.抛开对象的物质和能量的形态观,着重一信息观点来研 究系统,3.抛开“一时一地”固定的观点,而着重于所有行为方式缓 和状态，重视变化的趋势。,4.把系统观点、信息观点和反馈观点结合起来，形成一门新的科学技术,2.系统论,系统论的创始人是美籍奥地利生物学家贝塔朗菲。,系统论要求把事物当作一个整体或系统来研究，并用数学模型去描述和确定系统的结构和行为。,整体功能各部分功能的总和,系统论的三大基本特征目的性,动态性,有序性,系统工程,系统工程:系统工程是以系统论的观点来解决系统的分析与设计的问题.,系统论、控制论和信息论的共同点,（1）综合的整体的观点从个别的分析到综合的研究,（2）从机械的静止观点到动态的观点和方法,（3）从物质能两者的交换发展到物质能量信息三者的交换,（4）信息反应了系统的重要特征，反映了系统的组织化、复杂化，系统越复杂，信息越多也越重要,系统论是控制论和信息论的基础,信息论是控制论的基础,正朝着“三归一”的方向发展,1.4信息理论的应用,在通信方面应用最广泛,语音信号压缩：降低信息传输所需的功率,信息论的奠基人之一,香农,从通信工程的角度对信息解释为:用来消除不确定性的东西,指的是有新内容 或新知识的消息; 控制论的奠基人,维纳,对信息的解释为:信息就是信息,不是物质,也不是能量;,香农的两大贡献：,一,、,信息理论、信息熵的概念,二、,符号逻辑和开关理论,关于,shannon,(,香农),