信息论发展简史课件

信息论信息论电子信息工程学院电子信息工程学院 李玉峰李玉峰信信 息息 论论1Information Theory信 息 论1信息论信息论电子信息工程学院电子信息工程学院课程前言课程前言课程类型：专业课 考试课考试课课程学时：40学时 课程教材：信息论与编码（第2版）曹雪虹等编著先修课程:概率论，随机过程，高等数学，线性代数，通信技术.数字电子技术Here comes your footer Page 22课程前言课程类型：专业课 考试课Here comes yo信息论信息论电子信息工程学院电子信息工程学院参考书目傅祖芸 赵建中，信息论与编码，电子工业出版社 王育民等编著，信息论与编码理论，高等教育出版社仇佩亮，信息论与编码，高等教育出版社陈运、周亮等，信息论与编码，电子工业出版社纠错码-原理与方法，王新梅Here comes your footer Page 33参考书目傅祖芸 赵建中，信息论与编码，电子工业出信息论信息论电子信息工程学院电子信息工程学院44信息论信息论电子信息工程学院电子信息工程学院课程主要内容l信息论的基本问题信息论的基本问题信息的度量信息的度量l无失真信源编码定理无失真信源编码定理香农第一定理香农第一定理l信道编码定理信道编码定理香农第二定理香农第二定理l限失真信源编码定理限失真信源编码定理香农第三定理香农第三定理l信源编码信源编码l信道编码信道编码5课程主要内容信息论的基本问题信息的度量5信息论信息论电子信息工程学院电子信息工程学院教学内容与学时安排第第1章章 绪论绪论 （2学时）学时）第第2章章 信源和信息熵信源和信息熵（10学时）学时）第第3章章 信道与信道容量信道与信道容量（8学时）学时）第第4章章 信息率失真函数信息率失真函数（4学时）学时）第第5章章 信源编码信源编码（6学时）学时）第第6章章 信道编码信道编码（10学时）学时）6教学内容与学时安排第1章 绪论 （2学时）6信息论信息论电子信息工程学院电子信息工程学院绪绪 论论第一章第一章7绪 论第一章7信息论信息论电子信息工程学院电子信息工程学院本章节教学内容、基本要求、重点与难点本章节教学内容、基本要求、重点与难点 1.1.1.1.教学内容：教学内容：教学内容：教学内容：信息的一般概念；信息的一般概念；信息的一般概念；信息的一般概念；信息的分类；信息的分类；信息的分类；信息的分类；信息论的起源、发展及研究内容；信息论的起源、发展及研究内容；信息论的起源、发展及研究内容；信息论的起源、发展及研究内容；通信系统的模型；通信系统的模型；通信系统的模型；通信系统的模型；2.2.2.2.教学基本要求：教学基本要求：教学基本要求：教学基本要求：了解信息的概念了解信息的概念了解信息的概念了解信息的概念 、度量；、度量；、度量；、度量；了解学习信息论的重要性、意义；了解学习信息论的重要性、意义；了解学习信息论的重要性、意义；了解学习信息论的重要性、意义；掌握通信系统中信息传输的模型；掌握通信系统中信息传输的模型；掌握通信系统中信息传输的模型；掌握通信系统中信息传输的模型；3.3.3.3.重点与难点：重点与难点：重点与难点：重点与难点：信息度量的概念；信息度量的概念；信息度量的概念；信息度量的概念；通信系统中的信息传输模型。通信系统中的信息传输模型。通信系统中的信息传输模型。通信系统中的信息传输模型。8本章节教学内容、基本要求、重点与难点 1.教学内容：8信息论信息论电子信息工程学院电子信息工程学院 第一章第一章 绪绪 论论l1.1 信息论的基本概念信息论的基本概念l1.2 信息的分类信息的分类l1.3 信息论的形成和发展信息论的形成和发展l1.4 信息论研究的对象、目的和内容信息论研究的对象、目的和内容l1.5目前信息论的主要研究成果目前信息论的主要研究成果l1.6 通信系统的模型通信系统的模型 9 第一章 绪 论1.1 信息论的基本概念9信息论信息论电子信息工程学院电子信息工程学院什么是信息什么是信息?l“信息是信息，不是物质，也不是能量。”1948年（美）维纳l“信息是反映事物的形式、关系和差别的东西，信息是包含了客体间的差别中，而不是在客体本身中。”1975年（意）朗格l“信息是对事物运动状态或存在方式的不确定的描述。”1948年（美）香农10什么是信息?“信息是信息，不是物质，也不是能量。”10信息论信息论电子信息工程学院电子信息工程学院信息的直观理解 第一个重要概念：第一个重要概念：l信道上传送的是随机变量的值。这就是信道上传送的是随机变量的值。这就是说说:（1）我们在收到消息之前，并不知道消）我们在收到消息之前，并不知道消息的内容。否则消息是没有必要发送的。息的内容。否则消息是没有必要发送的。（2）消息随机变量有一个概率分布。）消息随机变量有一个概率分布。消息随机变量的一个可能取值就称为消息随机变量的一个可能取值就称为一个事件。一个事件。11信息的直观理解 第一个重要概念：11信息论信息论电子信息工程学院电子信息工程学院信息的直观理解 第二个重要概念：第二个重要概念：l事件发生的概率越小，此事件含有的信事件发生的概率越小，此事件含有的信息量就越大。息量就越大。l例如两个事件例如两个事件 A=“中国足球队中国足球队3：0力克韩国足球队力克韩国足球队”B=“中国足球队中国足球队0：1负于韩国足球队负于韩国足球队”结论是：结论是：A含有的信息量含有的信息量B含有的信息含有的信息量。量。12信息的直观理解 第二个重要概念：12信息论信息论电子信息工程学院电子信息工程学院信息的直观理解 第三个重要概念：第三个重要概念：l消息出现的随机性越大，此消息含有的信消息出现的随机性越大，此消息含有的信息量就越大。息量就越大。l例如两个事件例如两个事件 A=“中国足球队与韩国足球队比赛的结果中国足球队与韩国足球队比赛的结果”B=“意大利足球队与德国足球队比赛的结意大利足球队与德国足球队比赛的结果果”易知：事件易知：事件B随机性大，故含有信息量大。随机性大，故含有信息量大。13信息的直观理解 第三个重要概念：13信息论信息论电子信息工程学院电子信息工程学院信息的直观理解 第四个重要概念：第四个重要概念：l两个消息随机变量的相互依赖性越大，两个消息随机变量的相互依赖性越大，它们的互信息量就越大。它们的互信息量就越大。l 例例 X=许昌明日平均气温许昌明日平均气温,Y=郑州明日郑州明日平均气温，平均气温，Z=北京明日平均气温，北京明日平均气温，W=纽约明日平均气温。则纽约明日平均气温。则 X与与Y互信息量大，互信息量大，X与与Z互信息量小得多，互信息量小得多，X与与W互信息量几乎为互信息量几乎为0。14信息的直观理解 第四个重要概念：14信息论信息论电子信息工程学院电子信息工程学院l例：气象预报例：气象预报 l甲甲l乙乙l一事物状态出现的概率越小，其不确定性一事物状态出现的概率越小，其不确定性越大。越大。l“甲地晴甲地晴”比比“乙地晴乙地晴”的不确定性来的的不确定性来的小小.15例：气象预报 一事物状态出现的概率越小，其不确定性越大。1信息论信息论电子信息工程学院电子信息工程学院信息、消息和信号信息信息是对事物运动状态或存在方式的不确是对事物运动状态或存在方式的不确定性描述。定性描述。消息消息是指包含有信息的语言、文字和图像是指包含有信息的语言、文字和图像等。等。信号信号是消息的物理体现。是消息的物理体现。16信息、消息和信号信息消息16信息论信息论电子信息工程学院电子信息工程学院信息、消息和信号 消息是信息的数学载体，信号是信息的消息是信息的数学载体，信号是信息的物理载体。物理载体。l信号：具体的，物理的信号：具体的，物理的l消息：具体的，非物理的消息：具体的，非物理的l信息：非具体的，非物理的信息：非具体的，非物理的17信息、消息和信号 消息是信息的数学载体，信号是信息的17信息论信息论电子信息工程学院电子信息工程学院Here comes your footer Page 18v总结总结消息消息是信息的携带者，信息包含于是信息的携带者，信息包含于消息中。消息中。消息不一定含有信息。消息不一定含有信息。信号信号是消息的是消息的载体载体，消息是信号的，消息是信号的具体内容。具体内容。信号信号信号信号18Here comes your footer Pag信息论信息论电子信息工程学院电子信息工程学院 在通信系统中，实际传输在通信系统中，实际传输的是信号，但本质内容是信息。的是信号，但本质内容是信息。通信的结果是消除或部分通信的结果是消除或部分消除不确定性，从而获得信息。消除不确定性，从而获得信息。19 在通信系统中，实际传输的是信号，但本质内信息论信息论电子信息工程学院电子信息工程学院信息的特征 信息是十分抽象又复杂的概念，它具有信息是十分抽象又复杂的概念，它具有以下特征：以下特征：l接收到信息之前，其内容未知；接收到信息之前，其内容未知；l信息具有知识的本质，可使主体对事物的信息具有知识的本质，可使主体对事物的不确定性减小；不确定性减小；l信息可以产生，可以消失；信息可以产生，可以消失；l信息可以度量。信息可以度量。20信息的特征 信息是十分抽象又复杂的概念，它具有20信息论信息论电子信息工程学院电子信息工程学院 第一章 绪论l1.1 信息论的基本概念信息论的基本概念l1.2 信息的分类信息的分类l1.3 信息论的形成和发展信息论的形成和发展l1.4 信息论研究的对象、目的和内容信息论研究的对象、目的和内容l1.5目前信息论的主要研究成果目前信息论的主要研究成果l1.6 通信系统的模型通信系统的模型21 第一章 绪论1.1 信息论的基本概念21信息论信息论电子信息工程学院电子信息工程学院信息的分类l按信息源的性质分类：语声信息、图像信息、文字信按信息源的性质分类：语声信息、图像信息、文字信息、数据信息、计算信息等。息、数据信息、计算信息等。l按信息的作用分类：有用信息、无用信息、干扰信息。按信息的作用分类：有用信息、无用信息、干扰信息。l按信息的逻辑意义分类：真实信息、虚假信息、不定按信息的逻辑意义分类：真实信息、虚假信息、不定信息。信息。l按应用部门分类：工业信息、农业信息、军事信息、按应用部门分类：工业信息、农业信息、军事信息、政治信息、科技信息、文化信息。政治信息、科技信息、文化信息。l按信息的载体性质分类：电子信息、光学信息、生物按信息的载体性质分类：电子信息、光学信息、生物信息等。信息等。l按信号的形式分类：连续信息、离散信息、半连续信按信号的形式分类：连续信息、离散信息、半连续信息息(混合信息混合信息)等。等。22信息的分类按信息源的性质分类：语声信息、图像信息、文字信息、信息论信息论电子信息工程学院电子信息工程学院 第一章 绪论l1.1 信息论的基本概念信息论的基本概念l1.2 信息的分类信息的分类l1.3 信息论的形成和发展信息论的形成和发展l1.4 信息论研究的对象、目的和内容信息论研究的对象、目的和内容l1.5目前信息论的主要研究成果目前信息论的主要研究成果l1.6 通信系统的模型通信系统的模型23 第一章 绪论1.1 信息论的基本概念23信息论信息论电子信息工程学院电子信息工程学院Claude Shannon(1916-2001)l“通信的基本问题就是在一点通信的基本问题就是在一点重新准确地或近似地再现另一重新准确地或近似地再现另一点所选择的消息点所选择的消息”。这是数学。这是数学家香农家香农(Claude E.Shannon)在他的惊世之著通信的数学在他的惊世之著通信的数学理论中的一句铭言。理论中的一句铭言。l香农香农应用数理统计的方法来研应用数理统计的方法来研究通信系统，从而创立了影响究通信系统，从而创立了影响深远的信息论。深远的信息论。l香农因此成为信息论的香农因此成为信息论的奠基人奠基人24Claude Shannon(1916-2001)“通信的信息论信息论电子信息工程学院电子信息工程学院“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。Claude Shannon 1916-2001 25“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择信息论信息论电子信息工程学院电子信息工程学院2626信息论信息论电子信息工程学院电子信息工程学院l香农，香农，1816年生于美国密执安州的加洛德。香农年生于美国密执安州的加洛德。香农创造性地继承了前人的事业创造性地继承了前人的事业,在信息论的领域中钻在信息论的领域中钻研了研了8年之久年之久,终于在终于在1948年在贝尔系统技术杂年在贝尔系统技术杂志上发表了志上发表了244页的长篇论著通信的数学理页的长篇论著通信的数学理论。论。l次年次年,他又在同一杂志上发表了另一篇名著噪声他又在同一杂志上发表了另一篇名著噪声下的通信。下的通信。27香农，1816年生于美国密执安州的加洛德。香农创造性地继承了信息论信息论电子信息工程学院电子信息工程学院l在这两篇文章中在这两篇文章中,香农解决了过去许多悬而未决香农解决了过去许多悬而未决的问题：经典地阐明了通信的基本问题，提出了的问题：经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问道编码等有关精确地传送通信符号的基本技术问题。题。l两篇文章成了现在信息论的奠基著作。两篇文章成了现在信息论的奠基著作。l香农的成就轰动了世界香农的成就轰动了世界,激起了人们对信息论的激起了人们对信息论的巨大热情巨大热情,它向各门学科冲击它向各门学科冲击,研究规模像滚雪球研究规模像滚雪球一样越来越大。它已远远地突破了香农本人所研一样越来越大。它已远远地突破了香农本人所研究和意料的范畴究和意料的范畴,即从香农的所谓即从香农的所谓“狭义信息论狭义信息论”发展到了发展到了“广义信息论广义信息论”。28在这两篇文章中,香农解决了过去许多悬而未决的问题：经典地阐明信息论信息论电子信息工程学院电子信息工程学院信息论发展简史信息论发展简史1832年莫尔斯电码对年莫尔斯电码对Shannon编码理论的启发编码理论的启发1885年凯尔文研究了一条电缆的极限传信速率年凯尔文研究了一条电缆的极限传信速率1924年奈奎斯特证明了信号传输速率和带宽成正比年奈奎斯特证明了信号传输速率和带宽成正比1928年年Hartley提出信息量定义为可能消息量的对提出信息量定义为可能消息量的对数数1940维纳将随机过程和数理统计引入通信与控制系维纳将随机过程和数理统计引入通信与控制系统统1948年，年，Shannon总结前人的这些成果，以总结前人的这些成果，以“通信通信的数学理论的数学理论”为题在为题在IEEE Information Theory公公开发表文章开发表文章A mathematical theory of communication，标志着信息论的正式诞生。，标志着信息论的正式诞生。29信息论发展简史1832年莫尔斯电码对Shannon编码理论的信息论信息论电子信息工程学院电子信息工程学院qNorbert Wiener,18941964,founder of cybernetics.30Norbert Wiener,18941964,fo信息论信息论电子信息工程学院电子信息工程学院信息论发展简史信息论发展简史1950年汉明码年汉明码1952年年Fano证明了证明了Fano不等式，给出了不等式，给出了shannon信道编码逆定理的证明信道编码逆定理的证明1952年年Fano码，码，Huffman码。码。1956McMillan证明了证明了Kraft不等式。不等式。1959年，年，Shannon发表发表“保真度准则下的离散信保真度准则下的离散信源编码定理源编码定理”(Coding theorems for a discrete source with a fidelity criterion)，提出信息率失，提出信息率失真理论，为信源压缩编码奠定了理论基础。真理论，为信源压缩编码奠定了理论基础。1961年，香农发表年，香农发表“双路通信系统双路通信系统”，开拓了多，开拓了多用户信息理论（网络信息论）的研究。用户信息理论（网络信息论）的研究。31信息论发展简史1950年汉明码31信息论信息论电子信息工程学院电子信息工程学院信息论发展简史1963年年Alias卷积码的卷积码的Viterbi译码，译码，1974年年Bahl等四人发明了分组码的迭代算法等四人发明了分组码的迭代算法（BCRJ）1976年年Rissanen算术编码算术编码1977年年Lempel和和Ziv的的LZ算法算法1982年年Ungerboeck编码调制技术编码调制技术(TCM)1993年年Turbo编译码技术编译码技术1998年年Space-time编码技术编码技术2000年对年对LDPC码的重新认识码的重新认识32信息论发展简史1963年Alias卷积码的Viterbi译码信息论信息论电子信息工程学院电子信息工程学院香农信息理论l“非决定论非决定论”l“形式化假说形式化假说”l“不确定性不确定性”通信后接收者获取的通信后接收者获取的“信息信息”，在数量上等于通，在数量上等于通信前后信前后“不确定性不确定性”的消除量。的消除量。33香农信息理论“非决定论”33信息论信息论电子信息工程学院电子信息工程学院 第一章 绪论l1.1 信息论的基本概念信息论的基本概念l1.2 信息的分类信息的分类l1.3 信息论的形成和发展信息论的形成和发展l1.4目前信息论的主要研究成果目前信息论的主要研究成果l1.5 信息论研究的对象、目的和内容信息论研究的对象、目的和内容l1.6 通信系统的模型通信系统的模型34 第一章 绪论1.1 信息论的基本概念34信息论信息论电子信息工程学院电子信息工程学院1.4 信息论的主要研究成果l语音信号压缩语音信号压缩l长途电话网标准长途电话网标准 1972年年CCITT G.711标准中的标准中的 64kbit/s，1995年年 CCITT G.723.1标准中的标准中的 6.3 kbit/s。l移动通信中移动通信中 1989年年GSM标准中语音编码速率为标准中语音编码速率为13.2 kbit/s1994年在为半码速年在为半码速GSM研究的研究的VSELP编码算法中，码速编码算法中，码速率为率为5.6 kbit/s l军用通信军用通信 美国美国NSA标准的速率在标准的速率在1975年已达年已达2.4 kbit/s l目前在实验室中已实现目前在实验室中已实现600bit/s的低速率语音编码的低速率语音编码,特别是特别是按音素识别与合成原理构造的声码器其速率可低于按音素识别与合成原理构造的声码器其速率可低于100bit/s,已接近信息论指出的极限已接近信息论指出的极限351.4 信息论的主要研究成果语音信号压缩35信息论信息论电子信息工程学院电子信息工程学院信息论的主要研究成果l图像信号压缩图像信号压缩 l图像信号的信息量特别巨大，这对图像信号的传输及存图像信号的信息量特别巨大，这对图像信号的传输及存储都带来极大的不便储都带来极大的不便。1989年年 CCITT提出电视电话提出电视电话/会议电视的压缩标准会议电视的压缩标准H.261,其压缩比达到其压缩比达到25:1到到48:1左右左右1991年年CCITT与与ISO联合提出的联合提出的“多灰度静止图像压多灰度静止图像压缩编码缩编码”标准标准JPEG,其压缩比为其压缩比为24:1在运动图像方面在运动图像方面,运动图像专家组继成功定义了运动图像专家组继成功定义了MPEG-1和和MPEG-2之后之后,于于1993年年7月开始制订全新月开始制订全新的的MPEG-4标准。随着标准。随着MPEG-4标准的不断扩展标准的不断扩展,它不它不但能支持码率低于但能支持码率低于64kbit/s的多媒体通信的多媒体通信,也能支持广也能支持广播级的视频。播级的视频。36信息论的主要研究成果图像信号压缩 36信息论信息论电子信息工程学院电子信息工程学院信息论的主要研究成果l降低信息传输所需的功率降低信息传输所需的功率l在远距离无线通信在远距离无线通信,特别是深空通信中如何降低信特别是深空通信中如何降低信息传输所需的功率至关重要。因为在这种情况下息传输所需的功率至关重要。因为在这种情况下发送设备的功率和天线的尺寸都已成为设备生产发送设备的功率和天线的尺寸都已成为设备生产和使用中的一个困难问题。和使用中的一个困难问题。l正是在这个领域信息论获得了它第一批令人信服正是在这个领域信息论获得了它第一批令人信服的成果。的成果。60年代后期起，年代后期起，NASA发射的所有深空发射的所有深空探测器无一例外地在其通信设备中采取了信道编探测器无一例外地在其通信设备中采取了信道编码措施码措施37信息论的主要研究成果降低信息传输所需的功率37信息论信息论电子信息工程学院电子信息工程学院信息论的主要研究成果l计算机网中数据传输可靠性的保证计算机网中数据传输可靠性的保证 l在用各种电缆连接而成的计算机网中电噪声和在用各种电缆连接而成的计算机网中电噪声和各种外界的电磁干扰是必须考虑的，因为它使各种外界的电磁干扰是必须考虑的，因为它使传输的信息发生差错。传输的信息发生差错。l一般情况下，局域网中的差错率在一般情况下，局域网中的差错率在10-8左右左右,广广域网中的差错率在域网中的差错率在10-310-5。这样高的差错率。这样高的差错率在实际应用中是无法接受的，目前普遍采用的在实际应用中是无法接受的，目前普遍采用的解决办法是带自动重发请求的差错检测码。解决办法是带自动重发请求的差错检测码。l差错检测的方法从最简单的奇偶检验到比较复差错检测的方法从最简单的奇偶检验到比较复杂的循环冗余检验都被采用，但规模较大的网杂的循环冗余检验都被采用，但规模较大的网一般都用循环冗余检验。一般都用循环冗余检验。38信息论的主要研究成果计算机网中数据传输可靠性的保证 38信息论信息论电子信息工程学院电子信息工程学院 第一章 绪论l1.1 信息论的基本概念信息论的基本概念l1.2 信息的分类信息的分类l1.3 信息论的形成和发展信息论的形成和发展l1.4 目前信息论的主要研究成果目前信息论的主要研究成果l1.5 信息论研究的对象、目的和内容信息论研究的对象、目的和内容l1.6 通信系统的模型通信系统的模型39 第一章 绪论1.1 信息论的基本概念39信息论信息论电子信息工程学院电子信息工程学院信息论的类型l狭义信息论（经典信息论、香农信息论）狭义信息论（经典信息论、香农信息论）：主要研究信息的测度、信道容量以及信源和信主要研究信息的测度、信道容量以及信源和信道编码理论等问题。道编码理论等问题。l一般信息论：一般信息论：主要也是研究信息传输和处理问题，除香农信主要也是研究信息传输和处理问题，除香农信息论，还包括噪声理论、信号滤波和预测、统息论，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、保密理论等。计检测和估计、调制理论、保密理论等。l广义信息论：广义信息论：不仅包括上述两方面内容，而且包括所有与信不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言机翻译、心理学、遗传学、神经生理学、语言学等。学等。40信息论的类型狭义信息论（经典信息论、香农信息论）：40信息论信息论电子信息工程学院电子信息工程学院l信息论信息论一门应用概率论、随机过程、数理统计一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、和近代代数的方法，来研究信息传输、提取和处理系统中一般规律的学科。提取和处理系统中一般规律的学科。41信息论41信息论信息论电子信息工程学院电子信息工程学院 第一章 绪论l1.1 信息论的基本概念信息论的基本概念l1.2 信息的分类信息的分类l1.3 信息论的形成和发展信息论的形成和发展l1.4目前信息论的主要研究成果目前信息论的主要研究成果l1.5 信息论研究的对象、目的和内容信息论研究的对象、目的和内容l1.6 通信系统的模型通信系统的模型42 第一章 绪论1.1 信息论的基本概念42信息论信息论电子信息工程学院电子信息工程学院信源编码器信源编码器信道编码器信道编码器信宿信宿信源译码器信源译码器信道译码器信道译码器编码信道编码信道信源信源调调制制器器解解调调器器信道信道干干扰扰源源通信系统理论模型通信系统理论模型1.6 通信系统的模型43信源编码器信道编码器信宿信源译码器信道译码器编码信道信源调解信息论信息论电子信息工程学院电子信息工程学院数字通信系统模型信道信源信源编码加密信道编码干 扰 源信宿信源解码解密信道解码加密密钥解密密钥窃听者44数字通信系统模型信道信源信源编码加密信道编码干扰源信宿信源解信息论信息论电子信息工程学院电子信息工程学院信源、信宿和信道 l信源：产生消息和消息序列的源。信源：产生消息和消息序列的源。-核心问题是信源所包含的信息多少。核心问题是信源所包含的信息多少。l信宿：信息归宿之意，亦即收信者或用户，是信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。信息传送的终点或目的地。-核心是能收到或提取多少信息。核心是能收到或提取多少信息。l信道：传输信息的物理媒介信道：传输信息的物理媒介。-核心问题是信道容量大小。核心问题是信道容量大小。45信源、信宿和信道 信源：产生消息和消息序列的源。45信息论信息论电子信息工程学院电子信息工程学院信源编码器与译码器 l信源编码器的作用信源编码器的作用是把信源发出的消息变换成由二进制码元是把信源发出的消息变换成由二进制码元(或多或多进制码元进制码元)组成的代码组组成的代码组,这种代码组就是基带这种代码组就是基带信号；信号；同时通过信源编码可以压缩信源的冗余度同时通过信源编码可以压缩信源的冗余度,以提以提高通信系统传输消息的效率。高通信系统传输消息的效率。l信源编码器分为两类信源编码器分为两类一类是无失真信源编码一类是无失真信源编码,适用于离散信源或数字适用于离散信源或数字信号；信号；另一类是限失真信源编码另一类是限失真信源编码,用于连续信源或模拟用于连续信源或模拟信号信号,如语音、图像等信号的数字处理如语音、图像等信号的数字处理46信源编码器与译码器 信源编码器的作用46信息论信息论电子信息工程学院电子信息工程学院信源编码器与译码器l信源编码器的主要指标信源编码器的主要指标是它的编码效率，即理论上能达到的码率与实是它的编码效率，即理论上能达到的码率与实际达到的码率之比。际达到的码率之比。一般来说，效率越高，编译码器的代价也将越一般来说，效率越高，编译码器的代价也将越大。大。l信源译码器的作用信源译码器的作用是把信道译码器输出的代码组变换成信宿所需是把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于信源编码器的逆要的消息形式，它的作用相当于信源编码器的逆过程。过程。47信源编码器与译码器信源编码器的主要指标47信息论信息论电子信息工程学院电子信息工程学院信道编码器与译码器l信道编码器的作用信道编码器的作用在信源编码器输出的代码组上有目的地增加一些在信源编码器输出的代码组上有目的地增加一些监督码元监督码元,使之具有检错或纠错的能力使之具有检错或纠错的能力主要作用是提高信息传送的可靠性。主要作用是提高信息传送的可靠性。l信道编码的主要方法信道编码的主要方法增大码率或频带增大码率或频带,即增大所需的信道容量。这恰即增大所需的信道容量。这恰与信源编码相反。与信源编码相反。l信道译码器的作用信道译码器的作用具有检错或纠错的功能具有检错或纠错的功能,它能将落在其检错或纠它能将落在其检错或纠错范围内的错传码元检出或纠正错范围内的错传码元检出或纠正,以提高传输消以提高传输消息的可靠性。息的可靠性。48信道编码器与译码器信道编码器的作用48信息论信息论电子信息工程学院电子信息工程学院密码学研究的内容l如何隐蔽消息中的信息内容如何隐蔽消息中的信息内容,使它在传输过程使它在传输过程中不被窃听，提高通信系统的安全性；中不被窃听，提高通信系统的安全性；将明文变换成密文将明文变换成密文,通常不需要增大信道容量通常不需要增大信道容量,例如在二进码信息流上叠加一密钥流；例如在二进码信息流上叠加一密钥流；49密码学研究的内容如何隐蔽消息中的信息内容,使它在传输过程中不信息论信息论电子信息工程学院电子信息工程学院 问题：能否将三种码问题：能否将三种码(信源编码、信道编信源编码、信道编码和密码码和密码)合成一种码进行编译？合成一种码进行编译？l从理论方面来说，若能把三种码合并成一种码从理论方面来说，若能把三种码合并成一种码来编译，即同时考虑有效、可靠和安全，可使来编译，即同时考虑有效、可靠和安全，可使编译码器更理想化，在经济上可能也更优越。编译码器更理想化，在经济上可能也更优越。l这种三码合一的设想是当前众所关心的课题，这种三码合一的设想是当前众所关心的课题，但因理论上和技术上的复杂性，要取得有用的但因理论上和技术上的复杂性，要取得有用的结果，还是相当困难。结果，还是相当困难。50 问题：能否将三种码(信源编码、信道编码和密码)合成信息论信息论电子信息工程学院电子信息工程学院如何判定一个通信系统的优劣？如何判定一个通信系统的优劣？可靠性可靠性 -使信源发出的消息经过信道传输以后，尽使信源发出的消息经过信道传输以后，尽可能准确、不失真地再现在接收端。可能准确、不失真地再现在接收端。有效性有效性 -经济效果好，即用尽可能短的时间和尽可经济效果好，即用尽可能短的时间和尽可能少的设备传输一定的信息。能少的设备传输一定的信息。保密性保密性 -隐藏和保护通信系统传输的消息，使只能隐藏和保护通信系统传输的消息，使只能被授权者接收。被授权者接收。认证性认证性 -指接收者能正确判断所接收信息的正确性，指接收者能正确判断所接收信息的正确性，验证消息的完整性，而不是伪造或篡改的。验证消息的完整性，而不是伪造或篡改的。51如何判定一个通信系统的优劣？可靠性51信息论信息论电子信息工程学院电子信息工程学院52谢谢52