信息论期末复习课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,学到很多东西的诀窍，就是一下子不要学很多。 - 洛 克,*,信息论期末复习,幽默来自智慧，恶语来自无能,信息论期末复习幽默来自智慧，恶语来自无能,1,信息论期末复习,信息论期末复习,2,第一章概述,00,00,信息论的创始人:美国科学家香农,1948年发表“通信的数学理论”,标志着信息论,的诞生,信息论是人们在长期通信工程的实践中,由通信技术与概率论、随机,过程和数理统计相结合而逐渐发展起来的一门学科。通常人们公认信息论,的奠基人是当代伟大的数学家、美国贝尔实验室杰出的科学家香农,C.E. Shannon),他在1948年发表了著名的论文,为信,息论奠定了理论基础。,3,信息的概念,00,1.信息、情报、知识、消息及信号间的区别与联系,2.信息是事物运动状态或存在方式的不确定性的描述。这就是,香农信息的定义。,3.香农信息定义的优点,首先,它是一个科学的定义,有明确的数学模型和定量计算,其次,它与日常用语中的信息的含意是一致的,再者,它排除了对信息一词某些主观上的含义,香农信息定义的缺陷,4.首先,只考虑概率引发的不确定性,其次,这个定义和度量没有考虑收信者的主观特性和主观意,义,信息的具体含意、具体用途、重要程度和引起后果等因素。,而信息是有很强的主观性和实用性的,信息的概念,4,信息论的研究对象,命,信源,编码器,信道,译码器,信宿,消息,信号,消息,天扰信号+干扰,噪声源,图1.3通信系统模型,信息论研究的对象正是这种统一的通信系统模型,这个模型主要分,成五部分:信息源(简称信源);编码器;信道:译码器;信宿,信息论的研究目的,信息论研究的目的就是要找到信息传输过程的共同规律,以提高,信息传输的可靠性、有效性、保密性和认证性,使信息传输系统达到,最优化。,信息论的研究对象,5,信息的一些重要性质,00,存在的普遍性可压缩性,00,有序性,可替代性,相对性,可扩散性,D可度量性,D可共享性,可扩充性,时效性,可存储、传输与携带性,信息的,独有性质,信息的一些重要性质,6,信息论的研究范围,经典信息论(狭义信息论、香农信息论),00,00,主要研究信息的测度、信道容量、信息率失真函数,与这三个概念相对应的香农三定理以及信源和信道编码,一般信息论,主要是研究信息传输和处理问题。除了香农基本理论之外,还包括噪声理论、信号滤波和预测、统计检测与估计理论、,调制理论。后一部分内容以美国科学家维纳( N Wiener),为代表。,广义信息论,概括说来,凡是能够用广义通信系统模型描述的过程或系,统,都能用信息基本理论来研究。,信息论的研究范围,7,第二章离散信源及其信息测度,00,00,信源的数学模型及分类,高源:可能轴出的消总是有限成可歌的每x,抛女,分,物出的幕息,性轼量:可能着出的息数是无的或,不可款的,每欢只出一个润息,21121:,非平肯推述价源输出刹息的险机学引x是非平监机一写细可夫,物出的煎机序死中各量之间做美关系。但记,长庄有限,并足马尔可大健的件式28,时空向离,离做平哪伯;出的机到xX万,放的魔机序列,中量x1,2.取值是高,平健温推信测验出息的机,的并且机安量置的各分布不时,输出的平菌机序到x中各随机变量,序判K是平的筐机乳,闻平葶面或变吏,定,为离放无记忆x的,N扩限你温,机,式(29)则为烛平裁,箱B的机x中各验机变耻之,机(潮罩(脑凯惧抓憮,产就平供源:轴出围前机序列X(X题,信输幽的消息是时间成空刺,中每个机变量X,2,“,M攻值基续,为限记忆信源,并且机免量x的各晶率密度函数不随时,8,自信息1ax)=lg,P(a),00,(a)代表两种含义,当事件a,发生以前,表示事件a发生的不确定性;,当事件a,发生以后,表示事件a所含有(或所提供)的信息量。,自信息采用的单位取决于对数所选取的底,比特奈特哈特,信息熵,自信息的数学期望为信源的平均自信息量,即,H()=ELog P(a,1=P(a)logP(a1),信息熵具有以下三种物理含义,第一,信息熵H(X)是表示信源输出后,每个消息(或符号),所提供的平均信息量,第二,信息熵H(X)是表示信源输出前,信源的平均不确定性,第三,用信息熵H(X)来表征变量Y的随机性。,自信息1ax)=lg,9,条件熵H(X/Y)=E(a1/b),00,p(anb,)logp(a1/b),00,j=1i=1,H(Y/X)=EL/(b, ai),pab)gp(b/a),联合熵H(XY)=p(ab)(ab),p(ab/)ogp(ab),条件熵H(X/Y)=E(a1/b),10,信息熵的基本性质,0,H(=P()lgP()=plgn=H(2P2;,P2)=B(P,00,H(P是概率矢量P的函数,我们称H(P为熵函数,具有下列性质:,1.对称性,H(P1P2P)=H(P2P3PB)=团(P2PP21),2.确定性,H(1,0)=H(1,0,0)=H(1,0,0)=0,3.非负性,H(P)=H(2P2;P)= p log p20,扩展性,mH:(12P2,P-6,)=H2(1,P2;,P4,5.可加性,(1)=B(X)+H(),6.强可加性,(X7)=H()+l(,信息熵的基本性质,11,信息论期末复习课件,12,信息论期末复习课件,13,信息论期末复习课件,14,信息论期末复习课件,15,信息论期末复习课件,16,信息论期末复习课件,17,信息论期末复习课件,18,信息论期末复习课件,19,信息论期末复习课件,20,信息论期末复习课件,21,信息论期末复习课件,22,信息论期末复习课件,23,信息论期末复习课件,24,信息论期末复习课件,25,信息论期末复习课件,26,信息论期末复习课件,27,信息论期末复习课件,28,信息论期末复习课件,29,信息论期末复习课件,30,信息论期末复习课件,31,信息论期末复习课件,32,信息论期末复习课件,33,信息论期末复习课件,34,信息论期末复习课件,35,信息论期末复习课件,36,信息论期末复习课件,37,信息论期末复习课件,38,信息论期末复习课件,39,信息论期末复习课件,40,信息论期末复习课件,41,信息论期末复习课件,42,信息论期末复习课件,43,信息论期末复习课件,44,信息论期末复习课件,45,信息论期末复习课件,46,信息论期末复习课件,47,信息论期末复习课件,48,信息论期末复习课件,49,信息论期末复习课件,50,信息论期末复习课件,51,信息论期末复习课件,52,信息论期末复习课件,53,信息论期末复习课件,54,信息论期末复习课件,55,信息论期末复习课件,56,信息论期末复习课件,57,信息论期末复习课件,58,信息论期末复习课件,59,信息论期末复习课件,60,信息论期末复习课件,61,31,、只有永远躺在泥坑里的人，才不会再掉进坑里。,黑格尔,32,、希望的灯一旦熄灭，生活刹那间变成了一片黑暗。,普列姆昌德,33,、希望是人生的乳母。,科策布,34,、形成天才的决定因素应该是勤奋。,郭沫若,35,、学到很多东西的诀窍，就是一下子不要学很多。,洛克,31、只有永远躺在泥坑里的人，才不会再掉进坑里,62,