信息论与编码A_第1章绪论

单击此处编辑母版标题样式,单击此处编辑母版文本样式日,rff,第二级,e,第三级,f,第四级,d,第五级,f,*,1,信息论与编码,信息科学与技术学院,西南交通大学,2,注 意 事 项,教材：,信息论与编码理论武汉大学出版社,第,1,版,2007,主编：彭代渊 教授 西南交通大学,编者：唐小虎 教授 西南交通大学,王宏霞 教授 西南交通大学,陈庆春 副教授 西南交通大学,王 玲 教授 四川师范大学,何明星 教授 西华大学,蒋 华 教授 北京电子科技学院,郭春生 副教授 杭州电子科技大学,参考书,曹雪虹 张宗橙 编著信息论与编码，清华大学，第,1,版，,2004,朱诗兵等编著信息论与编码理论，科学出版社，第,1,版，,2005.,成绩评定,总成绩,=,期终考试（,70%,）,+,期中考试（,20%,）,+,学习过程（出勤、作业）（,10%,）,3,主要内容,第,1,章 绪论,第,2,章 信息的度量,第,3,章 信道及其容量,第,4,章 无失真信源编码,第,5,章 率失真理论与有失真信源编码,第,6,章 信道编码概述,第,7,章 线性分组码,第,8,章 循环码,第,9,章 卷积码,4,第,1,章 绪 论,1.1,通信系统模型,1.2,信息论与编码理论的主要内容,1.3,信息论与编码理论的形成与发展,1.4,信息论与编码理论的应用,5,1.1,通信系统模型,通信系统模型,6,1.2,信息论与编码理论的主要内容,问题：,设想有两个人，一个是发送者,A,，另一个是接收者,B,，发送者,A,需要将消息尽可能准确地传输给接收者,B,。,二元对称信道,(BSC:the binary symmetric channel),（,0,p,0.5,）,7,1.2,信息论与编码理论的主要内容,简单传输方案,：,发送者,A,将需要传输的每个符号直接发送一次，接收者,B,接收到任何一个符号后，都判定为发送者,A,发送的是该符号，那么这种“译码方案”出现错误的概率是,p,。,8,1.2,信息论与编码理论的主要内容,编码传输方案,：,编码,A,将需要传输的每个符号重复发送多次，例如三次，即传输符号,0,时，就发送符号序列,000,；传输符号,1,时，就发送符号序列,111,。,译码,接收者,B,接收到三个符号后，选择其中出现次数最多的符号，就判定为发送者,A,发送的是该符号,译码错误概率,提高了信道的可靠度,!,降低了传输效率,!,9,有效性,问题：怎样才能传输更多的消息,通信的实质：信息,研究思路：信息度量、信源编码,可靠性,信道出错概率：,e,=,p,(,c,c,),问题：怎样降低,信道出错概率,e,？,研究思路：信道编码,e,=,p,(,u,u,),e,=,p,(,c,c,),1.2,信息论与编码理论的主要内容,信息论与编码理论主要目的,:,系统研究通信系统中信息传输的有效性与可靠性,10,1.2,信息论与编码理论的主要内容,信息的定义与度量,数据压缩,:,信源编码,信道的最大容量,通信的可靠性,:,信道编码,11,1820-1830:,法拉第,(M.Faraday),发现电磁感应规律,1832:J.Henry,发明电报,1838:,莫尔斯,(F.B.Morse),发明电报码,(,信源编码的先驱,),1864:,麦克斯韦,(Maxwell),预言电磁波的存在,1876:,贝尔,(A.G.Bell),发明电话,1885:,凯尔文,(L.Kelvin),研究一条电缆的极限传信率问题,1888:,赫兹,(H.Hertz),用实验证明了电磁波的存在,18951896:,英国的马克尼,(G.Marconi),和俄国的波波夫发明了无线电通信,1904:Fleming,发明二极管,1906:DeForest,发明三极管,1.3,信息论与编码理论的形成与发展,12,1904:Fleming,发明二极管,1906:DeForest,发明三极管,1907:,弗雷斯特,(L.Forest),发明电子管,(,电磁波放大,),1917:(G.A.Campbell),发明滤波器,1922:,卡逊,(J.R.Carson),研究调幅信号的频谱结构,开始明确上下边带的概念,1924:,奈奎斯特,(H.Nyquist),与曲夫缪勒独立指出,:,信号传输速率与信道带宽成正比,1925-1927:,建立电视系统,1928:,奈奎斯特,(H.Nyquist),建立了限带信号的采样定理,1.3,信息论与编码理论的形成与发展,13,1928:,哈特莱,(R.V.Hartley),对信息量作了定义,(,H,=,N,log,s,),1930:,维纳,(N.Wiener),研究随机信号,1936:V.D.Landon,发表有关噪声的研究论文,1936:E.H.Armstrong,提出频率调制,1939:,达德利,(H.Dudley),发明声码器,(,信源编码的先驱,),1939:H.Reeve,提出脉冲编码调制,1948:,香农,(C.E.Shannon),创立信息论,1.3,信息论与编码理论的形成与发展,14,C.E.Shannon,（香农,:1916-2001,）,Education:,BS,Mathematics and electrical engineering,University of Michigan,1936.,MS,Electrical engineering,MIT,1938,Ph.D,Mathematics,MIT,1940.,Working Experience,1940-1941,Princeton University,1941-1972,Bell Lab.,1956-1980,MIT,Professor,15,C.E.Shannon,（香农,:1916-2001,）,Information&coding,C.E.Shannon,A mathematical theory of communication theory,（通信的数学理论）,Part 1&2,Bell Syst.Tech.J.,Vol.27,pp.379-423,623-656,1948.,Cryptography,C.E.Shannon:“Communication theory of secrecy systems,”,（保密系统的通信理论）,Bell Syst.Tech.J.,Volume 28,656-715,1949.,16,C.E.Shannon&F.Jin at ISIT1985,17,从,20,世纪,50,年代起，通信技术界的主要研究重心是寻找信源编码和信道编码的构造方法,1948,：香农码,1952,：费诺,(Fano),码，霍夫曼,(D.A.Huffman),码,霍夫曼编码已用于传真图像的压缩标准！,1968,：埃利斯,(P.Elias),提出算术编码的基本思路,1976,：里斯桑内,(J.Rissanen),改进了算术编码方法，,1982,：里斯桑内和兰登,(G.G.Langdon),一起进一步完善了算术编码方法。,算术编码已用于二值图像的压缩标准！,1.3,信息论与编码理论的形成与发展,18,1977,：以色列编码学家齐弗,(J.Ziv),和兰佩尔,(A.Lempel),提出了一种高效的通用信源编码方法，称之为,LZ77,编码算法,1978,：进行了改进，推出了,LZ78,编码算法,1984,：威其,(T.A.Welch),提出了一个改进的,LZ78,编码算法，称之为,LZW,编码算法,1990,：贝尔,(T.C.Bell),又对,LZ,编码方法进行了一系列 的改进。,LZ,系列编码已广泛应用于文本压缩！,1.3,信息论与编码理论的形成与发展,19,信道编码,20,世纪,40,年代末由高莱,(M.J.E.Golay),和汉明最早提出的分组编码技术已经发展成为系统的代数编码理论。,许多分组码，如高莱码、,Fire,码、,BCH,码等在通信、计算机技术中获得广泛应用。,1954,年，埃利斯首次提出了卷积码，,1967,年，卷积码已在陆地移动通信、卫星通信和深空通信中获得重要应用。,1993,年，,C.Berrou,A.Glavieux,和,P.Thitimajshima,提出了一类新的信道编码,Turbo,码。,Turbo,码在性能上与香农理论极限仅差,0.7dB,。,1.3,信息论与编码理论的形成与发展,20,1.4,信息论与编码理论的应用,语音信号压缩,图像信号压缩,计算机文件压缩,模拟话路中数据传输速率的提高,降低信息传输所需的功率,计算机网中数据传输,可靠性的保证,计算机中的容错问题,图像信号的复原与重建,模式分类问题与树分类器的设计,其它应用：语言学、生物学、医学、经济学,