资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,总复习,(,按章节）,第一章 绪论,1,信息的定义,。,2,信息论的定义。,3,信息、消息、信号的关系,4,通信系统的模型。,10/7/2024,1,第,2,章 信源及其熵,1,、信源的数学模型,2,、,信源分类：,按消息在时间上和幅度上的分布情况，按发出符号之间的关系，对信源分类。,3,、马尔科夫性,4,、齐次马尔可夫信源的转移概率具有具有什么特点。,5,、,马尔可夫链遍历性的判断定理。,6,、自信息量、条件自信息量的定义。,7,、信源符号不确定度和自信息量的区别。,8,、,离散信源的熵。,离散信源的熵,9,、条件熵,H(X|Y),、条件熵,H(Y|X),的物理含义。,10,、,各种熵之间的关系,。,11,、离散信源最大熵定理,12,、互信息的定义，,平均互信息；物理含义,。,13,、,数据处理定理。,14,、熵的性质,10/7/2024,2,15,、离散无记忆信源的序列熵、平均符号熵,极限熵,16,、离散有记忆平稳信源的几个结论,17,、,连续信源的熵，最大熵定理,18,、冗余度的概念、,产生的原因,；冗余的压缩。,10/7/2024,3,第,3,章信道和信道容量,1,、,信道分类,（按信道输入,/,输出信号特点，根据信道噪声种类不同）,2,、信道的表示参数；,3,、信道容量的定义。,4,、,无噪有损离散信道的信道容量。,5,、,有噪无损离散信道的信道容量,6,、,对称,DMC,信道的信道容量,。,7,、串联信道的信道容量,8,、无记忆离散序列信道的容量。,9,、,单符号连续信道的信道容量。,10,、多维无记忆高斯加性连续信道及其容量,11,、高斯白噪声加性波形信道的容量（,香农公式,），香农信息极限,10/7/2024,4,第,4,章 率失真函数,1,、失真度，失真矩阵，平均失真度，常用的失真函数。,2,、,率失真函数，物理含义,3,、,率失真函数的性质,4,、率失真函数的计算,10/7/2024,5,第,5,章 信源编码,1,、无失真信源编码和,限失真信源编码,2,、信源编码的数学描述,3,、,码长,Ki,及其意义,4,、,几种常见的码,5,、,码树,和,kraft,不等式（判断惟一可译码存在的充要条件）,6,、符号序列编码,7,、无失真定长编码定理,7,、香农第一极限定理（无失真非定长序列编码定理）,8,、,编码效率,9,、最佳编码的指导思想,10,、最佳编码的主要方法：,香农（,Shannon,）、,费诺（,Fano,）、哈夫曼（,Huffman,）编码,11,、香农第三极限定理（限失真信源编码定理）,12,、常用信源编码方法（,游程编码,、,算术编码,）,10/7/2024,6,第,6,章 信道编码,1,、,信道编码的目的,2,、差错控制编码,3,、检错和纠错（差错控制）的基本原理,4,、差错控制方式,5,、有扰信道编码定理（,Shannon,第二极限定理）,6,、分组码概念，码重、码距；最小距离与检错和纠错能力之间满足如下关系,。,7,、最简单的线性分组码。,8,、,差错图样与译码,9,、矢量空间（码空间）：定义、基底、张成；,子空间、正交,；分组编码的数学概念,10,、,线性分组码的生成矩阵，系统形式的生成矩阵，系统化,10/7/2024,7,11,、线性分组码的,校验矩阵,12,、伴随式和标准阵列译码。,13,、,译码,算法；最大似然译码与,最小距离译码,14,、,完备码及其特点,；两种完备码的例子,15,、,循环码及其多项式描述,16,、,生成多项式，循环码的构造及校验，,系统循环码,17,、循环码编码电路,18,、,BCH,码和,RS,码,19,、分组码的扩展、缩短和循环冗余校验码,20,、卷积码的基本概念,21,、卷积码的解析表达式（说明为什么称之为卷积码）,22,、卷积码的转移函数矩阵,23,、卷积码的状态流图,24,、卷积码的状态流图,10/7/2024,8,25,、,卷积码的距离特性,；信号流图法求自由距离,26,、最佳卷积码,27,、卷积码的译码,维特比算法,28,、维特比译码差错概率,29,、卷积码应用,30,、编码与调制的结合,-,网格编码调制,31,、运用级联、分集与信息迭代概念的纠错码,10/7/2024,9,第六章 作业讲评,二维四重子空间：两个基底，如,（,0100,），（,1000,）,线性组合,0000,，,0100,，,1000,，,1100,6.1,题,重数,-,构成矢量的元素的个数,维数,-,张成矢量空间的基底的个数,事实上，这是（,4,，,2,）分组码的码字空间，,2,2,=4,，共有,4,个码字（矢量）,其对偶空间是一个,n-k,=4-2=2,维的子空间。如取两个基底,为,:(0010,）（,0001,），,张成的空间为,0000,，,0010,，,0001,，,0011,10/7/2024,10,6.3,题 码元排列顺序 （,u,3,u,2,u,1,u,0,v,3,v,2,v,1,v,0,),则生成矩阵为：,若 码元排列顺序 （,u,0,u,1,u,2,u,3,v,0,v,1,v,2,v,3,),则生成矩阵为：,10/7/2024,11,最小码距,dmin,方法,1,：最小码距,d,0,等于非零码字的最小重量即,d,0,=,w,min,列出所有的码字，,d,0,=4,方法,2,：由校验矩阵求最小码距,d,0,=r+1,r,为,H,的秩,r,4,r=4?,d,0,=,4+1=5,10/7/2024,12,6.6,题 （,3,）伴随式表,n-k,=4 2,4,=16,列出,16,个伴随式即可,6.8,题 （,2,）循环码的系统形式的生成矩阵,C,=(,c,n,-1,c,1,c,0,)=,m,k,-1,m,1,m,0,=m,*G,将,G,系统化即得,10/7/2024,13,6.11,题 （,7,，,3,）,RS,码,已知生成多项式,g(,x,)=,x,4,+,3,x,3,+,x,2,+,x,+,3,信息序列,m=(,4,2,3,),即,m(,x,)=,4,x,2,+,2,x,+,3,r,(,x,)=,x,n,-,k,m,(,x,)mod,g,(,x,),=,x,4,(,4,x,2,+,2,x,+,3,),mod,g,(,x,),=,x,2,+,5,x,+1,c,(,x,)=,x,n-k,m,(,x,)+,r,(,x,),=,6,x,6,+,2,x,5,+,3,x,4,+,x,2,+,5,x,+1,c=(,6,2,3,0,5,1),10/7/2024,14,c=(,6,2,3,0,5,1),衍生码为：,c=(101 100 011 000 010 111 001,8,个元素都可以表示为,的,最高幂次为,m-1(,这里,m=3),的多项式,3,=,+1,；,(011),4,=,3,=,(,+1)=,2,+,;(110),5,=,3,2,=(,+1),2,=,2,+,+1,；,(111),6,=,3,3,=,2,+,1,;(101),10/7/2024,15,6.14,题 结构图,状态图,自由距离,10/7/2024,16,离散信源的熵,1,、单独求信源的熵或其它量时，,要给出信源模型,2,、熵的计算公式（注意符号的使用）,3,、计算出结果,10/7/2024,17,4,、各种条件熵的符号,在给定符号,y,j,的条件下，信源,X,的条件熵,H(X|,y,j,),为,:,在给定信源,Y(,即各符号,y,j,),的条件下，信源,X,的条件熵为,:,在给定信源,X(,即各符号,x,i,),的条件下，信源,Y,的条件熵为,:,强调：知道问题到底是求哪个量？,10/7/2024,18,各种熵之间的关系,H(X,Y),H(X),H(Y|X),H(X,Y),H(Y),H(X|Y),理解、证明和计算,H(X|Y),H(Y|X),I(X;Y),H(X),H(Y),H(X,Y),10/7/2024,19,对称,DMC,信道的信道容量,。,1,、写出模型（传递矩阵）,2,、判断对称性（输入对称、输出对称）,3,、代入“公式”计算,或者：,10/7/2024,20,10/7/2024,21,香农公式,高斯白噪声加性波形信道及其容量,10/7/2024,22,计算和理解,（,1,）提高信噪比,SNR,，可以增加信道容量,.N,0,w-0,Ct-,.,（,2,）增加信道的带宽并不能无限制地提高信道容量。,（,3,）给出了不同的,SNR,下，所能达到的最大频带利用率。,（,4,）,Ct,一定时，带宽,w,和信噪比,SNR,可以互换。大的系统带宽,可以降低对输入信噪比的要求。而大的输入信噪比可以减少对带,宽的要求。（举例：扩频通信）,10/7/2024,23,率失真函数的性质,D,允许的实验信道,P,D,中一定有一种信道，使得,I(X;Y),最小。定义,R(D),为：,物理含义：,性质,:,R(D),的定义域,D,min,D,max,10/7/2024,24,10/7/2024,25,香农编码、费诺（,Fano,）、哈夫曼（,Huffman,）编码,1,、编码,2,、计算编码效率,线性分组码的,生成矩阵、校验矩阵,循环码的,生成多项式，循环码的构造及校验，系统循环码,编码，校验，系统化,10/7/2024,26,
展开阅读全文