信息论与编码复习提纲

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,信息论与编码,第一章,1.,信息的定义,2.,信息的分类,3.,通信系统的中心问题,4.,信息论研究的内容,第二章,1.,自信息量定义及计算,2.,信源熵、条件熵、联合熵定义、计算及性质,3.,最大离散熵定理,4.,平均互信息量定义、计算及性质,5.,数据处理定理,第二章,6.,各种熵之间的关系,7.,离散平稳无记忆信源的,N,次扩展信源的熵,8.,离散平稳信源的分类（统计关联性）,9.,马尔可夫信源定义、状态转移图、状态极限概率,10.,连续信源最大熵定理,第三章,1.,信道容量的定义,2.,几种特殊离散信道的信道容量的计算,（对称离散信道和准对称离散信道的判断）,3.,香农公式,第四章,1.,根据无失真信源编码定理和信道编码定理，信源熵、信息率、信道容量三者的关系,2.,信息率失真函数的研究问题是在固定信源的情况下，把保真度准则作为对信道传递概率的约束，再现信源消息所必须获得的最小平均信息量。,3.,失真函数（汉明失真）,4.,最小失真度和最大失真度的计算以及相应的信息率失真函数（等概情况下）,第五章,1.,信源编码的目的，实现方式,2.,异前置码的定义以及如何判断,（给定异前置码码字集合和接收码元序列，可以写出译码结果）,3.,香农、费诺和赫夫曼编码的编码规则,4.,平均码长和编码效率的计算,5.,均匀量化编码,6.,非均匀量化的目的,7.13,折线,A,律非均匀量化的编码,（量化噪声的计算以及对应的,12,位均匀量化编码）,第六章,1.,信道编码的目的，实现方式,2.,差错图案,3.,码距（汉明距离）,4.,码重,5.,编码码率,6.,偶校验码，重复码，等重码,