信息论与编码理论1(B卷答案)

本文档如对你有帮助，请帮忙下载支持！2011-2012 信息论与编码理论1B 卷答案一、单项选择题（每题 3 分，总计 15分）1当底为 e时，熵的单位为（C）。A奈特B哈特C奈特 /符号D 哈特 /符号2下列关系式中 (B)正确。A I(X;Y) I(X)B H(X,Y) I(X;Y)C H(X |Y) H(Y|X)D I (X;Y) H (X;Y)3下列（ D ）陈述是正确的。AShannon 编码是最优码BLZ 编码是异字头码CHuffman 编码可以不需要知道信源的分布D典型序列的数目不一定比非典型的多4下列数组中（A ）不满足二个字母上的Kraft 不等式。A(1， 1， 1)B (2,2,2,2)C(3,3,3)D （ 4，4， 4）5下列（D ）是只对输出对称的。111120.20.40.4330.20.20.4A362B0.40.20.4C211113D0.40.40.20.40.40.232631233二、填空题（每空2 分，总计20 分）1若二元离散无记忆中p(0) 0.25 ， p(1)0.75 ，则当给出 100 比特的信源序列，其中有5个 1，则其自信息为 2005 log 23 比特，整个序列的熵为 100(23 log 23) 比特/ 符号.40.50.250.252若某离散信道信道转移概率矩阵为0.250.50.25，则其信道容量为 log 2 31.5 比0.250.250.50.50.250.25特/ 符号；转移概率矩阵为0.250.250.5 ，则其信道容量为log 2 31.5 比特 / 符号。0.250.50.253.两个相同的BSC做级联信道，其信道转移矩阵分别为p1p， 则级联信道的1 pp1 2 p 2 p22 p2p 2，无穷多个级联后的矩阵为0.50.5信道转移矩阵为2 p2 p212p0.5。2 p 20.54 若一个信道的输入熵为H(X)2.6 比特 /符号，输出熵为H (Y)2.3 比特 /符号，I ( X ;Y )1.7 比特 /符号，则 H ( X ,Y )3.2 比特 /符号，散布度为0.6 比特 /符号。本文档如对你有帮助，请帮忙下载支持！5在二元 LZ编码中，若信源有K 个，某段信源序列共有M 个字典，则码长log 2 Mlog 2K 。6存在 D 元唯一可译码，其平均码长必小于H(U)1。log D三、判断题（每题2 分，总计10 分）1. 概率小的事件自信息大（ ）2.若一个码字集合中的码字长度满足Kraft 不等式 ，则其必为逗点码。（）3.若码字都被配置在树的叶子节点处，则这种码一定是异字头码。（ ）4.平均互信息是下凸函数。 （）5.算数编码需要知道信源的分布。（）四、计算题 （ 55 分）1）（ 15 分）设随机变量X ,Y 的联合概率分布如下：ZXY 。分别01求010H (X), H (Y),H (X |Y),I (X; Z) 。解:X 的分布率为01则 H(X) 1比特/符号.Y 的分布率为01则 H(Y)23 log 2 3比特 /符号 .401p( X0 |Y0)p( X0,Y0)=1,0P(Y0)10p( X0 |Y1)p( X0,Y1)1P(Y1)=3p( X1 | Y0)p( X 1, Y0)p( X1|Y 1)p( X 1,Y1)2P(Y0)=0,P(Y1)=3=1 log 2 11 log 210 log2 01 log 22=3 log 2 31比特 /符号 .443234201本文档如对你有帮助，请帮忙下载支持！p( X0 | Z0)p( X0, Z0)p( X0 | Zp( X0, Z1)P( Z0)=1,1)P(Z1)=0p( X1 | Zp( X1, Z0)1 | Z1)p( X1, Z1)=10)P(Z0)=0, p( XP( Z1)则I(X;Z)p(0,0) log 2p(0 | 0)p(0,1) log 2p(0 | 1)p(1,0) log 2p(1 | 0)p(1 |1)p( X0)p( X0)p( Xp(1,1) log 2p( X 1)1)=0 比特 /符号 .2）（ 20 分）若离散无记忆信源的概率分布为 分别构造二元，三元Huffman 编码（要求码长方差最小，但不需求出）， Shannon编码， Fano 编码， Shannon-Fano-Elias 编码。 并求中二元Huffman 编码的编码效率。 （只列出式子即可）解: 对信源按概率从大到小排序, Udcba,建立码树则有二元Huffman 编0.40.30.20.1码: a000, b001, c01, d1要进行三元 Huffman 编码 ,则需要添加一个空信源,成为 Udcba e0.40.30.2,0.10建立码树则有三元Huffman编码 :a00, b01, c1, d2Shannon 编码如下 :信源 码长累加概率码字200020.40130.710140.91110 Fano 编码如下 :信源概率第1次分组第 2次分组第3次分组码字0.4000.310100.110110本文档如对你有帮助，请帮忙下载支持！0.11111 Shannon-Fano-Elias 编码信源概率二元 F (x)码字0.10.10.0550.00001000010.20.30.240.00010000010.30.60.4530.0110110.410.830.110110二元 Huffman 编码的平均码长为l = 30.130.22 0.3 1 0.4 =1.9编码效率为H(U)H(U)H ( 0.1,0.2,0.3,0.4)R1.9l log 2113）（ 20 分）若离散无记忆信道的信道转移矩阵为22，用两种方法求该信道容量。1344方法一 :方法二 : 令输入概率为( p,1p ) 时达到了信道容量,则代入 I ( X ; Y) 中 ,得到关于p 的函数 另其导数为0,解得则当p) =(0.3429795 , 0.6570205 ),p = 0.3429795,( p,1时达到信道容量,为 0.0345.