信息论习题.doc

.信息理论基础习题集【考前必看】一、 判断：1、 必然事件和不可能事件的自信息量都是0 。2、 自信息量是的单调递减函数。3、 单符号离散信源的自信息和信源熵都具有非负性。4、 单符号离散信源的自信息和信源熵都是一个确定值。5、单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的6、自信息量、条件自信息量和联合自信息量之间有如下关系：7、自信息量、条件自信息量和互信息量之间有如下关系：8、当随机变量X和Y相互独立时，条件熵等于信源熵。9、当随机变量X和Y相互独立时，IX；Y=HX。10、信源熵具有严格的下凸性。11、平均互信息量IX；Y对于信源概率分布pxi和条件概率分布pyj/xi都具有凸函数性。12、m阶马尔可夫信源和消息长度为m的有记忆信源，其所含符号的依赖关系相同。13、利用状态极限概率和状态一步转移概率来求m阶马尔可夫信源的极限熵。14、定长编码的效率一般小于不定长编码的效率。15、信道容量C是IX；Y关于pxi的条件极大值。16、离散无噪信道的信道容量等于log2n，其中n是信源X的消息个数。17、信道无失真传递信息的条件是信息率小于信道容量。18、最大信息传输速率，即：选择某一信源的概率分布pxi，使信道所能传送的信息率的最大值。19、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小。20、率失真函数对允许的平均失真度具有上凸性。21、信源编码是提高通信有效性为目的的编码。22、信源编码通常是通过压缩信源的冗余度来实现的。23、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。24、一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。25、在编mm2进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。26、对于BSC信道，信道编码应当是一对一的编码，因此，消息m的长度等于码字c的长度。27、汉明码是一种线性分组码。28、 循环码也是一种线性分组码。29、 卷积码是一种特殊的线性分组码。30、 可以用克劳夫特不等式作为唯一可译码存在的判据。31、线性码一定包含全零码。32、确定性信源的熵H(0,0,0,1)=1。33、信源X的概率分布为P(X)=1/2, 1/3, 1/6，对其进行哈夫曼编码得到的码是唯一的。34、离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。35、非奇异的定长码一定是唯一可译码。36、信息率失真函数R(D)是在平均失真不超过给定失真限度D的条件下，信息率容许压缩的最小值。37、信源X的概率分布为P(X)=1/2, 1/3, 1/6，信源Y的概率分布为P(Y)=1/3,1/2,1/6，那么信源X和Y的熵相等。38、互信息量I(X;Y)表示收到Y后仍对信源X的不确定度。39、对信源符号X=a1,a2,a3,a4进行二元信源编码，4个信源符号对应码字的码长分别为K1=1，K2=2，K3=3，K3=3，满足这种码长组合的码一定是唯一可译码。40、设C = 000000, 001011, 010110, 011101, 100111, 101100, 110001, 111010是一个二元线性分组码，那么该码最多能检测出3个随机错误。二、选择题共10 分，每题2分1.下面表达式中正确的选项是。A. B.C. D.4.线性分组码不具有的性质是。A.任意多个码字的线性组合仍是码字B.最小汉明距离等于最小非0重量C.最小汉明距离为3D.任一码字和其校验矩阵的乘积cmHT=05.率失真函数的下限为。A .H(U) B.0 C.I(U; V) D.没有下限6.纠错编码中，以下哪种措施不能减小差错概率。A. 增大信道容量 B. 增大码长 C. 减小码率 D. 减小带宽7.一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。一人随手取出3颗，经测量恰好找出了假珠，不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，这一事件给出的信息量。A. 0bit B. log6bit C. 6bit D. log240bit8.以下述中，不正确的选项是。A.离散无记忆信道中，HY是输入概率向量的凸函数B.满足格拉夫特不等式的码字为惟一可译码C.一般地说，线性码的最小距离越大，意味着任意码字间的差别越大，那么码的检错、纠错能力越强D.满足格拉夫特不等式的信源是惟一可译码10.以下离散信源，熵最大的是。A. H1/3,1/3,1/3； B. H1/2,1/2；C. H0.9,0.1； D. H1/2,1/4,1/8,1/8)11.以下不属于消息的是。A.文字 B.信号 C.图像 D.语言12.为提高通信系统传输消息有效性，信源编码采用的方法是。A.压缩信源的冗余度 B.在信息比特中适当加入冗余比特C.研究码的生成矩阵 D.对多组信息进行交织处理13.最大似然译码等价于最大后验概率译码的条件是。A.离散无记忆信道 B.无错编码C.无扰信道 D.消息先验等概14.以下说确的是。A.等重码是线性码B.码的生成矩阵唯一C.码的最小汉明距离等于码的最小非0重量D.线性分组码中包含一个全0码字15.二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示以下事件，u0:一个0发出 u1:一个1发出 v0 :一个0收到 v1:一个1收到那么收到的符号，被告知发出的符号能得到的信息量是。A. H(U/V) B. H(V/U) C. H(U,V) D. H(UV)16. 同时扔两个正常的骰子，即各面呈现的概率都是1/6，假设点数之和为12，那么得到的自信息为。A. log36bit B. log36bit C. log (11/36)bit D. log (11/36)bit17.以下组合中不属于即时码的是。A. 0，01，011 B. 0，10，110 C. 00，10，11 D. 1，01，0018.某6，3线性分组码的生成矩阵，那么不用计算就可判断出以下码中不是该码集里的码是。A. 000000 B. 110001 C. 011101 D. 11111120.设有一个无记忆信源发出符号A和B，发出二重符号序列消息的信源，无记忆信源熵为。A.0.81bit/二重符号 B.1.62bit/二重符号 C.0.93 bit/二重符号 D .1.86 bit/二重符号21.给定xi条件下随机事件yj所包含的不确定度和条件自信息量p(yj /xi)，A数量上不等，单位不同B数量上不等，单位相同C数量上相等，单位不同D数量上相等，单位相同22.条件熵和无条件熵的关系是：AH(Y/X)H(Y)BH(Y/X)H(Y)C H(Y/X)H(Y)DH(Y/X)H(Y)23.根据树图法构成规那么，A在树根上安排码字B在树枝上安排码字C 在中间节点上安排码字D在终端节点上安排码字24.以下说确的是：A奇异码是唯一可译码B非奇异码是唯一可译码C 非奇异码不一定是唯一可译码D非奇异码不是唯一可译码25.下面哪一项不属于熵的性质：A非负性B完备性C对称性D确定性三、二元对称信道如图。1假设，求、和； 2求该信道的信道容量。解：1共6分2，此时输入概率分布为等概率分布。四、信源1用霍夫曼编码法编成二进制变长码；6分2计算平均码长;4分3计算编码信息率;2分4计算编码后信息传输率;2分5计算编码效率。2分1编码结果为：234其中，5五、一个一阶马尔可夫信源，转移概率为【说明：以书上的解法为准】。(1) 画出状态转移图。(2) 计算稳态概率。(3) 计算马尔可夫信源的极限熵。(4) 计算稳态下,及其对应的剩余度。解：(1)(2)由公式有得(3)该马尔可夫信源的极限熵为：(4)在稳态下：对应的剩余度为六、设X、Y是两个相互独立的二元随机变量，其取0或1的概率相等。定义另一个二元随机变量Z=XY(一般乘积)。试计算(1) (2) (3) (4) ;解：(1)Z01P(Z)3/41/4(2) (3) (4) 七、，通过一个干扰信道，接受符号集为，信道转移矩阵为试求：1H(X),H(Y),H(XY); (2) H(Y|X),H(X|Y); (3) I(Y;X)。(4)该信道的容量C5当平均互信息量达到信道容量时，接收端Y的熵HY。计算结果保留小数点后2位,单位为比特/符号。八、设有离散无记忆信源，试对信源进行四元Huffman编码，求信源熵H(S)，平均码长和编码效率。编码时码树各分枝概率从大到小分别编0至3码15分-