信息论典型例题

1设信源通过一干扰信道，接收符号为Y = y1, y2 ，信道转移矩阵为，求：(1) 信源X中事件x1和事件x2分别包含的自信息量；(2) 收到消息yj (j=1,2)后，获得的关于xi (i=1,2)的信息量；(3) 信源X和信宿Y的信息熵；(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)；(5) 接收到信息Y后获得的平均互信息量。解：1)2)3)4)5)2设二元对称信道的传递矩阵为(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；(2) 求该信道的信道容量及其达到信道容量时的输入概率分布；解：1)2)3黑白气象传真图的消息只有黑色和白色两种，即信源X=黑，白。设黑色出现的概率为P(黑) = 0.3，白色出现的概率为P(白) = 0.7。(1) 假设图上黑白消息出现前后没有关联，求熵H(X)；(2) 假设消息前后有关联，其依赖关系为P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2，P(黑/黑) = 0.8，求此一阶马尔可夫信源的熵H2(X);解：(1)(2) 4某一无记忆信源的符号集为0, 1，已知P(0) = 1/4，P(1) = 3/4。(1) 求符号的平均熵；(2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式；(3) 计算(2)中序列的熵。解：(1)(2) (3) 5已知一个高斯信道，输入信噪比（比率）为3。频带为3kHz，求最大可能传输的消息率。若信噪比提高到15，理论上传送同样的信息率所需的频带为多少？解：6试求以下各信道矩阵代表的信道的容量：(1) P = (2) P = (3) P = 解：1)这个信道是一一对应的无干扰信道2)这个信道是归并的无干扰信道3)这个信道是扩展的无干扰信道7设信源(1) 求信源熵H(X)；(2) 编二进制香农码；(3) 计算平均码长和编码效率。解：(1)(2)xip(xi)pa(xi)ki码字x10.203000x20.190.23001x30.180.393011x40.170.573100x50.150.743101x60.10.8941110x70.010.9971111110(3)8对信源编二进制费诺码，计算编码效率。解：xip(xi)编码码字kix10.200002x20.19100103x30.1810113x40.1710102x50.15101103x60.11011104x70.011111149对信源编二进制和三进制哈夫曼码，计算各自的平均码长和编码效率。解：二进制哈夫曼码：xip(xi)编码码字kis61s50.610s40.391s30.350s20.261x10.20102x20.191112x30.1800003x40.1710013x50.1500103s10.111x60.1001104x70.0110111410设线性分组码的生成矩阵为，求：（1）此（n，k）码的n=？ k=？，写出此（n，k）码的所有码字。（2）求其对应的一致校验矩阵H。（3）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式。（4）若接收码字为000110，用伴随式法求译码结果。解：1）n=6，k=3，由C=mG可得所有码字为：000000，001011，010110，011101，100101，101110，110011，1110002）此码是系统码，由G知，则3）由H可知，其任意2列线性无关，而有3列线性相关，故有，能纠一位错。错误图样E伴随式1000001010100001100010000110001001000000100100000010014）由知E010000，则11已知（7，4）循环码的生成多项式，求：（1）求该码的编码效率？（2）求其对应的一致校验多项式（3）写出该码的生成矩阵，校验矩阵。（4）若消息码式为，求其码字。 解：1）2）3），而4）12在由生成的(7,3)循环码中，求信息101的系统码字，并化画出编码电路图。解：因为又因为所以即该信息在所给循环中应编为（1010011）