信息论基础 答案

信息论基础答案2（总5页）-本页仅作为文档封面，使用时请直接删除即可-内页可以根据需求调整合适字体及大小-信息论基础答案一、填空题(共15分，每空1分)1、若一连续消息通过某放大器，该放大器输出的最大瞬时电压为b,最小 瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是无穷其能在每个自由度熵的最大熵是log (b-a)。2、高斯白噪声信道是指 信道噪声服从正态分布，且功率谱为常数。3、若连续信源的平均功率为5 W,则最大熵为12 log10“e，达到最大值的条件是高斯信道。4、离散信源存在剩余度的原因是信源有记忆(或输出符号之间存在相关 性)_和不等概。5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。6、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根 据信源符号的统计特性，对概率大的符号用码，对概率小的符号用 码，这样平均码长就可以降低，从而提高编码效率。7、八进制信源的最小熵为_，最大熵为3bit。8、一个事件发生概率为，则自信息量为3bit。9、在下面空格中选择填入数字符号“=,乙 ”或“”H(XY)= H(Y)+ H (XY)丄_ H (Y)+ H(X )二、判断题(正确打V,错误打X)(共5分，每小题1分)1) 离散无记忆等概信源的剩余度为0。(V )2) 离散无记忆信源N次扩展源的熵是原信息熵的N倍(V )3) 互信息可正、可负、可为零。(V )4) 信源的真正功率P永远不会大于熵功率P，即P P(X )5) 信道容量与信源输出符号的概率分布有关。(X ) 三、(5分)已知信源的概率密度函数p(x)如下图所示，求信源的相对熵0.5x024h (x) = -f4 p (x )log p (x )dx2 .=1bit自由度四、（15 分）设一个离散无记忆信源的概率空间为X 一a aP (x)1 2_0.5 0.5_它们通过干扰信道，信道输出端的接收信号集为Y = b ,b ，已知信道出书概12率如下图所示。0.980.20.02试计算：（1）信源X中事件x的自信息量；（3分）（2）信源x的信息熵；（3分）（3）共熵H（XY） ;（3 分）（4）噪声熵h（y|x）；（3 分）（5）收到信息y后获得的关于信源X的平均信息量。（3分）(1) I (x ) = 1bit1(2) H , = 1bit / 付号2 y0.82I 丁 2丿 H(XY)= H(0.49,0.01, 0.1,04)= 1.432 H(X|Y ) =H (XY )-H (X )= 0.432I (X, Y )= H (X )+ H(Y ) H (X, Y )=1 + H(0.59, 0.41) H (XY)=1 + 0.977 1.432=0.545五、（10分）一个平均功率受限的连续信道，信道带宽为10MHz，信道噪声 为高斯白噪声。（1）已知信道上的信号与噪声的平均功率比值为 63，计算该信道的信道 蓉量。（2）如果信道带宽降为2MHz，要达到相同的信道容量，信道上的信号与 噪声的平均功率比值应为多少(1)C = 10 x 106 x log (1 + 63)= 6 x107bit/ s2(2)Sc=2 B 1 = 230 1 = 109N六、（10分）已知信源共7个符号信息，其概率空间为S 一s s s s s s sP (s)1234567_0.2 0.2 0.2 0.1 0.1 0.1 0.1_1）试用霍夫曼编码法编成二进制变长码。（7 分）2）计算信源熵，平均码长和编码效率。（9 分）1）ss2）s1s2s3s4s5s6s77 分）=00=010=011=100=101=110=111H(S)= H(0.2, 0.2, 0.2, 0.1,0.1,0.1,0.1,)分）3 分）L= 0.2,x 2 + 0.8 x 3 = 2.8 码元 / 信源符号 耳=0.97_L_七、（10分）设给定两随机变量x和x，它们的联合概率密度为12p（x x ）= e-（x12 +x2）2g x ,x 3。i i-12 1（1）写出转移概率矩阵（2）计算达到稳定后状态的极限概率。（3）该马尔可夫信源的极限熵 H解 （1）2）分）（3）333333丄i_022P =4 分）P（E ）= -P（E ）+ -P（E ）+ -P（E ）-3-3223P（E ）= -P（E ）+ -P（E ）+ -P（E ）2 3-3223P（E ）= -P（E ）+ -P（E ）3 3-32P（E ）+ P（E ）+ P（E ） = 1-23P（E ）= P（E ） = 31 2 8P（E ）=-34H = H = P（E）H （a . E ）g2Ik i-=P（E ）Hf + P（E ）Hf + P（E ）H卩,-,。、 -13 3 3 丿23 3 3 丿 312 2 丿3-=log3 + log2 = 1.439bit / 符号42