第2章习题

第第2 2章习题章习题习题习题11 12 23 34 45 56 61 12 23 34 45 56 61,11,11,21,21,31,31,41,41,51,51,61,62,12,12,22,22,32,32,42,42,52,52,62,63,13,13,23,23,33,33,43,43,53,53,63,64,14,14,24,24,34,34,44,44,54,54,64,65,15,15,25,25,35,35,45,45,55,55,65,66,16,16,26,26,36,36,46,46,56,56,66,62 23 34 45 56 67 73 34 45 56 67 78 84 45 56 67 78 89 95 56 67 78 89 910106 67 78 89 9101011117 78 89 91010111112125/2/20242习题习题22.2.黑白传真机的消息元只有黑色和白色两种，黑白传真机的消息元只有黑色和白色两种，即即X黑，白黑，白。一般气象图上，黑色出现。一般气象图上，黑色出现的概率为的概率为p(黑黑)0.3，白色出现的概率为，白色出现的概率为p(白白)0.7。求：。求：假设黑白消息视为前后无关，求信源熵假设黑白消息视为前后无关，求信源熵假设黑白消息视为前后无关，求信源熵假设黑白消息视为前后无关，求信源熵HH(X X)，并画出该信源的香农线图。并画出该信源的香农线图。并画出该信源的香农线图。并画出该信源的香农线图。实际上各元素之间有关联，其转移概率为：实际上各元素之间有关联，其转移概率为：实际上各元素之间有关联，其转移概率为：实际上各元素之间有关联，其转移概率为：p p(白白白白/白白白白)0.9143 0.9143 p p(黑黑黑黑/黑黑黑黑)0.80.8求：这个一阶马尔可夫信源的信源熵，并画出该信求：这个一阶马尔可夫信源的信源熵，并画出该信求：这个一阶马尔可夫信源的信源熵，并画出该信求：这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。源的香农线图。源的香农线图。源的香农线图。5/2/20243习题习题33.3.有有6行、行、8列的棋型方格，若有两个质点列的棋型方格，若有两个质点A和和B分别以等概率落入任一方格内，但分别以等概率落入任一方格内，但A、B不能落入同一方格内。求：不能落入同一方格内。求：若仅有质点若仅有质点若仅有质点若仅有质点A A，求，求，求，求A A落入任一个格的平均信息量落入任一个格的平均信息量落入任一个格的平均信息量落入任一个格的平均信息量若已知若已知若已知若已知A A已落入，求已落入，求已落入，求已落入，求B B落入的平均信息量落入的平均信息量落入的平均信息量落入的平均信息量若若若若A A、B B是可分辨的，求是可分辨的，求是可分辨的，求是可分辨的，求A A、B B都落入的平均信都落入的平均信都落入的平均信都落入的平均信息量息量息量息量5/2/20244习题习题44.4.从大量统计资料知道，男性中红绿色盲的发从大量统计资料知道，男性中红绿色盲的发病率为病率为7%，女性发病率为，女性发病率为0.5%，如果你问，如果你问一位男士：一位男士：“你是否色盲？你是否色盲？”他的回答可能是他的回答可能是“是是”，可能是，可能是“否否”，问这两个回答中各含有，问这两个回答中各含有多少信息量，平均每个回答中含有多少信息多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均量？如果问一位女士，则答案中含有的平均自信息量是多少？自信息量是多少？5/2/20245习题习题55.5.在一个袋中放有在一个袋中放有5个黑球，个黑球，10个白球，以摸个白球，以摸一个球为一个实验，摸出的球不再放进去。一个球为一个实验，摸出的球不再放进去。求：求：一次实验包含的不确定度。一次实验包含的不确定度。一次实验包含的不确定度。一次实验包含的不确定度。第一次实验第一次实验第一次实验第一次实验X X摸出的是黑球，第二次实验摸出的是黑球，第二次实验摸出的是黑球，第二次实验摸出的是黑球，第二次实验Y Y给出给出给出给出的不确定度。的不确定度。的不确定度。的不确定度。第一次实验第一次实验第一次实验第一次实验X X找出的是白球，第二次实验找出的是白球，第二次实验找出的是白球，第二次实验找出的是白球，第二次实验Y Y给出给出给出给出的不确定度。的不确定度。的不确定度。的不确定度。第二次实验第二次实验第二次实验第二次实验Y Y包含的不确定度。包含的不确定度。包含的不确定度。包含的不确定度。5/2/20246习题习题66.6.有一个可旋转的圆盘，盘面上被均匀地分成有一个可旋转的圆盘，盘面上被均匀地分成38份，用份，用1,2，38数字标示，其中有数字标示，其中有2份涂份涂绿色，绿色，18份涂黑色，份涂黑色，18份涂红色。圆盘停转份涂红色。圆盘停转后，盘面上指针指向某一数字和颜色。求：后，盘面上指针指向某一数字和颜色。求：若仅对颜色感兴趣，计算平均不确定度。若仅对颜色感兴趣，计算平均不确定度。若仅对颜色感兴趣，计算平均不确定度。若仅对颜色感兴趣，计算平均不确定度。若对颜色和数字都感兴趣，计算平均不确定度。若对颜色和数字都感兴趣，计算平均不确定度。若对颜色和数字都感兴趣，计算平均不确定度。若对颜色和数字都感兴趣，计算平均不确定度。如果颜色已知时，计算条件熵。如果颜色已知时，计算条件熵。如果颜色已知时，计算条件熵。如果颜色已知时，计算条件熵。如果数字已知时，计算条件熵。如果数字已知时，计算条件熵。如果数字已知时，计算条件熵。如果数字已知时，计算条件熵。5/2/20247习题习题77.7.有两个二元随机变量有两个二元随机变量X和和Y，它们的联合概，它们的联合概率如右表所示，并定义另一随机变量率如右表所示，并定义另一随机变量ZXY（一般乘积）。试计算：（一般乘积）。试计算：HH(X X)，HH(Y Y)，HH(Z Z)，HH(XZXZ)，HH(YZYZ)和和和和HH(XYZXYZ)HH(X/YX/Y)，HH(Y Y/X X)，HH(X/ZX/Z)，HH(Z Z/X X)，HH(Y/ZY/Z)，HH(Z/YZ/Y)，HH(X/YZX/YZ)，HH(Y/XZY/XZ)和和和和HH(Z/XYZ/XY)I I(X;YX;Y)，I I(X;ZX;Z)，I I(Y;ZY;Z)，I I(X;Y/ZX;Y/Z)，I I(Y;Z/XY;Z/X)和和和和I I(X;Z/YX;Z/Y)5/2/20248习题习题7Y XY X0 01 10 01/81/83/83/81 13/83/81/81/8Z Z0 01 1p p7/87/81/81/8Z XZ X0 01 10 01/21/23/83/81 10 01/81/8Z YZ Y0 01 10 01/21/23/83/81 10 01/81/85/2/20249习题习题8、98.8.某无记忆信源的符号集为某无记忆信源的符号集为某无记忆信源的符号集为某无记忆信源的符号集为0,10,1，已知，已知，已知，已知p p0 0=1/4=1/4，p p1 1=3/4=3/4。求：求：求：求：求符号的平均熵。求符号的平均熵。求符号的平均熵。求符号的平均熵。由由由由100100个符号构成的序列，求某特定序列（个符号构成的序列，求某特定序列（个符号构成的序列，求某特定序列（个符号构成的序列，求某特定序列（mm个个个个“0”0”和和和和100-100-mm个个个个“1”1”）的自信息量的表达式。）的自信息量的表达式。）的自信息量的表达式。）的自信息量的表达式。计算计算计算计算中序列的熵。中序列的熵。中序列的熵。中序列的熵。9.9.设有一个二进制一阶马尔可夫信源，其信源符号为设有一个二进制一阶马尔可夫信源，其信源符号为设有一个二进制一阶马尔可夫信源，其信源符号为设有一个二进制一阶马尔可夫信源，其信源符号为X X(0,1)(0,1)，条件概率为，条件概率为，条件概率为，条件概率为p p(0/0)=0.25 (0/0)=0.25 p p(0/1)=(0/1)=p p(1/1)=0.5 (1/1)=0.5 p p(1/0)=0.75(1/0)=0.75 画出状态图并求出各符号稳态概率。画出状态图并求出各符号稳态概率。画出状态图并求出各符号稳态概率。画出状态图并求出各符号稳态概率。5/2/202410习题习题1010.10.设有一信源，它在开始时以设有一信源，它在开始时以p(a)=0.6，p(b)=0.3，p(c)=0.1的概率发出的概率发出X1。如果。如果X1为为a时则时则X2为为a、b、c的概率为的概率为1/3；如果；如果X1为为b时则时则X2为为a、b、c的概率为的概率为1/3；如果；如果X1为为c时则时则X2为为a、b的概率为的概率为1/2，而为，而为c的概率是的概率是0。而且后面发出。而且后面发出Xi的概率只与的概率只与Xi1有关。又有关。又p(Xi/Xi-1)=p(X2/X1),i3。试利用马尔可夫信。试利用马尔可夫信源的图示法画出状态转移图，并求出转移概源的图示法画出状态转移图，并求出转移概率矩阵和信源熵率矩阵和信源熵H。5/2/202411习题习题1111.11.一个马尔可夫过程的基本符号一个马尔可夫过程的基本符号0,1,2，这三个，这三个符号以等概率出现，具有相同的转移概率，符号以等概率出现，具有相同的转移概率，并且没有固定约束。并且没有固定约束。画出一阶马尔可夫过程的状态图，并求稳定状画出一阶马尔可夫过程的状态图，并求稳定状画出一阶马尔可夫过程的状态图，并求稳定状画出一阶马尔可夫过程的状态图，并求稳定状态下的马尔可夫信源熵态下的马尔可夫信源熵态下的马尔可夫信源熵态下的马尔可夫信源熵HH1 1。画出二阶马尔可夫过程的状态图，并求稳定状画出二阶马尔可夫过程的状态图，并求稳定状画出二阶马尔可夫过程的状态图，并求稳定状画出二阶马尔可夫过程的状态图，并求稳定状态下二阶马尔可夫信源熵态下二阶马尔可夫信源熵态下二阶马尔可夫信源熵态下二阶马尔可夫信源熵HH2 2。5/2/202412习题习题1212.12.有一个一阶马尔可夫链有一个一阶马尔可夫链有一个一阶马尔可夫链有一个一阶马尔可夫链X X1 1,X X2 2,X Xr r,各各各各X Xr r取取取取值于集值于集值于集值于集A=A=a a1 1,a a2 2,a a3 3。已知起始概率。已知起始概率。已知起始概率。已知起始概率p p(a ai i)为：为：为：为：p p1 1=1/2,=1/2,p p2 2=p p3 3=1/4=1/4，转移概率如下表所示。求：，转移概率如下表所示。求：，转移概率如下表所示。求：，转移概率如下表所示。求：j j i i1 12 23 31 11/21/21/41/41/41/42 22/32/30 01/31/33 32/32/31/31/30 0 X X1 1X X2 2X X3 3的联合熵和的联合熵和的联合熵和的联合熵和平均符号熵。平均符号熵。平均符号熵。平均符号熵。这个链的极限平均这个链的极限平均这个链的极限平均这个链的极限平均符号熵。符号熵。符号熵。符号熵。HH0 0,HH1 1,HH2 2和它们所和它们所和它们所和它们所对应的冗余度。对应的冗余度。对应的冗余度。对应的冗余度。5/2/202413习题习题12 j j i i1 12 23 31 11/21/21/41/41/41/42 22/32/30 01/31/33 32/32/31/31/30 0X X1 1X X2 21 12 23 31 11/41/41/81/81/81/82 21/61/60 01/121/123 31/61/61/121/120 0X X2 2X X3 31 12 23 31 17/247/247/487/487/487/482 25/365/360 05/725/723 35/365/365/725/720 0p p1 1=1/2,=1/2,p p2 2=p p3 3=1/4=1/4p p(X X2121)=7/12)=7/12p p(X X2222)=5/24)=5/24p p(X X2323)=5/24)=5/245/2/202414习题习题1313.13.一阶马尔可夫信源的状态图如图所示，信源一阶马尔可夫信源的状态图如图所示，信源X的符号集为的符号集为0,1,2。求信源平稳后的概率分布求信源平稳后的概率分布求信源平稳后的概率分布求信源平稳后的概率分布p p(0)(0)，p p(1)(1)和和和和p p(2)(2)。求此信源的熵。求此信源的熵。求此信源的熵。求此信源的熵。近似认为此信源为无记忆时，符号的概率分布近似认为此信源为无记忆时，符号的概率分布近似认为此信源为无记忆时，符号的概率分布近似认为此信源为无记忆时，符号的概率分布等于平稳分布。求近似信源的熵等于平稳分布。求近似信源的熵等于平稳分布。求近似信源的熵等于平稳分布。求近似信源的熵HH(X X)并与并与并与并与HH 进进进进行比较。行比较。行比较。行比较。对一阶马尔可夫信源，对一阶马尔可夫信源，对一阶马尔可夫信源，对一阶马尔可夫信源，p p取何值时取何值时取何值时取何值时HH 取最大值，取最大值，取最大值，取最大值，又当又当又当又当p p=0=0或或或或p p=1=1时结果如何？时结果如何？时结果如何？时结果如何？5/2/202415习题习题135/2/202416习题习题1414.14.一阶马尔可夫信源一阶马尔可夫信源的状态图如图所示。的状态图如图所示。信源信源X的符号集为的符号集为0,1,2。平稳后的信源的概平稳后的信源的概平稳后的信源的概平稳后的信源的概率分布。率分布。率分布。率分布。信源熵信源熵信源熵信源熵HH 当当当当p p=0=0或或或或p p=1=1时信源时信源时信源时信源的熵，并说明其理的熵，并说明其理的熵，并说明其理的熵，并说明其理由。由。由。由。5/2/202417习题习题1515.15.在一个二进制信道中，信源消息集在一个二进制信道中，信源消息集X0,1，且，且 p(1)=p(0)，信宿的消息集，信宿的消息集Y 0,1，信道传输概率，信道传输概率 p(y=1/x=0)=1/4，p(y=0/x=1)=1/8。求：。求：在接收端收到在接收端收到在接收端收到在接收端收到 y y=0=0后，所提供的关于传输消后，所提供的关于传输消后，所提供的关于传输消后，所提供的关于传输消息息息息x x的平均条件互信息量的平均条件互信息量的平均条件互信息量的平均条件互信息量 I I(X X;y y=0)=0)；该情况所能提供的平均互信息量该情况所能提供的平均互信息量该情况所能提供的平均互信息量该情况所能提供的平均互信息量 I I(X X;Y Y)。5/2/202418习题习题1616.16.已知信源发出已知信源发出a1和和a2两种消息，且两种消息，且p(a1)=p(a2)=1/2。此消息在二进制对称信道上传。此消息在二进制对称信道上传输，信道传输特性为输，信道传输特性为 p(b1/a1)=p(b2/a2)=1-，p(b1/a2)=p(b2/a1)=。求互信息量。求互信息量 I(a1;b1)和和 I(a1;b2)。5/2/202419