信息论与编码第2章习题

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,习题1,同时掷两个正常的骰子，即各面呈现的概率都是,1/6,。求：,“,3,和,5,同时出现”这一事件的自信息量。,“两个,1,同时出现”这一事件的自信息量。,两个点数的各种组合（无序对）的熵。,两个点数之和（即,2,3,，,，,12,构成的子集）的熵。,两个点数中至少有一个是,1,的自信息。,两个点数是,3,的信息量。,两个点数是,7,的信息量。,11/26/2024,1,习题1,1,2,3,4,5,6,1,2,3,4,5,6,1,1,1,2,1,3,1,4,1,5,1,6,2,1,2,2,2,3,2,4,2,5,2,6,3,1,3,2,3,3,3,4,3,5,3,6,4,1,4,2,4,3,4,4,4,5,4,6,5,1,5,2,5,3,5,4,5,5,5,6,6,1,6,2,6,3,6,4,6,5,6,6,2,3,4,5,6,7,3,4,5,6,7,8,4,5,6,7,8,9,5,6,7,8,9,10,6,7,8,9,10,11,7,8,9,10,11,12,11/26/2024,2,习题2,黑白传真机的消息元只有黑色和白色两种，即,X,黑，白,。一般气象图上，黑色出现的概率为,p,(,黑,),0.3,，白色出现的概率为,p,(,白,),0.7,。求：,假设黑白消息视为前后无关，求信源熵,H,(,X,),，并画出该信源的香农线图。,实际上各元素之间有关联，其转移概率为：,p,(,白,/,白,),0.9143,p,(,黑,/,黑,),0.8,求：这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。,11/26/2024,3,习题3,有,6,行、,8,列的棋型方格，若有两个质点,A,和,B,分别以等概率落入任一方格内，但,A,、,B,不能落入同一方格内。求：,若仅有质点,A,，求,A,落入任一个格的平均信息量,若已知,A,已落入，求,B,落入的平均信息量,若,A,、,B,是可分辨的，求,A,、,B,都落入的平均信息量,11/26/2024,4,习题4,从大量统计资料知道，男性中红绿色盲的发病率为,7%,，女性发病率为,0.5%,，如果你问一位男士：“你是否色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含有多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？,11/26/2024,5,习题5,在一个袋中放有,5,个黑球，,10,个白球，以摸一个球为一个实验，摸出的球不再放进去。求：,一次实验包含的不确定度。,第一次实验,X,摸出的是黑球，第二次实验,Y,给出的不确定度。,第一次实验,X,找出的是白球，第二次实验,Y,给出的不确定度。,第二次实验,Y,包含的不确定度。,11/26/2024,6,习题6,有一个可旋转的圆盘，盘面上被均匀地分成,38,份，用,1,2,，,，,38,数字标示，其中有,2,份涂绿色，,18,份涂黑色，,18,份涂红色。圆盘停转后，盘面上指针指向某一数字和颜色。求：,若仅对颜色感兴趣，计算平均不确定度。,若对颜色和数字都感兴趣，计算平均不确定度。,如果颜色已知时，计算条件熵。,11/26/2024,7,习题7,有两个二元随机变量,X,和,Y,，它们的联合概率如右表所示，并定义另一随机变量,Z,XY,（一般乘积）。试计算：,H,(,X,),，,H,(,Y,),，,H,(,Z,),，,H,(,XZ,),，,H,(,YZ,),和,H,(,XYZ,),H,(,X/Y,),，,H,(,Y,/,X,),，,H,(,X/Z,),，,H,(,Z,/,X,),，,H,(,Y/Z,),，,H,(,Z/Y,),，,H,(,X/YZ,),，,H,(,Y/XZ,),和,H,(,Z/XY,),I,(,X;Y,),，,I,(,X;Z,),，,I,(,Y;Z,),，,I,(,X;Y/Z,),，,I,(,Y;Z/X,),和,I,(,X;Z/Y,),11/26/2024,8,习题7,Y X,0,1,0,1/8,3/8,1,3/8,1/8,Z,0,1,p,7/8,1/8,Z X,0,1,0,1/2,3/8,1,0,1/8,Z Y,0,1,0,1/2,3/8,1,0,1/8,11/26/2024,9,习题8、9,某无记忆信源的符号集为,0,1,，已知,p,0,=1/4,，,p,1,=3/4,。求：,求符号的平均熵。,由,100,个符号构成的序列，求某特定序列（,m,个“,0”,和,100-,m,个“,1”,）的自信息量的表达式。,计算中序列的熵。,设有一个二进制一阶马尔可夫信源，其信源符号为,X,(0,1),，条件概率为,p,(0/0)=0.25,p,(0/1)=,p,(1/1)=0.5,p,(1/0)=0.75,画出状态图并求出各符号稳态概率。,11/26/2024,10,习题10,设有一信源，它在开始时以,p,(,a,)=0.6,，,p,(,b,)=0.3,，,p,(,c,)=0.1,的概率发出,X,1,。如果,X,1,为,a,时则,X,2,为,a,、,b,、,c,的概率为,1/3,；如果,X,1,为,b,时则,X,2,为,a,、,b,、,c,的概率为,1/3,；如果,X,1,为,c,时则,X,2,为,a,、,b,的概率为,1/2,，而为,c,的概率是,0,。而且后面发出,X,i,的概率只与,X,i,1,有关。又,p,(,X,i,/,X,i-1,)=,p,(,X,2,/,X,1,),i3,。试利用马尔可夫信源的图示法画出状态转移图，并求出转移概率矩阵和信源熵,H,。,11/26/2024,11,习题11,一个马尔可夫过程的基本符号,0,1,2,，这三个符号以等概率出现，具有相同的转移概率，并且没有固定约束。,画出一阶马尔可夫过程的状态图，并求稳定状态下的马尔可夫信源熵,H,1,。,画出二阶马尔可夫过程的状态图，并求稳定状态下二阶马尔可夫信源熵,H,2,。,11/26/2024,12,习题12有点难度，重点看看,有一个一阶马尔可夫链,X,1,X,2,X,r,各,X,r,取值于集,A=,a,1,a,2,a,3,。已知起始概率,p,(,a,i,),为：,p,1,=1/2,p,2,=,p,3,=1/4,，转移概率如下表所示。求：,j,i,1,2,3,1,1/2,1/4,1/4,2,2/3,0,1/3,3,2/3,1/3,0,X,1,X,2,X,3,的联合熵和平均符号熵。,这个链的极限平均符号熵。,H,0,H,1,H,2,和它们所对应的冗余度。,11/26/2024,13,12题的答案,1.H(X1X2X3)=H(x1)+H(x2/x1)+H(x3/x2),H(x1)=-0.5log0.5-2*0.25log0.25=1.5bit/符号,P(aiaj)=P(ai)*p(aj/ai)得到图二，同理得图三；,H(X2/X1)=P(aiaj)*log(paj/ai)相加；同理，得H(X3/X2);,2.根据图一画香农线图，的平稳概率，求极限熵；,3.H0=1-H,11/26/2024,14,习题12,j,i,1,2,3,1,1/2,1/4,1/4,2,2/3,0,1/3,3,2/3,1/3,0,X,1,X,2,1,2,3,1,1/4,1/8,1/8,2,1/6,0,1/12,3,1/6,1/12,0,X,2,X,3,1,2,3,1,7/24,7/48,7/48,2,5/36,0,5/72,3,5/36,5/72,0,p,1,=1/2,p,2,=,p,3,=1/4,p,(,X,21,)=7/12,p,(,X,22,)=5/24,p,(,X,23,)=5/24,11/26/2024,15,习题13,一阶马尔可夫信源的状态图如图所示，信源,X,的符号集为,0,1,2,。,求信源平稳后的概率分布,p,(0),，,p,(1),和,p,(2),。,求此信源的熵。,近似认为此信源为无记忆时，符号的概率分布等于平稳分布。求近似信源的熵,H,(,X,),并与,H,进行比较。,对一阶马尔可夫信源，,p,取何值时,H,取最大值，又当,p,=0,或,p,=1,时结果如何？,11/26/2024,16,13题的答案,11/26/2024,17,习题13,11/26/2024,18,习题14,一阶马尔可夫信源的状态图如图所示。信源,X,的符号集为,0,1,2,。,平稳后的信源的概率分布。,信源熵,H,当,p,=0,或,p,=1,时信源的熵，并说明其理由。,11/26/2024,19,