资源描述
信息论与编码理论习题解第二章-信息量和熵2.1解: 平均每个符号长为:秒 每个符号的熵为比特/符号所以信息速率为比特/秒2.2 解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特；所以信息速率为比特/秒2.3 解:(a)一对骰子总点数为7的概率是 所以得到的信息量为 比特 (b) 一对骰子总点数为12的概率是 所以得到的信息量为 比特2.4 解: (a)任一特定排列的概率为,所以给出的信息量为 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 所以得到的信息量为 比特.2.5 解:易证每次出现i点的概率为,所以2.6 解: 可能有的排列总数为没有两棵梧桐树相邻的排列数可如下图求得，Y X Y X Y X Y X Y X Y X Y X Y图中X表示白杨或白桦，它有种排法，Y表示梧桐树可以栽种的位置，它有种排法，所以共有*=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为=3.822 比特2.7 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得2.8 解:令，则2.9 & 2.12 解:令X=X1,Y=X1+X2,Z=X1+X2+X3, H(X1)=H(X2)=H(X3)= 比特 H(X)= H(X1) = =2.585比特 H(Y)= H(X2+X3)= = 3.2744比特H(Z)= H(X1+X2+X3)= = 3.5993比特所以 H(Z/Y)= H(X3)= 2.585 比特H(Z/X) = H(X2+X3)= 3.2744比特H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特H(Z/XY)=H(Z/Y)= 2.585比特H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X3)= 3.5993-2.585=1.0143比特I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744=0.3249比特I(XY;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y) =1.0143比特I(Y;Z/X)=H(Z/X)-H(Z/XY) = H(X2+X3)-H(X3) =3.2744-2.585 =0.6894比特I(X;Z/Y)=H(Z/Y)-H(Z/XY) =H(Z/Y)-H(Z/Y) =02.10 解:设系统输出10个数字X等概,接收数字为Y,显然H(Y)=log10所以I(X;Y)= 比特2.11 解:（a）接收前一个数字为0的概率 （b）同理 （c）同理 （d）同理 2.12 解:见2.92.13 解: (b)(c)（由第二基本不等式）或（由第一基本不等式）所以(a) 等号成立的条件为,对所有,即在给定X条件下Y与Z相互独立。2.14 解: (a) (b) 注：2.15 解: (a) (b) (c)2.16 解:(a) 又由互信息的非负性，即有，所以(b) (c) 当且仅当X和Y独立时，I（X；Y）=0，所以当且仅当X和Y独立时，。2.23 解:(a) (b) 令(c)令2.28 解:(a) 由已知，（b）(c)由可求得V的分布为再由及可求得V的条件分布为第三章 离散信源无失真编码3.1解:长为n码字的数目为Dn ,因此长为N的D元不等长码至多有： 3.2 解: 3.3 解:3.4 解:3.5解:（a）二元Huffman编码（b）三元Huffman编码注意：K=10为偶数，需要添一个概率为零的虚假符号3.6解:二元Huffman编码（a）二元Huffman编码（b）（c）3.10 傅P186【5.11】3.11 解:3.12 解:对3.13 解: (a)根据唯一可译码的判断方法可知,输出二元码字为异字头码,所以它是唯一可译码。 比特(b)因为信源是二元无记忆信源，所以有 其中可计算每个中间数字相应的信源数字的平均长度 信源符号/中间数字(c) 根据表有可计算每个中间数字所对应的平均长度二元码/中间数字由 二元码/信源符号编码效率为0.4756/0.469=98.6%精选题1.傅P191【5.15】2.傅P192【5.16】信道及其容量作业：4.1 4.3 4.5 4.8 4.9 4.10 4.12 4.144.1解：(a) 对称信道(b) 对称信道(c) 和信道(课堂教学例题)!4.3解： (a): 可先假设一种分布,利用信道其容量的充要条件来计算(课堂教学例题) (b): 准对称信道！4.5解：课堂教学例题4.8解：该题概率有误，应把1/32改为1/64。每个符号的熵为采样频率Fs为Fs=2W=8000 Hz所以信息速率R为4.9解：每象点8电平量化认为各级出现的概率相等，即H(U)=3 bits所以信息速率R为4.10解：4.12解：高斯信道的信道容量为4.14解：第五章 离散信道编码定理习题5.1解：DMC信道有因为所以最大后验概率译码为： 。译码错误概率为：若按最大似然译码准则译码为：译码错误概率为：可见,最大似然译码的译码错误概率大于最大后验概率译码的译码错误概率。第七章 信道编码1. 设(7,3)码的生成矩阵为(1) 写出该码的一致校验矩阵H；(2) 写出该码的所有许用码字；(3) .写出该码的“译码表”-标准译码表或简化(伴随式)译码表；(4) 写出接收矢量R=1000001的错误图样,并译相应的许用码字；(5) 写出该码在BSC(错误转移概率为p)中传输的(平均)正确译码概率pc的表达式；(6) 写出该码在BSC(错误转移概率为p)中传输的漏检概率Pud(也称不可检测错误概率)的表达式.解: (1) G不为系统码形式,我们通过初等行变换变为系统码形式 因此(2) 由C=MG得该码的许用码字为0000000,0111001,1101010,1010011,1011100,1100101,0110110,0001111该码的最小汉明距离为4。(3) 该码的标准阵由16个陪集构成, 在BSC(错误转移概率为p1/2)应将重量最小的错误图样选作陪集首, 故该码的标准译码表为许用码字0000000(陪集首)0111001110101010100111011100110010101101100001111禁用码字000000101110001101011101001010111011100100011011100011100000010011101111010001010001101111011001110110100000110100001000111101110111010101111011000110000101100100001011000100001100011100010101101110101001101101011111000001110010000010100111110101000011100110011101010100110001111101000000011001100101011100111111100100010100101100101111100000011110010101010001001100111000100101111011010011110000011011101011010011010000101111111001100110101000110000001010111100110111110101101011001110000001100110001010000100101100001100011101101010101011101100011111100001100010001010100011110111000010100110111101000100111001111001000010011000100101111100101111101100010000101110101110100000111110000101011001001000111010100100111011110011101001000111000101000100011011001010001011011111110100011111100001001001001101001000110101100001010110001101111111译码规则为若接收矢量在第i列出现,则译码输出为对应列中的码字,也就是陪集首为可纠正错误图样.伴随式译码表为伴随式陪集首00000000000011100000011101000001010110000100000100010000010001000001000100000100010000001010000001111000000101011000010010101001000100110100001111110000011001100100011101110000(4) 接收矢量R=1010101出现在标准译码表的第五列, 译码输出为1011100, 错误图样为0001001.(5) 该码标准译码表的陪集首重量分布为A0=1,A1=7,A2=7,A3=1,A4=A5=A6=A7=0所以正确译码概率pc为注意：i=0(6) 该码的重量分布为A0=1,A1=A2=A3=0,A4=7,A5=A6=A7=0所以该码在BSC中传输的漏检概率Pud为注意：i=1
展开阅读全文