资源描述
【2】设有 12枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同, 但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪 一枚是假币，试问至少必须称多少次？解：从信息论的角度看，“12 枚硬币中，某一枚为假币”该事件发生的概率为 P二吉；“假币的重量比真的轻，或重”该事件发生的概率为 P = 为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因此有/ = log 12 + log 2 = log 24 比特而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为 P=p因此天平每一次消除的不确定性为 I = log3 比特因此，必须称的次数为/, _ log 24 77 log3因此，至少需称 3 次。【延伸】如何测量。分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。2 2同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？ 解：“两骰子总点数之和为 2有一种可能，即两般子的点数各为 1,由于二者是独立的, 因此该种情况发生的概率为 P二二命，该事件的信息量为:/ = log 36 = 57 比特“两骰子总点数之和为 8”共有如下可能：2 和 6、3 和 5、4 和 4、5 和 3、6 和 2,概 率为P二存存 5二售，因此该事件的信息量为：/ = log2.85 比特“两骰子面朝上点数是 3和 4”的可能性有两种：3 和 4、4 和 3,概率为 P = ：x；x2二二0 0 1因此该事件的信息量为：/ = logl8 = 47 比特【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？ ”则答案中含有多少信息量？如果你在巳知今天是星期四的情况下提出同样的问题，则答案中你能获得多 少信息量(假设巳知星期一至星期日的顺序)？解：如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为P冷,因此此时从答案中获得的信息量为/ = log7 = 2.807 比特而当巳知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为 1,此时获得 的信息量为 0比特。【2.4】居住某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6米以上的，而女孩中身高 1 6米以上的占总数一半。假如我们得知“身高 1.6 米以上的某女孩是大学 生”的消息，问获得多少信息量？解：设 A表示女孩是大学生，P(4) = 0.25;B表示女孩身髙 1.6 米以上，P(B IA)=0.75, P(B) = 0.5“身高 1.6 米以上的某女孩是大学生”的发生概率为P(AB) _ P(A)P(B I A) _ 0.25x0.75P(B) P(B)63-巳知该事件所能获得的信息量为(2O212O13O213OO12O321O11O321O1OO21O32O1122321O),求(1)此消息的自信息是多少？(2)在此消息中平均每个符号携带的信息量是多少?解:信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息 即为各消息的自信息之和。根据巳知条件，发出各消息所包含的信息量分别为：x/(do =0) = log- = 1.415 比特/(a1=l) = log4 = 2 比特l(a2=2) = log4 = 2 比特I(a3=3) = log8 = 3 比特在发出的消息中，共有 14个“0”符号，13个“1”符号，12个“2”符号，6 个“3” 符号，则得到消息的自信息为：/ = 14x1.415 +13x2+12x2+ 6x3 沁 7.81 比特45个符号共携带 87.81比特的信息量，平均每个符号携带的信息量为心甞=95比特/符号45注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的 信P(AB) = 0.375/ = log10.3752.5设离散无记忆信源a, = 03/8= 2 =31/41/8其发出的消息为1/4息量，后者是信息埔，可计算得H (X)二-E P log P(x) = 1.91 比特/符号【2.6】如有 6 行 8 列的棋型方格，若有二个质点 A和 B,分别以等概率落入任一方格内， 且它们的坐标分别为(XA，YA)和(XB,YB),但 A和 B 不能落入同一方格内。(1)若仅有质点 A,求 A落入任一个格的平均自信息量是多少？(2)若巳知 A巳落入，求 B落入的平均自信息量。(3)若 A、B 是可分辨的，求 A、B 同都落入的平均自信息量。解：(1)求质点 A落入任一格的平均自信息量，即求信息箱，首先得出质点 A落入任一 格的概率空间为： Xal141a. L1L1nr-48484848 J平均自信息量为H(A) = log48 = 5.58 比特/符号(2)巳知质点 A巳落入，求 B落入的平均自信息量，即求 H(BIA)。A巳落入，B落入的格可能有 47个，条件概率 P(bjg)均为补。平均自信息量为4748 47H(B I A) = EE)p(巧 I )log P(巧 a) = log47 = 5.55 比特/符号/si(3)质点 A和 B同时落入的平均自信息量为H(AB) = H(A) + H(B 14) = 11.13 比特/符号【2.7】从大量统计资料知道，男性中红绿色盲的发病率为 7%,女性发病率为 0.5%,如果 你问一位男同志：“你是否是红绿色盲？ ”，他的回答可能是“是”，也可能是“否”，问这 两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志， 则答案中含有的平均自信息量是多少？ 解:男同志红绿色盲的概率空间为:X 6/, a2P 0.07 0.93问男同志回答“是”所获昨的信息量为:/ = log-3.836 比特/符号问男同志回答“否”所获得的信息量为:/ = log-0.105 比特 / 符号男同志平均每个回答中含有的信息量为H(X)二-工 Plog P(x) = 0.366 比特/符号同样，女同志红绿色盲的概率空间为二 Sb2 0.005 0.995问女同志回答“是”所获昨的信息量为:心吨篙 T 4 比特/符号问女同志回答“否”所获昨的信息量为:/现顾的比特/符号女同志平均每个回答中含有的信息量为H(Y)二-工 P(x)log P(x) = 0.045 比特/符号X = a2a5a4a5a6P(x)J -1_0.20.19 0.1807 0.160.17么 H(X)log6,不满足信源埔的极值性。解：H(X) =P(x)logP(x) = 2.65 log62.8设信源,求此信源的埔，并解释为什原因是给定的信源空间不满足概率空间的完备集这一特性，因此不满足极值条件。2.9设离散无记忆信源 S其符号集 A二,勺， 卫 ， 知其相应的概率分别为 3,乙， ,PJ。设另一离散无记忆信源，其符号集为 S信源符号集的两倍， Az=,.,/= 1,2，,2q9并且各符号的概率分布满足=(1-E比 i = 12.,qP. = cPi = q + l,g + 2.,2q试写出信源 s的信息埔与信源 s的信息爛的关系。解：H(S,) = -P(x)ogP(x)=-匸(1 - E ) log(l - ) - E比 log比=一(1一)刀 log(l-)-(l)1 用 log片-loge -EgE log=一(1_)log(l-e)-e loge +H(S)A/(S) + /(,1)【2.10】设有一概率空间，其概率分布为“I，.,，并有/?, p2o 若取加二卩-, 龙=几+，其中 0v2S“-几，而其他概率值不变。试证明由此所得新的概率空间的 爛是增加的，并用爛的物理意义加以解释。解：设新的信源为 X,新信源的爛为：日*)= -匸卩八0冷=-(Pi -)log(Pi -)-(宀 + e)log(p2+e)-L - p(llogpg原倍源的爛H(X)二一 p, log Pi = -pxlog Pi- p2log p2-L - pqlog卩口因此有，H(X)-H(X) = (P Y)log(P-)+ (卩 2 +e)log(p2d-ej-p, log -p2log p2令/(x) = (p, -x)log(p,-x) + (p2+x)log(p2+x), xe 0,Pl2P1,则广=log 空竺 SO即函数/(X)为减函数，因此有/(0)/(e),即（Pi -e）Iog（P! 一）+ （几 +）log（几 +） log 4- p2log p2因此成立。【解释】当信源符号的概率趋向等概率分布时，不确定性增加，即信息箱是增加的。【2.11】试证明：若工化=1, qj = p 1.,则/=! /=!H（PI，P2，K,Ps，qi，q2，K ,q=H（Pi，P2，K,PiP+p.Hd，生,K ,）PLPLPL并说明等式的物理意义。解：H（Pig，K，92，K,q,”）=-log Pl - Pl log “2 - K - Pz._! log Ps - Cl, log 0 - q2log ?2 - K - qmlog q,n=-Jog Pi - Pi log p,-K - p_, log pL_- pLlog pL+ pLlog pL-Ql log 也一 ?2 log 2 - K - Qm log qn=-pJog Pl -内 log P，-K -pL_, log pL_x- pLlog 久 + + 竹 + 儘 + L + qm）log pL一 9Jog也一 q2logq2-K -qmlogqm=-P, log Pl - “2 log p,-K -pL,logpr，- pLlog pL-qxlog log=-K -qmlog PL PLPL=-Px log Pl -内 log 卩 2 -K - P log PL_X- PLlog pL+ pt（-log log -K - log ）PLPLPLPLPLPL H（P, p2,K ,p + 几/f（邑，邑,KPLPLPL【意义】将原信源中某一信源符号进行分割，而分割后的符号概率之和等于被分割的原符号的 概率，则新信源的信息箱增加，悄所增加的一项就是由于分割而产生的不确定性量。【2.12】（1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用 5xl05个 像素和 10个不同亮度电平，求传递此图像所需的信息率(比特/秒)。并设每秒要传送 30 帧图像，所有像素是独立变化的，且所有亮度电平等概率出现。(2)设某彩电系统， 除了满足对于黑白电视系统的上述要求外， 还必须有 30个不同的色 彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率约大 2.5 倍。解：每个像素的电平取自 10个不同的电平，每一个像素形成的槪率空间为： Xa2Lp1丄 L1 To10lo这样，平均每个像素携带的信息量为：H(X) = loglO = 3.32 比特/像素现在所有的像素点之间独立变化的，因此，每帧图像含有的信息量为：/(XN) = NW(X) = 5xl05xlogl0 = 1.66xl06比特 / 帧按每秒传输 30帧计算，每秒需要传输的比特数，即信息传输率为：30 x/f(XJV) = 4.98xl07比特 / 秒除满足黑白电视系统的要求外， 还需 30 个不同的色彩度， 不妨设每个色彩度等概率出 现，则其概率空间为： YbXb2Lb3o111p L 303030.其爛为 log30比特/符号，由于电平与色彩是互相独立的，因此有H(XY) = H(X) + H(Y) = log 300这样，彩色电视系统的信息率与黑白电视系统信息率的比值为H(XY)_ log300 空H(X) log 10 【2.13】每帧电视图像可以认为是由 3xlO5个像素组成，所以像素均是独立变化，且每一 像素又取 128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量？ 若现有一广播员在约 10000个汉字的字汇中选 1000 个来口述此电视图像，试问广播员描 述此图像所广播的信息量是多少(假设汉字是等概率分布，并且彼此无依赖)？若要恰当 地描述此图像，广播员在口述中至少需用多少汉字？解：每个像素的电平亮度形成了一个概率空间，如下：rx_ q 128111PL L128128128平均每个像素携带的信息量为：/(X) = logl28 = 7 比特/像素每帧图像由 3x105个像素组成，且像素间是独立的，因此每帧图像含有的信息量为：/(Xv) = NH(X) = 2xIO比特/帧如果用汉字来描述此图像，平均每个汉字携带的信息量为 H(Y) = log 10000 = 13.29比特 /汉字，选择 1000 字来描述，携带的信息量为H(YN) = NH(Y) = 1.329X104比特如果要恰当的描述此图像，即信息不丢失，在上述假设不变的前提下，需要的汉字个 数为：竺亠沁“舷 2 字H(X) 13.292.14 为了传输一个由字母 A、B、C和 D组成的符号集，把每个字母编码成两个二元 码脉冲序列，以 00代表 A, 01代表 B, 10代表 C, 11 代表 D。每个二元码脉冲宽度为 5ms。1 不同字母等概率出现时，计算传输的平均倍息速率?2 若每个字母出现的概率分别为 p=, % 几=丄，试计算传输的54410平均速率？解：假设不同字母等概率出现时，平均每个符号携带的信息量为H(X) = log4 = 2 比特每个二元码宽度为 5ms,每个字母需要 2 个二元码，则其传输时间为 10ms,每秒传送/ = 100个，因此信息传输速率为：/? = w/(X) = 100 x2 = 200 比特 / 秒当不同字母概率不同时，平均传输每个字母携带的信息量为/(X) = llog5 + llog4 + llog4+Aiog 12 = 1.985 比特 / 符号此时传输的平均信息速度为R =/7/(X) = 1.985X102比特/秒(2)证明离散平稳信源有 H(XJX|X2)SH(XJXJ，试说明等式成立的条件。解：HgXM2)10(%3lx,x2)二-2 刀卩(州心) Pg Ix/JlogPg I 召兀)Xi x2x33X、X2Xi= H(X3X2)根据信源的平稳性，有H(X3lX2) = H(XJXl),因此H(XJXlX2)H(X2lXl)0等式成立的条件是 P(x3l xlx2) = P(x3lx2).(2)证明离散信源有 H(XlX2L XQWH(XJ + H(XJ + L +H(XQ,并说明等式成立 的条件。证明:H(X|X丄 XJ = H(XJ + H(XXJ+L +W(XNIX,X2L XH(XNXXX2LX、)ogP(xNxx2LX X2XN= -J2LP(XX2LXN_P(XNX2LxJlogPU lx,x2L xN_t)X|x2X.V-IEELEF(xx2Lip/L 心 jiogHg)Xi x2XgXN= H(XN)即H(X2Xl)3时，P(XrIX/_,) = P(X2IX1)o试用马尔克夫信源的图示法画出状态转移图，并计算此信源的爛 0 八 解:信源为一阶马尔克夫信源，其状态转换图如下所示。根据上述状态转换图，设状态极限概率分别为 P(Cl). P(b)和 P(c),根据切普曼柯尔莫哥洛夫方程有Q(a) = -Q(a) + -Q(b) + -Q(c)0少)=；如 +灵(仍+显(。)3320(c)*(a) + *0(b) 0(d) + 09) + 0(C)= 1解得：Q(a) = Q(b) = I, Q(c)丄84得此一阶马尔克夫的信息悄为:Hg=Q(EJH(XEJ .439 比特 / 符号2.19 一阶马尔克夫信源的状态图如右图所示，信源 X的符号集为0,1,2并定义 p = -po4.10 求信源平稳后的概率分布 P(0)、P(l)和P；4.11 求此信源的爛4.12 近似认为此俏源为无记忆时，符号的概率分布等于平穂分布求近似侑源的箱 H(X)并与进行比较；4.13 对一阶马尔克夫信源卩取何值时，Hg取最大值，又当 p = 0 和 p = l 时结果如何?解：根据切普曼一柯尔莫哥洛夫方程，可得P(0) = pP(0) + #P(l) + #P(2)P(l) = #P(0) + pP(l) + #P(2)P諾P(0) + #P+PPP(0) + Q(l) + P(2) = l解得：P(0)=P(2)=-P该一阶马尔克夫信源的信息箱为：Hg = 2Q(E)H(X EJ =盯-pkg p + p 比特/符号当信源为无记忆信源，符号的概率分布等于平稳分布，此时信源的概率空间为:此时信源的信息箱为 H(X) = log3 = 1.585比特/符号由上述计算结果可知：/(X)/7(oo)0求一阶马尔克夫信源壻孔的最大值，/ =-戸 log 戸-plogp + p ,仃LU2可得，当 p =-时，兀达到最大值，此时最大值为 log3 = 1.585 比特/符号。当 p = o时，Hg= 0比特/符号；=1 时，Hg = l比特/符号2.20】黑白气象传真图的消息只有黑色和白色两种，即信源 X二黑,口,设黑色出现的 概率为 P(黑) = 0.3,白色出现的槪率为 P(口) = 0.7。1假设图上黑白消息出现前后没有关联，求炳 H(X);2假设消息前后有关联，其依赖关系为 P伯 I白) = 0.9, P(黑 I 白) = 0.1 , P(白 I黑) = 0.2,P(黑 I黑) = 0.8,求此一阶马尔克夫信源的爛比。3分别求上述两种信源的冗余度，并比较 H(X)和的大小，并说明其物理意义。解：如果出现黑白消息前后没有关联，信息箱为：=0.881 比特 / 符号当消息前后有关联时，首先画出其状态转移图，如下所示。0.1设黑白两个状态的极限概率为 0（黑）和 0（白），根据切普曼一柯尔莫哥洛夫方榨可得：0（黑） = 0.8。（黑） + 0.10（白） 0（白）=（）.20（黑）+0.90（白）Q（黑） + 0（白）=1解得：1 , 2Q（黑）= Q（白）=此信源的信息爛为：氐二刀 0（耳）H（X I 耳）二 0.553 比特/符号两信源的冗余度分别为：Y1=l- = 0.119log 2LJYi =1=0.447log 2结果表明：当信源的消息之间有依赖时，信源输出消息的不确定性减弱。就本题而言, 当有依赖时前面巳是白色消息，后面绝大多数可能是出现白色消息；前面是黑色消息，后 面基本可猜测是黑色消息。这时信源的平均不确定性减弱，所以信源消息之间有依赖时信 源爛小于信源消息之间无依赖时的信源爛，这表明信源爛正是反映信源的平均不确定的大 小。而信源剩余度正是反映信源消息依赖关系的强弱，剩余度越大，信源消息之间的依赖关系就越大。X 州龙2PM 0.6 0.4 通过一干扰信道，接收符号为 r = lyry2,信道传递概率如下图所示，求(0信源 X中事件石和心分别含有的自借息；收到消息 y心 1,2)后,获得的关于兀(心 1,2)的信 息量;3 信源 X和信源丫的信息埔;信道疑义度 H(XY)和噪声爛 H(FIX);4.14 接收到消息丫后获得的平均互信息。解:(1) 信源 X中事件比和兀分别含有的自信息分别为:/(xj = log ! = 一 log0.4 = 1.32 比特 Pg4.13 根据给定的信道以及输入概率分布，可得P(yl) = P(xi)P(yixi)=O.SXP(儿)=EP(xi)P(y2lx) = 0.2X所求的互信息量分别为:心；儿 2 峡号晋2 = 1 =吨 = 039 比特【3】设信源/ (xJ 二 logPg=- log 0.6 = 0.737 比特/(X, ； X)二 log= log = log = -0.093 比特P( yx)0.816/a;y2) = log= log器=log| = -0.263 比特P(儿)0.26/(x,;yJ = log=log = log- = 0.322 比特P)0.244.14 信源 X以及丫的箱为：H(X)二一 P(x) log P(x) = -0.6 log 0.6 -0.4 log 0.4 = 0.971 比特/符号 XH(Y) = -gP(y)log P(y) = -0.8 log 0.8-0.2 log 0.2 = 0.722 比特 / 符号Y4.15 信道疑义度 H(X I Y) = -P(x)J；P(yl x)log P(x I y)XY而相关条件概率 P(xI y)计算如下：P(yilxJP(xJ_0 5 二 5P(y3oisp(xIvP(yxJP(xJ_0 6/6= 1(1)2 p(儿) P(yJ0.2 2PDF由此计算出信道疑义度为:噪声爛为:H(YX) = gP(x)P(y lx)logP(yI x) =-O.d log +log-0.4|_6匕6 6 吕 6= 0.7145比特/符号PCWJP(yJ2iog2+liogl44 44P(X| I y J =H(Xir)= -0.6=0.9635比特/符号4.16 接收到信息丫后获得的平均互信息为:/(XV) = H(X) H(X I Y) = 0.0075 比特/符号32设 8 个等概率分布的消息通过传递概率为 p 的 BSC 进行传送，8 个消息相应编成下述码字：MOOOO, M2=0101, M 尸 0110, M4=0011M5=IOOI,M6=IOIO,M7=HOO,M8=UII试问：(1)接收到第一个数字 o 与 Ml 之间的互信息；(2)接收到第二个数字也是 0时，得到多少关于 M|的附加互信息;(3)接收到第三个数字仍为 0时，又增加了多少关干 M的互信息;(4)接收到第四个数字还是 0时，再增加了多少关于 Mi 的互信息。解：各个符号的先验概率均为!O(1)根据巳知条件，有P(y =01 Af,) = P(yx= 010000) = P(yx= 01 x, = 0) = pP(X=0) = yP(MJP(0IMJ 二;因此接收到第一个数字 o与 Ml 之间的互信息为:理治=1 +吨戸比特(2)根据巳知条件，有P(yy2=00IA/I) = P(y,y2=0010000) = p2P()l2 = 00)=匸 P(M JP(OO IM J = 2 戸 2 + 4 莎 + 2b =：M,O4因此接收到第二个数字也是()时，得到多少关于 Ml的互信息为:得到的附加信息为:/(冏；儿儿=00)-/(,; =0) = l + logp 比特 / 符号（3）根据巳知条件，有P（yiy2儿=000IMJ = P（y2 儿=0001000）=戸P（yy2儿二 000） = EP（MJP（000IMJ = ；b+3M+3p2p+p3 = ：因此接收到第三个数字也是 o 时，得到多少关于 Ml 的互信息为：/ （Mi； y二 000）= logP（：黑腭）=log-=3 +31ogp戶 （儿儿儿二）i/8此时得到的附加信息为：KMl;yly2y3=000）-/（Afl;yIy2= 00） = 1 + logp 比特/符号（4）根据巳知条件，有P（yy2儿儿= 00001,）=卩（久儿儿儿=oooo I oooo）=p4P（yy2儿儿=oooo）= 尸（MJF（OOOO1他）二丄斤十6,卩丄十矿叫8因此接收到第四个符号为 0 时，得到的关于 Ml 的互信息为/(A/,;y,y2儿=0000)_cP(X 儿儿儿=0()001 MJ“2 儿儿=0000)畅 +6 心 2+”4)o= 3 + 41ogp-log(p4+6p2p2+ p4)此时得到的附加信息为/(Md 儿儿儿=000) - /(Aft; y, y2y3= 000) = log p - log(p4+ 6p2p2+ p4)/(Mdyy = 00) = logP(y=00IMJP(y=0)p2=log = 1/42 + 2 log p比特/符号33设二元对称信道的传递矩阵为(2) (3) 3 23 3(1) 若 P(0)=3/4, P(l)=l/4,求 H(X), H(XY)9H(YX)和/(X;Y);(2) 求该信道的信道容量及其达到借道容量时的输入概率分布。解：(1)根据巳知条件，有H(X) =-P(xi)logP(xi)P(y = 1) = P(x)P(y = 1 lx)=x12p(x = 0)P(y = 0lx = 0)P(y = o)P(X= lly = 0) = i3 1x F(x 二 0)P(y 二 llx = 0)_ 4 3 二 3P(y = )5/12 5P(x = lly = l) = yH(YX)二一 gP(兀)p(ylx)logP(ylx)P(x = 01 y = 0)=p(x= 0ly = l) = 0.811 比特/符号3 27/127X_34= 0.918比特/符号=一工 P(x)工 P( y I x) log P( XI y)=0.749比特/符号/(X；r)= H(X)-H(X I Y) = 0.062 比特/符号（2）此信道是对称信道，因此其信道容量为：2 1C = 0.082 比特/符号3根据对称信道的性质可知，当 P（o）= p（D=i时，信道的传输率/（x；r）达到佶道容量。3 4设有一批电阻，按阻值分 70%是 2kn,30%是 5kQ;按功耗分 64%是 1/8W, 其余是 1/4W。现巳知 2kQ阻值的电阻中 80%是 1/8W。问通过测量阻值可以平 均得到的关于瓦数的信息量是多少？ 解:根据巳知条件，设电阻的阻值为事件 X,电阻的功耗为事件 Y,则两事件的概率空间为：$ = 2kG x2= 5AQ YH =1/8VVy2=1/4Wp 0.70.3 9P 0.640.36给定条件为 P(y, lx,) = 0.8,戶(儿 1召)= 0.2,而0.64 = P(yJ = P(xJP(% IxJ + P(x2)P(y, lx2) = 0.7*0.8 + 0.3*P(y, Ix2)0.36 = P(儿)=P(xJP(儿 I旺)+ P(x2)P(y21x2) = 0.7*0.2 + 0.3*P(儿 I 兀) 解得:(4)11PIX2)= E，祐/(riX) = -0.7*(0.81og0.8 + 0.21og0.2)-0.3*flo +lo)=O-7567/（x；r）= /（r）-/（r ix）= 0.186 比特 / 符号-26 13- log +log-4(37 353 5若 X、丫和 Z是三个随机变量，试证明：（1） /（x；yz）= /（x；y）+/（x；ziy）= /（x；z）4-/（x；nz）（2） /（x；nz）= /（y；xiz）= /（xIZ）-H（XIKZ）/（x；riz）o 当且仅当（x,z.r）是马氏链时等式成立。证明：(1)/（x；rz）= P(x,y,z)logX.Y.ZP(xyz)P(x)P( )Z)logP(xyz)P(xy) P(x丨dP(x)E P(x，y，z)bg铲 叮+ L P(x,y,z)iogP(xy)P(x)= /(X;ZlY) + /(X;Y)同理，/(X;YZ) = /(X;Z) + /(X;YIZ)/(X;YIZ)X P(x. y.z)logX.Y.ZP(xlyz)P(xlz)=E logX.Y.Z.P(xyz)P(z)P(xz)P(yz)=E P(x,y,z)logX.Y.ZP()g)P(yiz)= /（r；xiz）/（x；riz）=J2 p(“ logX.Y.ZP(xlyz)P(xz)=-D(兀 ,y,z)log P(xlz) +X.Y.ZP(x,y,Z)logP(xl yz)X.Y.Z= H(XZ)-H(XYZ)=0等号成立当且仅当鵜十缺=船P(yz) = P(yxz)9即(X,Z)是马氏链。【3.6】若有三个离散随机变量，有如下关系：X+Y = Z,其中 X和 Y相互统计独立，试证明：(1)H(X)5H(Z),当且仅当丫是常量时等式成立；(2)H(Y)0,因此 H(Z)=o.8i 1 比特 / 符号z(x；yz)=H(X)-H(X1 yz) = 1 -0.5=0.5 比特 / 符号/(r；XZ) =I XZ) = 0.5 比特/符号(3)有一个二元信道，其信道如右图所示。设该信 道以 1500 个二元符号/秒的速度传输输入符号，现有一 消息序列共有 14000 个二元符号，并设在这消息中 P(0)=P(D= l。 问从信息传输的角度来考虑，10秒内厶能否将这消息序列无失真地传送完。01解:C = log2-H(0 9&0.02) = 0.8586 比特/符号10 秒内可以传输的最大信息量为：1500 x 0.8586X 10=1.288 x 104比特而 14000个符号中所含有的信息量为：14000 比特，因此从信息的角度来考虑,10 秒钟内不可能把上述 14000个符号传输完。(3)求下图中信道的佶道容量及其最佳的输入概率分布。解：两个信道的信道矩阵分别如下:363丄丄丄636可见，两个信道均是对称信道，信道容量分别为：G = 0.0817 比特/符号C、= log 3 - H (丄丄丄)=0.126 比特/符号2 6 3输入的最佳分布是等概率分布。该信道的信道矩阵为0.98 0.020.02 0.98信道容量为:1-21-61-31/31/2-31-21-6(1)【3.10】求下列两个信道的信道容量，并加以比较(1)解：这两个信道均是准对称信道，当输入符号等概率时，平均互信息达到信道容量，具体如下:(1)该准对称信道的信道容量为:=max/(y)-/(/?-e,/?-e,2e)=_ 匕吝 log 号J 号log 导_2“og2E_H(戸_，P_&2E)(2)该准对称信道的信道容量为:22= (l-2e)log-+(/?-e)log(p-e) + (p-e)log(p-e) + 2E l-2e=C +2E3.11求下图中信道的信道容量及其最佳的输入概率分布，并求出=0 和e=|时的信道容量 C。P-EP_E2E2EP_Ep-t2E0 p-e 0 2e22= (l-2E)log+ (p-e)log(/?-e) + (p-e)log(p-) l-2eC2= max/(y)- /(p-e,p-e,2e)1_2E1-2E1-2E1-2E_=-log-log-e loge -e logc -H(戸-,p-,2e)(1)解：该信道的信道矩阵如下：10 00 1-e0 e 1-e该信道既非对称信道，也非准对称借道，因此根据一般信道容量的计算公式，有E PQ a)卩广为 P(bj I 卩)log P(b)Pi =-(1-)P： +叩 3 =(l-e)log(l-e)+elogeeP2+(1-)卩 3 =(l-)log(l-e) + e loge解得:P(=0 , P2= P3=(l-e)log(l-e) + e loge而信道容灵c=log2 阳= log(l + 2(l-E),-Eef)信道的输出符匕概率为:P(bJ = P(aJP(b2) = (l-e)P(a2)+P(a3)p(bj=pa)+(i)pq)可得,戸（勺）=2卩 =11 + 2(1Y)%p(bJ = 2%Y(1-)91 + 2(1 - )9(l-e),ee1 + 2(1 - )911 + 2(1-)Z“P(a)二(l-e),cEc1 + 2(1 - )2当=0 时，C = log(14-2(l-e),-e)=log3,信道为一一对应信道;3.12试证明 H(X)是输入概率分布 P(x)的上凸函数。证明：H(X) = -J；P(x)logP(x)X设存在两个概率分布片(X)和人(X),目标是要证明制(片)+而(代) BSC1HSC2 f X2-pl-(l-2p)x+p l-l-(l-2p)*J=彳一彳(1 一 2 卩)* +一#1一(1 一 2 卩)* 专-(1-2艸+#(1-2沪= l-|(l-2p)*+(l-2p)*= |l-(l-2p)u,当Too时，错误概率近似为;，总信道矩阵为布，输出均为等概率分布。其互信息为：lim/(X0;Xn) = /(Xn)-/(XJX0) = l-/7(XJX0) = 0 比特 / 符号3.16若有两个串接的离散信道，它们的信道矩阵都是0 0 0 f0 0 0 1丄丄 0 02 20 0 10并设第一个信道的输入符号 X 0 卫 2 偽，6是等概率分布，求/(X;Z)和/(x；r)并加以比较。解：串接后的信道矩阵为：_o o o r_o o o r o o 1 (T0 0 0 10 0 0 10 0 10丄-00丄丄 0 02220 0 0 12 22 211 0 0 100 0 10.2 2 1-21-21-21-2,此时不论输入为何分00 1000 10P(cJ P(c2) P(cJ P(cj =P(aJ P(a2) Pg) P(训 oo o i11 0 0L2 2 1111.8824 -可见,/（x；z）= /（x；y）oP(b2) P(bJ P(b4) =P() P(a2) P(a.) P(a4)_ 1 1 1 11 1.8842.O1-2OO1-2Oloo/(XV) =H(Y)-H(YX)=1 5 比特/符号/(X;Z) =H一H(ZIX)= 1 5 比特/符号【4】设有一连续随机变量，其概率密度函数为z、 AcosxPM = 丨 o又有p(x)dx = 9试求这随机变量的壻。解:A cos x log Adx - J A cos x log cosxdx ：-J A cos x log cos xdx 2=-2 A log A - J A cosJlog cos xdxJcos x log cos xdx = log ej In Vl-sin2AT/sin x=+ log ej ln(l + sin x) + ln( 1 - sin x)d sin x=+ log ej ln(l + sin x)d sin x + 片 log ej ln(l - sin x)d sin x/?(X) = 一 J “(x)log px)dx=-J=A log AsinJ ln( 14- sin x)d sin x(1 + sin x) ln(l + sin x)2X因此有= 21ii2-2Jln(l- sin x)d sin x=-J ln(l - sin x)J(l- sin x)=-(1 - sin x) ln( 1 - sin x) = 21n2-2其他值Ali(X) =-2AlogA-yloge(21n2-2 + 2ln2-2)=-2 A log A + 2 A log e - 2 A log In 2 =-2A log A + 2 A log w- 2At1而 J(x)dx = l,即 A =-,因此TZh(X) = - log y + log a-l = l + log e- log e4.2计算连续随机变量 X的差箱(I)指数概率密度函数 p(x) = R 几，x0j.0(2)拉普拉斯概率密度函数，/心)=*厂，-ooX0解：(1)h(X) =-Jp(x)log p(x)dx二-j入严 log7=-JkefKlogXJx-JKeKvlogeKdx=-logM亠I； +log 屮n 严 d 严= -logX + log et In/| - log eclt= -logX + logeh(X) = -Jp(x)log p(x)dx=loggxe沖么=- eLxogke/xdx=-J： V几 logijx-logR几厶c=log 2 + log 注：(2)题直接借用了(1)的结论。43设有一连续随机变量，其概率密度函数为:试求这随机变量的爛。又若=X+K(K0),试分别求出乙和笃的爛心)和/(r2)o解：力(X) = -J p(x) log p(x)dx=- bx2ohx2dx=-log b-2b log cJ x2In xdx2 2=a3boge - abioga - ogb由 Tf p(x)dx = 1 ,因此 ayb = 3 ,因此2/i(X) = loga + logd-log32324.4设给定两随机变量/和它们的联合概率密度为2 1P(x2) = e22 兀P(x) = hx1 20 x0)时,dx=1,因此/(yi) = /j(X)-logl = /?(X) = log + log-log33因此乙=X|+Xj也是一个髙斯分布的随机变量，其均值为0,方差为2,即8 XX2oo求随机变量乙二 X| +Xj 的概率密度函数,并计算变量丫的 iff/(Ho解:斗挣 Jug)当 Y.=2X时,ax因此其差壻为h(Y) = log 2nea; = log 4ite45设一连续消息通过某放大器，该放大器输出的最大瞬时电压，最小瞬时 电压为d。 若消息从放大器中输出， 问放大器输出消息在每个自由度上的最大箱 是多少？又放大器的带宽为 F,问单位时间内输出最大信息量是多少？解：该问题等价干取值受限的随机变量的最大箱，根据差箱的极值性，当等概率 分布时其差爛最大，即h(Y) = log(b-a)如果放大器的带宽为 F,则取样率为 2 尸，单位时间内输出的最大信息量为2F log(b - a)比特/秒(1)有一信源发出恒定宽度，但不同幅度的脉冲，幅度值处在 q 和之间， 此借源连至某信道，借道接收端接收脉冲的幅度 y 处在也和乞之间。巳知随机变 量 X和丫的联合概率密度函数P(Q)=7- L7T试计算 h(x)9h(y), h(xy)和/(XV)。解：P(x) =Jp(x,y)dy=-!- dyJ (a2-ax)(b2-b)同理，(刃 r(2)在连续信源中，根据差爛、条件差箱和联合羞箱的定义，证明(1) A(xin/(x),当且仅当 x 和 y 统计独立时等号成立；(2) hgXL XQShg + hg+L +/(XjV),当且仅当 X.X2L X” 彼此统计 独立时等式成立。证明：h(XY) = -J(刃 d.vjp(x y)log p(x y)dx=-J p(x, y) log p(x)dxdy= h(X)等号成立当且仅当 Pdl 刃=p(x),即 p(x.y) = p(x)p(y)9因此仅当 X 和丫统计 独立时等号成立。(2)根据条件概率密度的相关公式，有h(XlX2XN) = h(Xl)+h(X21 Xt)h(X31 X.X2)+L +h(XNXlX2XN_l)根据(1)的结论，条件差壻小于差爛，因此有/?(X,X?LXV)0,其平均值受限，即数学期望为力，试求 在此条件下获得的最大惦的最佳分布，并求出最大爛。解:给定条件如下：J p(x)dx = 1xp(x)dx = A 目标：求-J(x)log“(x)dx 的最大值。构造函数F(p(Q) = -J p(x)log p(x)dx + X | p(x)dx + p Jxp(x)dx=J (- PM log p(x) + Xp(x) + ixxp(x)dx欲使 dS)=o,只需(-MM 财+ ( +呵)即可,因此有 dp(x)-log p(x) - loge + X + p- = 0p(x) =dp(x)根据 Jp(x)dx = 1,= A ,可得J 2 店 a 窗办=1 = y = -2x-,ogfJ xp(x)dx = A=|1 = 一 土 (log e)2zx (logr)2因此 p(x) = (ogeY2AAh(X) = -J p(x)log p(x)dx=Tog(*(log ”)*+(log【4.9】N维连续型随机序列 X ,X2LXJV,有概率密度 p(X、X以及E(X严-)1=0：。证明：当随机序列的分量各自达到正态分布并彼此统计独立时壻最大。最大箱为ylog2Mo,2GL o.v)IM，证明：h(X、X2LX、.)/I(XJ + /I(XJ+L+ h(XQ等号成立当且仅当各分量统计独立。而对于任何一个分量而言，当 E(Xi=mi)=c;时，高斯分布的差埔最大，为 h(Xi) =-log 2Jieo因此原序列差烤的最大值为：=斗 log 20：+og 20；+L +-log#log2M(G远 L(y 汴(1)N维连续型随机序列 XX2L X-其各分量幅度分别受限为 U如。证明：当随机序列的分量各自达到均匀分布并彼此统计独立时爛最大。最大埔为Nlogf(b)A(X,X2LXN)_，2h(X,X2L XjWhg + hg+L + h(XQ等号成立当且仅当各分量统计独立。而对于任何一个分量而言， 当幅度分别受限为 【上 时， 均匀分布的差箱最大, 为/z(X,) = log(b - a,.)因此原序列差熠的最大值为：h(XX2L X J =log-aj + log( l+L + log( -aN)iog(切-aj1=1(2)设 X,X2L X都是互相独立的正态分布的随机变量，其方差分别为O：,男，时，均值分别为叫 _丄，心。试证明 Y = Xl+X2+L+XN仍是正态 随机变量，其均值为加= E“，方差 02= 20证明：设比和 X：是相互独立的正态分布的随机变量，其均值为“，方差为 0：。设Y2= X+ X2t根据巳知条件，有Y2=X+X2因此有= P(v1,x2) = p(x1)p(x2)证明:卩(召,儿)dX,= p(xrx2)=p(xx2)3X,dX?1 1= pUi)p(y2-i)因此有p （y2）二 Jp（州儿叭= f/XxI）/Xy2-xI）Jx1=expF=-!-exp-J 2兀 66（召 -）22时（旺-“）2时*（y2-x-m2）伉一 ）2（儿一儿一汀（旳-热-订20?dx、2G；_旺_加 J6o；k 匕；X -“） + 骑（儿一石一 m2y266Z-2-TI2+gk； +2片&；吗-0；儿-叫 0；）+6；加；+6 讪;+ 时 y； -2骑儿2661珂 ；02（1 1+ a:2时8.6Jg- 汀丄（儿- - Z- 十-2O：阳 2一 0； 2 一加0；、+9；加;+o；y；-2o：y272）X+g ja.2+ofk12x,2+ 2若22：22：4耳一 6儿一 6 入I T丁 一予。+0；1 /b：人-cSs -W.G? YY4-_| -_ |-+6丽吋（儿一叫所以呐=/exp1 f =- exp/37ca + log ejy)2）如丿必心二卩3a27I/I V2y2-.nr+x2彳诙药卜討F 坤=1i(iYiL;直4adxdy如-4adxdvr! Y心冲e 血 dxdyOF一 y-x42= 3y/3at2erdtIxdxF=log V37ta + logej /?(x,y)=log Vsita + log a= ylog3a2/(XV) =H(Y)-H(YX)=-log47tea2-log37tea22 注：该题推导过程中引用的相关积分公式：丄 2f(1) e2dt = V2n(2)皿毎J_82(1)试证明两连续随机变量之间的平均互信息/(x；r)是输入随机变量 X的概率密度函数“(X)的 I型凸函数。证明：/(x；r)=jM-v)/Xyix)iogp(vlv)1 Yy_尹f P(x，yr2dxdy =3a.X2=7= feJx*-V37Ux =-T=6V37raJ24aV7r= 2ayfn4a =124a*dx因此平均互信息为:/(FIX)r i ry-x)dxdy3ordxdyP （刃卩（小）= 0.21=f P(x) ( y I x) log7八八-dxdyJ p(x)p(yx)dx设存在 X的两个概率密度刃(x)和 p2(x),参数 0W8S1,目标证明:1P(X)+ 丽 2 )n (Pl (x)+ -F47(P2(X)过程如下：ei(Pl(X)+e/(p2(X)- /(oA(x)+e2(X)=% (x) p( y I x) log：(；)dxdy + 9 J/A(x)(y lx) logdxdy一 J P(x)p(y I x)log；： ；)dxdy=6 f p.(-V)P(vl x)log )dxdy + 0f p,(x)p(y I x) logdxdyJPi(J)J p2(y)J Pt (x)p(y lx) log 诜号 dxdy 二 J p, y) log 琲普 dxdy Gogj(x,y)册 dxdy= logJp1(xly)/?(y)rfvJy =0同理，J“2（x）（ylx）log#dxdyS0,因此有1 （明+丽 2）“Pi）+再1（必 CO）(2)试证明多维连续无记忆信道的充要条件为p(yx) = Yp(yixi)1=1证明:（1）充分性。p(yy2L片 ixqL xN)=p(y. XXX2LXN)p(y2XX2L xNyt)L p(yNIxxx2L xNyty2L yN_J“(yix)A(y)P(yix)p（yN-ixix2L3 从 儿 2）=卩（儿叽）p(y2XX2L xNy) = p(y2x2)p(yxxxx2L 心)=卩(片 1 斗)因此该信道是无记信道。(2)必要性。根据无记信道的性质，有POggL xNyty2L yN_2) = p(yN_lxN_i)p(y2X.X2L xNyJ= p(y2x2)p(y. XX2L xN) = p(ylxl)而(yL I vrv2L xN)=p(y, IxPv2L xN)p(y2x,x2L 心 yJL lx,x2L xNyty2L yM_t)同理p(yNxtx2L xNyy2L yN)P(vrv.L xNyy2L yN_t)P(X儿 L 儿“儿 IxL xQgL Ix2L xN)Nn(xi 兀)_ i=lJP(3VLyZylXjX.L xA.)dyNflpWJ np(x i-v,)i=l r=lfnf=lJV-p(y, i兀妙i 11(%|兀)二(yj几)因此有P(yx)= Yp(yixi)1=1(3)试证明连续信源 X的相对帥 X)是概率密度卩(力的 I型凸函数。证明：设存在 x的两个概率密度必(X)和 p2(x),参数 osesi,目标证明:h(0Pi (x) + Qp2(x) 0/z( Pi (x) +由h( p2(x)过程如下：Big (x) +由h(p? (x) - hep、(x)+Op2(x)=-0 J /人(x) log px(x)dx -Q J/A(x) log p2(x)dx + J(0/?, (x)+0/?2(.v)log p(x)dx=6 刃(x)log-ldx+$p,(x)log-dx而Jp,(x)log-1V Qog P)斗片厶P)P= logl=0同理,f p,(x)log dr MOJ几(x)因此M( p(x) + +e7/( p2(x) - h(Qp(x) + 0p2(x) 7 丄人，信道传递概率密度为 p(yx)o试证明：(1)当信源是无记忆时，有/(X,X2LXY.Y.Lrv)/(x/；y：)(2)当信道是无记忆时，有/(X,X2LXY.Y.Lrv) = p(yI)L p(yN)(2)口()訂 pg丄 加丄)log.y.W：HMLPUAIVV)ldyJp(x,)p(x2)L p(xN)=JpCy丄XN,)1 儿 L )*)log (.h 1)丫;1：丄V；Ig) dx皿L dxNdyxdy2L dyJP(Ji)/Xy2)L p(yN) 当信源无记忆时，即 p(xrv2L xN) = jxptx2)L p(xN.)E/(X,H)/XLXNY2Lrv)=JP(x,x,LXNJ儿 L )5)log卩(和)丫丄,儿(J *丄 dxNdy.L dyNGog Jp(x.x2LXN,)1 y2L )5)恥学)件兀1讐I,)dx LdxNdyxL dyNJP(XKLxNyy2L yN)讪炖“L盘册严 2札SL加I )1 (开儿 L $N)ALd兀 vd) L dyN等号成立当且仅当 p(xtly)p(x2ly2)L p(xNytt) = p(xtx2L xNyy2L yN).当 P(J|L) I xtL xJupOJxJL p(yNI xv)时,根据信源的无记忆性，即P(y,L 片 1乂丄 xN)p(xxL xN) = p(ylx,)L p(yNxN)p(xi)L
展开阅读全文