资源描述
第三章 离散信道及其信道容量 3.1 信道的数学模型及分类 3.2 平均互信息及平均条件互信息 3.3 平均互信息的特征 3.4 信道容量及其一般计算方法 小结 本章主要内容： 3.9 信源与信道的匹配 第三章 离散信道及其信道容量 本章的重、难点内容： 了解信道的分类及基本数学模型 掌握平均互信息和平均条件互信息的概念 和意义 知道平均互信息的特征 掌握信道容量及其一般计算方法 * 3.1信道的数学模型及分类 在广义的通信系统中，信道是很重要的一部分。 信道的任务是以信号方式传输信息和存储信息。 研究信道的目的就是研究信道中能够传送或存储 的最大信息量，即信道容量问题。 本章首先讨论离散信道的统计特性和数学模型， 然后定量地研究信道传输的平均互信息及其性质 ，并导出信道容量及其计算方法。 本章只限于研究一个输入端和一个输出端即单用 户信道，以无记忆、无反馈、恒参离散信道为重 点。 3.1.1 信道的分类 根据信道的用户多少 根据信道输入输出的关联 根据信道参数与时间的关系 根据输入输出信号的特点 两端（单用户）信道 多端（多用户）信道 无反馈信道 反馈信道 固定参数信道 时变参数信道 离散信道 连续信道 半离散或半连续信道 波形信道 3.1.2离散信道的数学模型 离散信道的数学模型如下图所示 信道 X Y ), . . . , . . . ,()(), . . . , . . . ,( 121 NiN YYYYxyPXXXX raaX ,.,: 1 sbbY ,. . ,: 1 y xyP 1)( 图 3.1 离散信道数学模型 根据信道的统计特性即条件概率 的不同，离 散信道又可分成三种情况。 )( xyP 离散信道的数学模型 无干扰（无噪）信道 有干扰无记忆信道：离散无记忆信道的充要条件 对任意 N值和任意 x、 y的取值，上式都成立。 有干扰有记忆信道：即有干扰（噪声）又有记忆 ，实际信道往往是这种类型。信道输出不但与输 入有关，还与其它时刻的输入和输出有关，这样 的信道称为 有记忆信道 。 )(0 )(1 )( )( xfy xfy xyP xfy N i iiNN xyPxxxyyyPxyP 1 2121 )(). . .()( 3.1.3单符号离散信道的数学模型 单符号离散信道的输入变量为 X，取值于 ；输出变量为 Y，取值于 。并有条件概 率 这一组条件概率称为信道的 传递概率 或 转移概率 一般简单的单符号离散信道的数学模型可以用概率 空间 X,p(y|x),Y来描述。 raaa ,., 21 sbbb ,., 21 )()()( ijij abPaxbyPxyP Y ba ba ba X sr . . . . . . 22 11 )( ij abP 两种重要的二元信道 BSC和 BEC 例 3.1 二元对称信道 BSC（ Binary Symmetric Channel） 这是很重要的一种特殊信道。输入符号 X取值于 0， 1 ；输出符号也取值于 0， 1 。 传递概率： 传递矩阵： a1=0 a2=1 b1=0 b2=1 1-p 1-p p p X Y ppPabP 1)00()( 11 ppPabP 1)11()( 22 pPabP )10()( 21 pPabP )01()( 12 pp pp 1 1 1 0 10 两种重要的二元信道 BSC和 BEC 例 3.2 二元删除信道 BEC（ Binary Erasure Channel） 这也是很重要的一种特殊信道。输入符号 X取值 于 0， 1 ；输出符号取值于 0， 2， 1 。 信道传递矩阵： qq pp 10 01 1 0 120 0 1 0 1 p q 1-p 1-q 2 二元删除信道 BEC的说明 这种信道实际是存在的，当信号波形传输中失真 较大时，我们在接收端不是对接收信号硬性判为 0和 1，而是根据最佳接收机额外给出的信道失真 信息增加一个中间状态 2（称为删除符号），采 用特定的纠删编码，可有效的恢复出这个中间状 态的正确取值。 如果信道干扰不是很严重的话， 和 的可能 性要比 和 的可能性小得多，所以，假设 是较合理的。 01 10 20 21 0)10()01( xypxyp 单符号离散信道的数学模型 由此可见，一般单符号离散信道的转移概率可用 信道转移矩阵 P来表示： 关于信道矩阵的几点说明： 1、输入和输出符号的联合概率为 P abpabpabp abp abp abp abp abp abp a a a bbb rsrr s s r s )()()( )( )( )( )( )( )( 21 2 1 22 12 21 11 2 1 21 )()()()()( jijijiji bapbpabpapbap 单符号离散信道的数学模型 其中 是信道传递概率，通常称为 前向概率 ， 它是由于噪声引起的，描述了信道噪声的特性。 而 称为 后向概率 。也把 称为 先验概率 ， 而把 称为 后验概率 。 2、根据联合概率可得输出符号的概率 3、根据贝叶斯公式得后验概率 上式说明，在信道输出端接收到任一符号 一定是输入符号 , 中的一个输入信道。 )( ij abp )( ji bap )( iap )( ji bap 1 ( ) ( ) ( / ) r j i j i i P b p a pb a ()( / ) () ij ij j P a bP a b Pb 1 ( / ) 1 r ij i P a b jb 1a ra 3.2平均互信息及平均条件互信息 3.2.1信道疑义度 信源输入信道的熵 先验熵 H(X) 信道中有干扰 (噪声 )存在，接收到符号 后输入的 是什么符号仍存在有不确定性 后验熵 。 意义 ：后验熵是当信道接收端接收到输出 符号 后，关于输入符号的信息测度。 X r i i i xpxpapapXH )(l o g)()( 1l o g)()( 1 r i X j j ji jij bxpbxpbapbapbXH 1 )( 1l o g)( )( 1l o g)()( jb jb 信道疑义度 后验熵在输出符号集 Y范围内是个随机量，对后 验熵在符号集 Y中求数学期望，得条件熵为 信 道疑义度 (含糊度 )： 意义：信道疑义度表示在输出端收到输出变量 Y 的符号后，对于输入端的变量 X尚存在的平均不 确定性（存在疑义）。这是由于信道干扰 （噪声）引起的。 r i s j YXji ji s j s j r i ji jijjjj yxp xyP bap bap bap bapbpbXHbpbXHEYXH 1 1 , 1 1 1 )( 1 lo g)( )( 1 lo g)( )( 1 lo g)()()()()()( 信道疑义度的说明 对于一一对应信道，接收到输出 Y后，对 X的不确 定性将完全消除，信道疑义度 。一般 情况下条件熵小于无条件熵，有 。说 明接收到变量 Y的所有符号后，关于输入变量 X的 平均不确定性将减少，即总能消除一些关于输入 端 X的不确定性，从而获得了一些信息。 0)( YXH )()( XHYXH 3.2.2 平均互信息 通过信道传输消除了一些不确定性，获得了一定 的信息。我们定义： 称为 X和 Y之间的 平均互信息 。 物理意义 ：它代表接收到输出符号后平均每个符 号获得的关于 X的信息量。它也表明，输入与输 出两个随机变量之间的统计约束程度。 互信息 是代表收到某消息 y后获得关于某事 件 x的信息量。它可取正值，也可取负值。 是 的统计平均 ,所以 。 )()();( YXHXHYXI );( YXI );( yxI );( yxI);( YXI 0);( YXI 平均互信息与各类熵之间的关系 熵只是平均不确定性的描述，而不确定性的消除 （ 两熵之差 ）才等于接收端所 获得的信息量 。因 此，获得的信息量不应该和不确定性混为一谈。 维拉图表示的各类熵之间的关系： H(X|Y) H(Y|X) I(X;Y) H(X) H(Y) H(XY) )()( )()()( )()();( XYHYH XYHYHXH YXHXHYXI 平均互信息与各类熵之间的关系 每个圆减去平均互信息后剩余的部分代表两个疑 义度 是信道疑义度，又称为 损失熵 反映了信道中噪声源的不确定性， 又称 噪声熵 或 散布度 H(X|Y) H(Y|X) I(X;Y) H(X) H(Y) H(XY) );()()( YXIXHYXH );()()( YXIYHXYH )( YXH )( XYH 平均互信息与各类熵之间的关系 下面讨论两种极端情况 1、无噪一一对应信道（无损信道） 此时可以计算得： 在图中就表示 是两圆重合。信道中损失熵和噪声熵都为零。有 2、输入输出完全统计独立（全损信道） 0)()( YXHXYH )()();( YHXHYXI )()( YHXYH )()( XHYXH 0);( YXI 3.3平均互信息的特性 1、平均互信息的 非负性 该性质表明，通过信道总能传递一些信息，最差 的条件下，输入输出完全独立，不传递任何信息 ，互信息等于 0，但决不会失去已知的信息。 2、平均互信息的 极值性 一般来说，信道疑义度总是大于 0，所以互信息 总是小于信源的熵，只有当信道是无损信道时， 信道疑义度等于 0，互信息等于信源的熵。 0);( YXI )();( XHYXI 平均互信息的特征 3、平均互信息的交互性（对称性） 实际上 I(X;Y)和 I(Y;X)只是观察者的立足点不同 ，对信道的输入 X和输出 Y的总体测度的两种表达 形式。正因为有交互性，所以命名为互信息。 4、平均互信息的凸状性（两个定理） 定理 3.1 平均互信息 是信源概率分布 p(x)的 型凸函数。 );();( XYIYXI );( YXI 平均互信息的特征 定理 3.1的意义：对于每一个固定信道，一定存在 一种信源（某一概率分布 P(X)），使输出端获得 的平均信息量为最大 Imax（ 型凸函数存在极大 值）。这时称这个信源为该信道的 匹配信源。 定理 3.2 平均互信息 是信道传递概率 的 型凸函数。 定理 3.2的意义：对每一种信源都存在一种最差 的信道，此信道的干扰（噪声）最大，而输出端 获得的信息量最小 Imin。 );( YXI )( xyp 二元对称信道 BSC的平均互信息 例 3.4设二元对称信道的输入概率空间为 信道特性如图所示 ,求平均互信息 解：根据平均互信息的定义得： a1=0 a2=1 b1=0 b2=1 1-p 1-p p p X Y 1 1,0)(xPX )()( 1 l o g 1 l o g)( 1 l o g 1 l o g)()( )( 1 l o g)()()( )()();( pHYH p p p pYH p p p pxPYH xyP xyPxPYH XYHYHYXI X X Y 二元对称信道 BSC的平均互信息 输出符号的概率： 则 所以 r i ijij abPaPbP 1 )()()( ppppyP )1()0( ppppyP )1()1( )()( 1 l o g 1 l o g 1 l o g)( 1 l o g)();( pHppH p p p p pp pp pp ppYXI 二元对称信道 BSC的平均互信息 其中 也是 区域上的熵函数。当信道 固定即固定 p时，可得 是 的 型函数，如 图所示。 )( ppH 1,0 );( YXI )()( 1 l o g 1 l o g 1 l o g)( 1 l o g)();( pHppH p p p p pp pp pp ppYXI 1 0 I(X;Y) 1 H(p) 0.5 0.5 1 0 p I(X;Y) H() 0.5 1 H() 3.4信道容量及其一般计算方法 预备知识及几个定义： 研究信道的目的是要讨论信道中平均每个符号所 能传送的信息量，即信道的 信息传输率 R。 定义 信息的传输率 就是平均互信息。即 定义单位时间内平均传输的信息量为 信息传输速 率 。 )()()();( s y m bo lbitYXHXHYXIR )()(1)(1);(1 sb itYXHtXHtYXItRt 信道容量及其一般计算方法 每个固定信道都有一个 最大 的信息传输率，定义 这个最大的信息传输率为 信道容量 C， 即 其单位为 或 ，而相应的输入概率 分布称为 最佳输入分布 。 单位时间内平均传输的最大信息量为 一般仍称 为信道容量。 );(m a x)( YXIC xP 符号比特 符号奈特 );(m a x1 )( YXItC xPt tC 信道容量及其一般计算方法 信道容量的含义：信道容量与已输入信源的概率 分布无关，它是信道的特征的参量，反映的是信 道的最大信息传输能力。 由上节知识得对于二元信道平均互信息为 当 时， 平均互信息的极大 值为 因此，二元对称信道的信道容 量为 与 X概率分布 无关。 计算信道容量就是求 极大值问题。 )()();( pHppHYXI 2 1 1)21()( HppH )(1);( pHYXI )()(1 s y m b o lb itpHC );( YXI 3.4.1 离散无噪信道的信道容量 1、 离散无噪无损信道 无噪：一个输入对应一个输出，噪声熵 无损：一个输出对应一个输入，损失熵 所以这类信道的平均互信息为 信道容量为 a1 a2 a3 b2 b1 b3 1 1 1 100 010 001 P 信道矩阵 0)( YXH 0)( XYH )()();( YHXHYXI srC lo glo g 离散无噪信道的信道容量 2、 离散有噪无损信道 特点 :信道矩阵中每一列有且仅有一个非零元素 有噪：一个 X对应多个 Y， 无损：接收到 Y后 X完全确定， 信道容量 b1 a1 a2 a3 b2 b3 b4 b5 b6 1 1/2 1/2 3/5 3/10 1/10 信道矩阵 100000 010/110/35/300 00002/12/1 P 0)( XYH 0)( YXH rXHYXIC l o g)();(m a x 离散无噪信道的信道容量 3、 离散无噪有损信道（确定信道） 信道容量： 此类信道接收到符号 Y后不能完全消除对 X的不确 定性，信息有损失。但输出端 Y的平均不确 定性因噪声熵等于零而没有增加。 a1 a2 a3 ai ai+1 ar b1 b2 b3 无噪： 有损： 一个 X对应一个 Y，前向概率 非 0即 1， 0)( XYH)( xyP 一个 Y对应多个 X，后向概率 不等于 0或 1， )( yxP 0)( YXH sYHYXIC l o g)();(m a x 离散无噪信道的信道容量 我们可以用 维拉图 来表述 有噪无损信道 和 无噪有 损信道 中 平均互信息 、 损失熵 、 噪声熵 以及 信源 熵 之间的关系。 I(X;Y) H(X)=I(X;Y) H(Y) H(Y|X) 有噪无损信道 I(X;Y) H(Y)=I(X;Y) H(X) H(X|Y) 有损无噪信道 rXHC lo g)(m a x sYHC lo g)(m ax 3.4.2 对称离散信道的信道容量 如果信道转移矩阵 P中每一行都是由 同一组元素的 不同排列 构成的，并且每一列也是 由 这一组元素 不同排列 组成的，则称 这种信道为 对称离散信道 。 例如 而 21 , sppp 21 , rqqq 3 1 3 1 6 1 6 1 6 1 6 1 3 1 3 1 P 2 1 6 1 3 1 3 1 2 1 6 1 6 1 3 1 2 1 P 3 1 6 1 3 1 6 1 6 1 6 1 3 1 3 1 P 7.01.02.0 1.02.07.0P 不是对称信道 对称离散信道的信道容量 若输入符号和输出符号个数相同，都等于 r，且 信道矩阵为 其中 ，则称此信道为 强对称信道 或 均匀信 道 。该信道矩阵中各列之和也等于 1。 p r p r p r p r p r p p r p r p r p r p p P 111 111 111 1 pp 对称离散信道的信道容量 对于对称离散信道，当输入符号 X达到等概率分 布，则输出符号 Y一定也达到等概率分布。 由此得对称离散信道的信道容量为 对称离散信道能够传输的最大的平均信息量，它 只与对称信道矩阵中行矢量 和输出 符号集的个数 s有关。 )/(),(l o g ),()(m a x 2 1 2 1 s y m b o lb i tpppHs pppHYHC s s 21 , sppp 对称离散信道容量的计算 例 3.5某对称离散信道的信道矩阵为 解： 每个符号平均能够传输的最大信息为 0.0817 bit,只有当输入符号等概分布时才达到这个 最大值 。 3 1 3 1 6 1 6 1 6 1 6 1 3 1 3 1 P )/(0 8 1 7.0 6 1 l o g 6 1 2 3 1 l o g 3 1 22) 6 1 , 6 1 , 3 1 , 3 1 (4l o g ),(l o g 2 1 s y m b o lb i t H pppHsC s 对称离散信道容量的计算 例 3.6 对于强对称信道，其信道容量为 对于二元信道 r=2由上式得 )()1l o g (l o g 1 l o gl o gl o g 1 l o g 11 l o g 1 l o gl o g ) 1 , 1 ,(l o g ),(l o g 2 1 pHrpr r P pppr r P r P r P r P ppr r P r P PHr pppHrC s )/()(1 sy m b o lb itpHC 对称离散信道容量的计算 二元对称信道 讨论：当 p=1/2时，二元对称信道的信道容量 C=0 ，不管输入概率分布如何都能达到信道容量。 该信道输入端不能传递任何信息到输出端。这种 信道是没有任何实际意义的，但它从理论上说明 了信道的最佳输入分布不一定是惟一的。 )/()(1 sy m b o lb itpHC 3.4.3 准对称信道的信道容量 准对称信道的概念：若信道的列可以划分成若干 个互不相交的子集，每一个子集都是对称信道， 则称该信道为 准对称信道 ，如： 3 1 6 1 3 1 6 1 6 1 6 1 3 1 3 1 P 可划分为 3 1 6 1 6 1 3 1 3 1 3 1 6 1 6 1 7.01.02.0 2.01.07.0P 可划分为 7.02.0 2.07.0 1.0 1.0 准对称信道的信道容量 可以证明达到准对称离散信道信道容量的输入分 布（最佳输入分布）是等概分布，也可计算得准 对称离散信道的信道容量为： 其中 r是输入符号集的个数， 为准对称信 道矩阵中的行元素。 而 是第 k个子矩阵 中行元素之和， 是第 k个 子矩阵 中列元素之和。即 n k kks MNpppHrC 1 2 1 l o g),(l o g ),( 21 sppp kN kQ kM kQ kYy ik xyPN )( k X ik YyxyPM )( 3.4.4 一般离散信道的信道容量 一般离散信道的 信道容量的计算： 就是对所有可 能的输入概率分布 求平均互信息 的 极 大值 。 对一般信道有 定理 3.3:一般离散信道的平均互信 息 达到极大值（即等于信道容量）的充 要条件是输入概率分布 满足 这时 C就是所求的信道容量。 )(xP );( YXI );( YXI 0);()( 0);()( iii iii pxCYxIb pxCYxIa 其对于所有 其对于所有 ip 一般离散信道的信道容量 在定理 3.3中 是输出端接收到 Y后，获得关 于 的信息量，即是信源符号 对输出端 Y 平均提供的互信息。一般 值与 有关，且 有 令 );( YxI i iax iax );( YxI i ix CYxI i );( s j j ij iji bP abP abPYxI 1 )( )( l o g)();( 一般离散信道的信道容量 该定理说明：当平均互信息达到信道容量时，输 入信源每一个符号 x输出相同的互信息。 可以利用该定理对一些特殊信道求它的信道容量 例 3.8输入符号集 ，输出符号集 。信道 传递矩阵为 求该信道的信道容量。 2,1,0 1,0 10 2 1 2 1 01 P 0 1 2 0 1 1 1 1/2 1/2 一般离散信道的信道容量 解：假设输入概率分布为 检验是 否满足定理 3.3，若满足就找到了最佳分布。由 式 得 0)1(,21)2()0( PPP s j j ij iji bP abPabPYxI 1 )( )(l o g)();( 2 1 2l o g)( )0(l o g)0();0( y i yP yPyPYxI 2lo g);2( YxI i 2 1 0)( )1(l o g)1();1( y i yP yPyPYxI 一般离散信道的信道容量 由以上可见此输入分布满足定理 3.3 因此可得这个信道的信道容量为 而达到信道容量的输入概率分布就是前面假设的 分布 iii iii xpYxI xpYxI 的所有 的所有 02l o g);( 02l o g);( )/(12lo g sy m b o lb itC 0)1(,21)2()0( PPP 一般离散信道的信道容量 例 3.9 信道如图，输入符号集为 ，输 出符号集为 。信道矩阵为 ,求信道容量。 解：设输入概率分布 54321 , aaaaa 21,bb 10 10 2 1 2 1 01 01 P b1 a1 a2 a3 b2 1 1 0.5 a4 a5 1 1 0.5 0)()()(,21)()( 43251 aPaPaPaPaP 由式 及式 计算得 此假设分布满足定理 3.3。因此信道容量为 最佳分布是 s j j ij iji bP abPabPYxI 1 )( )(l o g)();( r i ijij abPaPbP 1 )()()( 2 1)()( 21 bPbP 0);( 2l o g);();( 2l o g);();( 3 54 21 YaxI YaxIYaxI YaxIYaxI )/(12lo g sy m b o lb itC 0)()()(,21)()( 43251 aPaPaPaPaP 若设输入分布为 同理可得 也有 根据定理 3.3可知，输入分布 也是最佳分布，还有其它最佳分布，这说明 信道的最佳输入分布不是唯一的。而输出分 布是唯一的。 0)(,41)()()()( 35421 aPaPaPaPaP 2 1)()( 21 bPbP )(2l o g);( ),(2l o g);( 3 5421 axYxI aaaaxYxI ii ii 0)(,41)()()()( 35421 aPaPaPaPaP 一般离散信道的信道容量计算 对于一般离散信道，很难利用定理 3.3来求信道 容量和对应的输入概率分布，只能采用求解如下 方程组的方法。 于是把方程组中前 r个方程改写成： 1)( ,2,1 )( )( l o g)( 1 1 r i i s j j ij ij ap riC bp abp abp s j s j jijijij riCbpabpabpabp 1 1 ,2,1)(l o g)()(l o g)( 一般离散信道的信道容量计算 移项后可得： 令 代入上式，得： 这是含有 s个未知数 j，有 r个方程的非齐次线 性方程组。 s j s j ijijjij riabpabpbpCabp 1 1 ,2,1)(l o g)()(l o g)( )(log jj bpC s j s j ijijjij riabpabpabp 1 1 ,2,1)(l o g)()( 一般离散信道的信道容量计算 如果设 r=s，信道转移矩阵 P是非奇异方阵，则此 方程组有解，并且可以求出 j的数值，然后根 据 的条件求得信道容量： 由这个 C值就可解得对应的输出概率分布 p(bj) 再根据 就可解 出达到信道容量的最佳输入概率分布 p(ai)。 1)( 1 s j jbp sy m b o lb itC s j j 1 2l o g sjbp Cj j ,2,12)( r i ijij sjabpapbp 1 ,2,1),(l o g)()( 一般离散信道的信道容量计算 例 3.10设离散无记忆信道如图，输入 X的符号 集为 输出 Y的符号集 传递矩 阵为 求其信道容量及其最佳的输入概率分布。 4321 , aaaa 4321 , bbbb a1 1/2 1/2 1 1 1/4 1/4 1/4 1/4 a2 a3 a4 b1 b2 b3 b4 2 1 4 1 0 4 1 0100 0010 4 1 0 4 1 2 1 P 一般离散信道的信道容量计算 此信道是非对称信道，无法利用 定理 3.3来计算 信道容量。但这信道矩阵为方阵 r=s,且为非奇异 矩阵，所以可得方程组： 解方程组，得 2 1 l og 2 1 4 1 l og 4 1 4 1 l og 4 1 2 1 4 1 4 1 0 0 4 1 l og 4 1 4 1 l og 4 1 2 1 l og 2 1 4 1 4 1 2 1 431 3 2 421 2 0 41 32 一般离散信道的信道容量计算 得信道容量 输出符号概为 由此可得最佳输入分布为 )(32.115l o g )2222(l o g 2 2002 2 s ym b o lb i t C 10 12)()( )15lo g2( 41 2 bpbp 10 4)()( 32 bpbp 30 4)()( 41 apap 30 11)()( 32 apap 一般离散信道的信道容量计算 几点说明： 有时所求出的 P(ai)不一定能满足概率的条件 （因为采用拉格朗日乘子法时没有加入 P(ai)0 的条件限制），所以必须对解进行检查。 如果所有解都满足 P(ai)0 ,则解是正确的。否则 解无效。 一般离散信道的信道容量计算 解无效（有些 P(ai)0）表明所求的极限值 C出现 在边界上，这时有些 P(ai) 0 。因此，可设某些 输入符号的概率为 0，然后重新进行计算。 但当 r s 时，求解非齐次线性方程组比较困难 。即使求出解，也无法保证解的正确性。因此必 须反复进行试算，这就便运算变得非常复杂。这 时可采用计算机，运用迭代算法求解。 3.9 信源与信道的匹配 信道的信道容量是固定的，如果某一信源通过该 信道传输时，信息传输率达到了信道容量，我们 认为 信源与信道达到匹配 ，否则，我们认为有剩 余。 定义： 信道剩余度 C I(X;Y) 信道相对剩余度 其中， I(X;Y)是信源通过该信道实际传输的平均 信息量。 对于 无损信道剩余度 C YXI C YXIC );(1);( r XH lo g )(1 信源与信道的匹配 如何才能做到信源与信道的匹配呢？ 一般通信系统中，把信源发出的符号变成 能在信道中传输的符号，在传输时，要能 够尽量用较少的符号表示相同的信息，这 样就可以提高信息的传输率，从而提高信 道的利用率。这就是香农 无失真信源编码 理论，也就是 无失真数据压缩 理论。 信源与信道的匹配 无失真信源编码 就是将信源输出的消息变 换成适合信道传输的新信源的消息来传输 ，而使新信源的符号接近等概率分布，新 信源的熵接近最大熵。这样，信源传输的 信息量达到最大，信道剩余度接近于零， 信源与信道达到匹配。这些是我们将在下 一章讨论这些问题。 本章小结 互信息： 平均互信息： 平均互信息的特性： 1、非负性 )( )(lo g)( xP yxPyxI ； )()()( )()( )()( )( )( log)();( XYHYHXH XYHYH YXHXH xP yxP xyPYXI X Y 0);( YXI 本章小结 2、极值性： 3、交互性： 4、凸状性： 是 P(x)的 型函数 是 的 型函数 信道容量： 1、无噪无损信道： )();( XHYXI );();( XYIYXI );( YXI );( YXI )( xyp );(m a x)( YXIC xP )()();( YHXHYXI rC log 本章小结 2、有噪无损信道： 3、无噪有损信道： 4、二元对称信道： 5、对称信道： )()();( YHXHYXI rC lo g )()();( XHYHYXI sC lo g )()();( pHppHYXI )(1 pHC )()();( 信道矩阵行矢量HYHYXI )(l o g 信道矩阵行矢量HsC 本章小结 6、准对称信道： Nk是第 k个子矩阵中行元素之和； Mk是第 k个子矩 阵中列元素之和。 信道相对剩余度： n k kk MNHrC 1 l o g)(l o g 信道矩阵行矢量 C YXI );(1
展开阅读全文