3.2单符号离散信道的信道容量ppt课件

第3章 信道容量本章主要内容n3.1信道的数学模型与分类信道的数学模型与分类n3.2单符号离散信道的信道容量单符号离散信道的信道容量n3.3 多符号离散信道的信道容量多符号离散信道的信道容量n3.4连续信道及其容量连续信道及其容量n3.6信道编码定理信道编码定理3.2 单符号离散信道n单符号离散信道的信道模型 n设输入端信源符号集合为：n输出端信宿符号集合为：n信道转移概率为：令 n信道模型如图所示n Def：输入输出都取值于离散符号集合，且都用一个符号表示一条消息的信道。n Xxxxn),(21),(21nxxxX),(21myyyYijijpxyp)/(Yyyym),(21)/(ijxyp单符号离散信道的数学模型n单符号离散信道的信道统计特性用转移概率矩阵单符号离散信道的信道统计特性用转移概率矩阵表示：表示：n信道容量：传输信息不失真的条件下的最大平均信道容量：传输信息不失真的条件下的最大平均信息量或最大信息速率信息量或最大信息速率Rmaxn信道上传输的最大平均信息量：信道上传输的最大平均信息量：C=I(X;Y)maxbit/符号符号 n信道上传输的最大信息速率：信道上传输的最大信息速率：RmaxmnnmnnmmnmnmmpppppppppxypxypxypxypxypxypxypxypxypP2122221112111212222111211)/()/()/()/()/()/()/()/()/(信道统计特性n信道容量的计算信道容量的计算sbitYXIttCRCt/);(1maxmax其中：t:传输一个符号需要的时间YXjijijiypxypxypxpYXI,)()/(log)/()();(所以当信道特性所以当信道特性p(yj/xi)p(yj/xi)确定以后，信道的容量只和信源确定以后，信道的容量只和信源概率分布概率分布p(xi)p(xi)有关。有关。bit/bit/符号符号s/s/符号符号几种特殊离散信道的容量n具有一一对应关系的无噪信道：n输出集合和输入集合的每个符号一一对应n=m），见图3.3(a)。n信道转移概率矩阵为单位阵。n因为输入输出一一对应：所以此时信道容量：此时信道容量：C=I(X;Y)max=H(X)max=H(Y)max=log2n bit/C=I(X;Y)max=H(X)max=H(Y)max=log2n bit/符号符号1.0.0.100.01)/()/()/()/()/()/()/()/()/(1212222111211mnnmnmmxypxypxypxypxypxypxypxypxypP111几种特殊离散信道的容量n具有扩展性能的无噪信道：n一对多nm见图3.3(b),给定一个输出，必能找到对应的唯一输入，即信道疑义度H(X/Y)=0。n信道转移概率矩阵：每列有且只有一个非零元素。nC=I(X;Y)maxn =H(X)-H(X/Y)max由于H(X/Y)=0=H(X)maxn 所以=H(X)maxn =log2n bit/符号时间mnnmnmmxypxypxypxypxypxypxypxypxypP)/()/()/()/()/()/()/()/()/(1212222111211n:行数行数几种特殊离散信道的容量n具有归并性能的无噪信道：n多对一nm），见图3.3(c)，给定一个输入，必能找到对应的唯一输出，即噪声熵H(Y/X)=0。n信道转移概率矩阵：每行有且只有一个非零元素。nC=I(X;Y)max=H(Y)-H(Y/X)max由于H(Y/X)=0n 所以=H(Y)maxn =log2m bit/符号时间mnnmnmmxypxypxypxypxypxypxypxypxypP)/()/()/()/()/()/()/()/()/(1212222111211m:m:列数列数对称离散无记忆信道的信道容量n对称离散无记忆信道对称离散无记忆信道DMC（Discrete Memoryless Channel）：矩阵的每）：矩阵的每一行都是同一集合一行都是同一集合Q=(q1,q2,qm)中各元素的中各元素的不同排列，每一列都是关于同一集合不同排列，每一列都是关于同一集合P=(p1,p2,pn)中各元素的不同排列，则称为对中各元素的不同排列，则称为对称信道。称信道。2/16/13/13/12/16/16/13/12/13/13/16/16/16/16/13/13/121PP7.01.02.01.02.07.03/16/13/16/16/16/13/13/143PP不是对称信道不是对称信道 每行的元素都取自同一每行的元素都取自同一集合集合Q=1/6,1/6,1/3 Q=1/6,1/6,1/3,1/3,1/3每列的元素也都取自同一每列的元素也都取自同一集合集合P=1/6,1/3P=1/6,1/3对称信道对称信道 对称信道对称信道 n定理：对于对称DMC，有H(Y|X)=Hmin证明：miXimiiXmiiXYijijiYXijijiYXijjiHxpHixYHHxpxypxypxpxypxypxpxypyxpXYH)()|()()|(log)|()()|(log)|()()|(log)()|(,无关与对称矩阵的2/16/13/13/12/16/16/13/12/12P信道转移概率矩阵任意信道转移概率矩阵任意一行的熵一行的熵对称：那么对称：那么H HY/XY/X）=Hmi=Hmi=H(1/2,1/3,1/6)=H(1/2,1/3,1/6)YijijmxypxypqqqH)|(log)|(),.,(21n对称对称DMCDMC信道的容量公式：信道的容量公式：nC=I(X;Y)maxC=I(X;Y)maxn =H(Y)-H(Y|X)max =H(Y)-H(Y|X)maxn =H(Y)-Hmimax =H(Y)-Hmimaxn =H(Y)max-H(q1,q2,qm)=H(Y)max-H(q1,q2,qm)n设信源为单符号消息，符号数为设信源为单符号消息，符号数为n,n,等概分布，通过等概分布，通过一个对称的一个对称的DMCDMC信道，则信宿也等概分布设符号信道，则信宿也等概分布设符号数为数为m m）,此时信道容量为：此时信道容量为：),.,(loglog2122mmiqqqHmHmC对称对称DMCDMC信道信道的信道容量的信道容量n证明：若信源等概分布时，若通过对称信道，则得到的信宿也等概分布：mmxypxypxypxypxypxypnnYPmnnmnmm11)/()/()/()/()/()/(11)(1221111即信源等概分布又)(),.,()(,.),()/()/()/()/()/()/()(,),()/()()(1112211111mimiiimnnmnmmnypypyxpyxpxypxypxypxypxypxypxpxpXYPXPYP即n例：求例：求P1P1的信道容量。的信道容量。n解：对称解：对称DMC,DMC,所以所以符号/082.061log6161log6131log3131log314log)61,61,31,31(log)(22maxbitHmHYHCmi4213/13/16/16/16/16/13/13/1P强对称离散信道的信道容量 n强对称离散信道强对称离散信道def:def:道或均匀信道。该信道被称为强对称信概率为个输出符号，正确传输分给被对称的均匀的信道的错误传输概率为,1,pnpnnpnpnpnpnpnppnpnpnpnppp111111111易看出，该信道是一个特殊的对称信道。易看出，该信道是一个特殊的对称信道。求该信道的信道容量。求该信道的信道容量。易知转移概率矩阵为：易知转移概率矩阵为：ppp1np2yny1y2xnx1xn解：因为是对称DMC信道，所以符号符号/1logloglog1log)1(1loglog/)1,1,1,(log)(2222222maxbitnppppnnpnnpppnbitnpnpnppHnHYHCminnpnpnpnpnpnppnpnpnpnppp111111111若取若取n=2,n=2,那么那么 ppppP则均匀信道变成则均匀信道变成BSCBSC信道，则其容量为信道，则其容量为 )(1),(1/loglog2logpHppHpbitpppC符号准对称DMC的信道容量 n准对称准对称DMCDMC关于行对称或者关于列对称）关于行对称或者关于列对称）n二元对称删除信道二元对称删除信道2112212111p1212122111p或或 2x1x2y3y1y2112212111p2111221112分析信道转移矩阵分析信道转移矩阵p，两行三列，说明两行三列，说明信道有两个输入消息信道有两个输入消息(设为设为 )，三，三个输出消息个输出消息(设为设为 )21,xx321,yyy准对称DMC的信道容量 n例：知例：知 ，求此二元对称删除，求此二元对称删除n 矩阵的信道容量矩阵的信道容量C C。5.03.02.02.03.05.0p3.05.0,3.0,3.02.05.03.02.02.03.05.01,)/()/()/()/()/()/()(),()()()(1)(2322211312112132132121xypxypxypxypxypxypxpxpyPypypyyyYxxXpX，则，输出，设输入：miHYHCmax)(准对称解解需求需求H(Y)H(Y)Y Y的概率分布的概率分布2.0log2.03.0log3.05.0log5.0)2.0,3.0,5.0(HHmimimiHHYHC)3.05.0log()3.05.0(3.0log3.0)3.02.0log(3.02.0)(max）（代入5.03.02.02.03.05.0pmiH符号代入得，求得，令的极值，要求/036.02/10bitCcC说明准对称信道达到容量极值时，信说明准对称信道达到容量极值时，信源等概分布源等概分布n令上题令上题 ，那么，那么 ，叫做二元纯，叫做二元纯删删n 除信道，信道转移分布图为：除信道，信道转移分布图为：0211111001p说明：输入符号说明：输入符号都以都以11的错误概率传至收端，的错误概率传至收端，错判为符号错判为符号E E准对称DMC信道容量的求解步骤n归纳求解准对称归纳求解准对称DMCDMC信道容量的步骤：信道容量的步骤：n1 1、将转移概率矩阵划分成若干个互不相交的子集、将转移概率矩阵划分成若干个互不相交的子集n2 2、令信源等概分布、令信源等概分布n3 3、n其中其中:nn n为信源符号个数，即信道转移矩阵的行数为信源符号个数，即信道转移矩阵的行数nHmiHmi：转移概率矩阵第：转移概率矩阵第i i行的熵行的熵nNkNk：第：第k k个子矩阵行元素之和个子矩阵行元素之和nMkMk：第：第k k个子矩阵列元素之和个子矩阵列元素之和n注：若准对称信道是关于列对称，可以先进行转注：若准对称信道是关于列对称，可以先进行转置，使其变成关于行对称置，使其变成关于行对称rkkkmiMNHnC1loglogn例：求转移概率为图示例：求转移概率为图示P P的信道容量。的信道容量。n解：解：由于由于P P是关于行对称的准对称矩阵，将是关于行对称的准对称矩阵，将P P分解：分解：n ，那么，那么n n =log2-H(1/2,1/4,1/8,1/8)-=log2-H(1/2,1/4,1/8,1/8)-n (1/2+1/4)log(1/2+1/4)+(1/8+1/8)log(1/8+1/8)(1/2+1/4)log(1/2+1/4)+(1/8+1/8)log(1/8+1/8)n =0.061bit/=0.061bit/符号符号8181214181814121P两个对称的子矩阵，8/18/18/18/12/14/14/12/121PPrkkkmiMNHnC1loglog矩阵的矩阵的行数行数矩阵任一行的矩阵任一行的元素熵元素熵n例：求转移概率为图示例：求转移概率为图示P P的信道容量。的信道容量。n解：解：由于由于P P是关于行对称的准对称矩阵，将是关于行对称的准对称矩阵，将P P分解：分解：n ，那么，那么n n =log2-H(1/3,1/3,1/6,1/6)-=log2-H(1/3,1/3,1/6,1/6)-n (1/3+1/6)log(1/3+1/6)+1/3log(1/3+1/3)+1/6log(1/3+1/6)log(1/3+1/6)+1/3log(1/3+1/3)+1/6log(1/6+1/6)(1/6+1/6)n =0.041bit/=0.041bit/符号符号6/13/13/16/16/16/13/13/1P三个对称的子矩阵，6/16/1,3/13/13/16/16/13/1321PPPrkkkiMNxYHnC1log)/(log矩阵的矩阵的行数行数矩阵任一行的矩阵任一行的元素熵元素熵Thank You!