信息论与编码信道及其容量课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,王勇，蔡国永，黄雄华编著，信息论与编码，清华大学出版社，,2013,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,王勇，蔡国永，黄雄华编著，信息论与编码，清华大学出版社,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,第3章 信道及其容量,信道的数学模型及分类,信道疑义度与平均互信息,信息传输率与信道容量,离散单个符号信道的信道容量,离散无记忆序列信道的信道容量,串联信道和并联信道的信道容量,连续信道及其容量,信源与信道的匹配,信道编码定理简介,学习得来终觉浅，绝知此事要自悟,第3章 信道及其容量信道的数学模型及分类学习得来终觉浅，绝知,3.1 信道的数学模型与分类,信道的分类,信道的数学模型与参数,3.1 信道的数学模型与分类信道的分类,信道的分类,输入输出随机信号的特点：离散信道、连续信道和半离散/半连续信道；,输入输出随机变量个数的多少：单符号信道、多符号信道；,信道用户的多少（输入输出个数）：单用户信道、多用户信道；,输入端和输出端的关联：无反馈信道、有反馈信道；,信道的分类输入输出随机信号的特点：离散信道、连续信道和半离散,信道的分类,信道参数与时间的关系：固定参数（恒参、平稳）信道和时变参数（随参、非平稳，time-varying）信道；,信道上有无干扰：有干扰信道、无干扰信道；,信道有无记忆特性：有记忆信道、无记忆信道；,还可以根据载荷消息的介质和信号的形式不同进行分类。,信道的分类信道参数与时间的关系：固定参数（恒参、平稳）信道和,c1段，信号一般是连续的，所以该段为连续信道，调制信道,c2为离散信道，编码信道；,c3为半离散、半连续信道；,c4为半连续、半离散信道。,c1段，信号一般是连续的，所以该段为连续信道，调制信道,通信系统中广义信道的分类,调制信道；,编码信道。,通信系统中广义信道的分类调制信道；,信道的基本特征包括输入、输出以及输入和输出之间的关系。,假设输入矢量为 =(x,1, x,2, , x,N,)，输入的矢量分量选择于符号集 A=a,1, a,2, , a,r,，输出矢量 =(y,1, y,2, , y,N,)，输出的矢量分量选择于符号集 B=b,1, b,2, , b,s,信道的数学模型与参数,信道的基本特征包括输入、输出以及输入和输出之间的关系。信道的,无干扰（无噪）信道,由于没有噪声，所以输入可以决定输出，即存在确定的函数f，Y=f(X)。,无干扰（无噪）信道 由于没有噪声，所以输入可以决定输出，,单符号离散信道,输入单符号变量,X，取自符号集 A=a,1,，,a,2,，,， a,r,；,输出单符号变量Y，取自符号集 B=b,1,，,b,2,，,， b,s,；,由于信道的干扰使输入符号x在传输中发生错误，这种错误是随机发生的，所以可以用条件概率（转移概率）来表示噪声的干扰：p(y|x)= P(y=b,j,|x=a,i,)=p(b,j,|a,i,)；,单符号离散信道输入单符号变量X，取自符号集 A=a1， a,单个符号的离散信道的转移概率通常用信道转移概率矩阵表示：,一般为了简化，记p,ij,= p(b,j,|a,i,)，则信道转移概率矩阵可以表示为,单个符号的离散信道的转移概率通常用信道转移概率矩阵表示,二元对称信道(BSC),二元对称信道(BSC),有干扰无记忆离散信道,信道无记忆指的是输出只与当前输入有关，而与非该时刻的输入信号、输出信号都无关。,有干扰无记忆信道有以下性质：,离散无记忆信道 ( DMC),有干扰无记忆离散信道信道无记忆指的是输出只与当前输入有关，而,有干扰有记忆离散信道,在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，这样的信道称为有记忆信道。由于有记忆信道的转移概率计算涉及到太多的参数，因此对它的分析和计算更加复杂。提倡采用两种方法进行简化处理：,1）将记忆性较强的N个符号当作一个N维矢量进行整体的处理，而各个矢量之间当作无记忆的。,2）把信源序列的转移概率当作马尔可夫链的形式，即假设信道为有限记忆的。以上方法都是进行了简化和近似处理，会带来一定误差。,有干扰有记忆离散信道在这一类信道中某一瞬间的输出符号不但与对,离散输入连续输出信道,离散时间无记忆信道中最重要的一种是加性高斯白噪声（AWGN）信道。,离散输入连续输出信道离散时间无记忆信道中最重要的一种是加性高,波形信道,信道转移概率密度函数为,根据多维连续信道的转移概率密度函数是否满足独立性条件,将其分为连续有记忆信道和连续无记忆信道。,波形信道信道转移概率密度函数为,一般在这种信道中，噪声和信号通常相互独立，所以,一般在这种信道中，噪声和信号通常相互独立，所以,3.2 信道疑义度与平均互信息,疑义度和平均互信息量是研究信道的重要参数，相关的分析和性质参见第二章，在此不赘述。,3.2 信道疑义度与平均互信息疑义度和平均互信息量是研究信,3.3 信息传输率与信道容量,信道的输入X x,1,x,2,x,i,x,n,，输出,Y y,1,y,2,y,j,y,m,将信道中平均每个符号所能传送的信息量定义为信道的信息传输率R，它的值就是平均互信息量，即,R=I(X;Y)= H(X)-H(X|Y) bit/符号,3.3 信息传输率与信道容量信道的输入X x1,x2,信道容量C（Channel capacity）：在信道中最大的信息传输速率，单位是比特/信道符号,单位时间的信道容量C,t,：若信道平均传输一个符号需要t秒钟，则单位时间的信道容量为：,信道容量C（Channel capacity）：在信道中最大,3.4 离散单个符号信道的信道容量,3.4.1 特殊离散信道,3.4.2 对称DMC信道,3.4.3 准对称DMC信道,3.4.4* 具有可逆矩阵信道,3.4.5* 一般DMC信道,3.4 离散单个符号信道的信道容量3.4.1 特殊离散信道,3.4.1 特殊离散信道,1具有一一对应关系的无噪信道,3.4.1 特殊离散信道1具有一一对应关系的无噪信道,2具有扩展性能的离散有噪声信道,2具有扩展性能的离散有噪声信道,3具有归并性能的无噪信道,3具有归并性能的无噪信道,4输入输出独立信道 (全损信道 ),H(X|Y) = H(X)，H(Y|X) = H(Y),I(X;Y) = H(X)H(X|Y)，所以 I(X;Y) = 0，,信道的输入和输出没有依赖关系，信息无法传输，信道容量为0，称为全损信道。,4输入输出独立信道 (全损信道 ),3.4.2 对称DMC信道,以下两个转移概率矩阵即为对称信道,3.4.2 对称DMC信道以下两个转移概率矩阵即为对称信道,则条件熵,信息论与编码信道及其容量课件,显然这个值与信道输入符号的概率分布p(a,i,)无关，在信道的转移概率确定的情况下，这个值是一个确定值，所以信道容量为,当Y是等概率分布的时候，其熵取最大值，即只要X的某一概率分布使得收到的符号Y是等概率，则,显然这个值与信道输入符号的概率分布p(ai)无关，在信道的,例3-2 已知P矩阵，求C。解：,例3-2 已知P矩阵，求C。解：,对称信道有如下定理：,定理3-1,对于单个消息离散对称信道，当且仅当信道输入输出均为等概率分布时，信道达到容量值。,对称信道有如下定理：,例3-3 求信道容量,例3-3 求信道容量,二进制对称信道的C值：,二进制对称信道的C值：,例3-4 设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量。,所以有,I(X;Y)=1-H(,)，I(X;Z)=1-H2 (1-,),例3-4 设有两个离散BSC信道串接，两个BSC信道的转移,与I的关系,与I的关系,3.4.3 准对称DMC信道,准对称DMC信道是对称信道的推广，例如：,3.4.3 准对称DMC信道准对称DMC信道是对称信道的推广,准对称,DMC信道的容量,它的信道容量直接求解较为复杂。有以下定理可以有助于求解信道容量。,定理,3-2,当输入分布为等概分布时，互信息达到最大值，所以对于单消息，离散，准对称信道，当且仅当信道输入为等概率分布时，信道达容量值。,准对称DMC信道的容量,例3-5 求信道容量。,解：信道的输入符号有两个，可设p(a,1,)，p(a,2,)1，信道的输出符号有三个，用b,1,、b,2,、b,3,表示,例3-5 求信道容量。,方法二,当p(a,1,)p(a,2,)1/2时，p(b,1,)p(b,2,)(1-0.2)/20.4,C=H(Y)-H(Y/X)=0.036bit/符号,方法二,方法三,可以证明，如果将转移概率矩阵划分成若干个互不相交的对称的子集，则信道容量,方法三,例3-6求信道容量,例3-6求信道容量,3.4.4* 具有可逆矩阵信道,这类信道由于要求信道转移矩阵的逆存在，它必然要求信道输入输出具有相同数量的元素。即,nm，P为方阵，且为正则方阵。,具有可逆矩阵信道的信道容量为,3.4.4* 具有可逆矩阵信道这类信道由于要求信道转移矩阵的,3.4.5* 一般DMC信道,为使I (X;Y)最大化以便求取DMC容量，输入概率集p(x,i,)必须满足的充分和必要条件是：,I (x,i,;Y)C，对于所有满足p(x,i,)0条件的i；,I (x,i,;Y)C，对于所有满足p(x,i,)0条件的i。,当信道平均互信息达到信道容量时，输入符号概率集p(x,i,)中每一个符号xi对输出端Y提供相同的互信息，只是概率为零的符号除外。以上约束条件只是给出充分必要条件，但是并没有给出具体值。因此还需要采用计算机迭代的方法求解，一般情况下，最佳输入概率分布不一定是唯一的。,3.4.5* 一般DMC信道为使I (X;Y)最大化以便求取,3.5 离散无记忆序列信道的信道容量,3.5 离散无记忆序列信道的信道容量,定义：多符号离散信源矢量 =X,1,X,2,X,L,在L个不同时刻分别通过单符号离散信道X， P(Y|X)，Y，则在输出端出现相应的随机序列 =Y,1,Y,2,Y,L,，这样形成一个新的信道称为离散序列信道 。由于新信道相当于单符号离散信道在L个不同时刻连续运用了L次，所以也称为单符号离散信道X P(Y|X) Y的L次扩展。,定义：多符号离散信源矢量 =X1X2XL在L个不同时,假设信道输入序列为 ，输出序列,，由于无记忆，可得相应转移条件概率为,假设信道输入序列为 ，输出序列,离散无记忆序列信道的数学模型如下：,离散无记忆序列信道的数学模型如下：,无记忆离散序列信道的输入矢量,X的可能取值有个，而输出矢量Y的可能取值有个。其信道转移矩阵为：,无记忆离散序列信道的输入矢量X的可能取值有个，而输出矢量Y的,信息论与编码信道及其容量课件,对于离散序列信道，可以证明：,1、当信道无记忆的时候有,上式在信源无记忆时等号成立。,理解：,如果信源有记忆，信道传递的信息必然存在冗余度，这使得整体传递的信息量减少。,要极大传输信息，以上结论对于我们有什么启示？在编码中有什么应用？,对于离散序列信道，可以证明：,2、当输入矢量的各个分量独立（信道不一定无记忆）时候有,上式在信道无记忆时等号成立。,理解：,如果信道有记忆，输出端接收到的符号序列中，后面收到的符号带有前面符号的信息，可以将相关的符号作为一个整体编码来获取关于发送的序列的信息，这种整体的编码使得我们可以获得输入符号序列的更多信息。,这对于纠错编码具有什么启示？,2、当输入矢量的各个分量独立（信道不一定无记忆）时候有,如果信道无记忆，并且输入矢量的各个分量独立（信源也无记忆）的时候有,对于离散无记忆序列信道，信道容量等于平均互信息量的最大值，所以,如果信道无记忆，并且输入矢量的各个分量独立（信源也无记忆）的,所以，离散平稳无记,忆N个符号的序列信,道的信道容量等于单,个符号的信道容量的,N倍。信源无记忆时,，信息传输率才能达,到信道容量。,所以，离散平稳无记,例3-7 BSC信道的转移概率矩阵为 求BSC二次扩展信道？,解：对应的转移概率矩阵：,是一个对称DMC信道，当输入序列等概分布时，容量为：,例3-7 BSC信道的转移概率矩阵为,3.6 串联信道和并联信道的信道容量,3.6.1 串联信道及其信道容量,3.6.2* 并联信道及其信道容量,3.6 串联信道和并联信道的信道容量3.6.1 串联信道及其,3.6.1 串联信道及其信道容量,消息具有非增性，串接的信道越多，其信道容量可能会越小，当串接信道数无限大时，信道容量就有可能趋于零。,3.6.1 串联信道及其信道容量消息具有非增性，串接的信道越,例,3-8 现在有两个信道串联，转移概率矩阵如下：,例3-8 现在有两个信道串联，转移概率矩阵如下：,信息论与编码信道及其容量课件,例,3-9 二进制对称信道转移概率矩阵如下：,例3-9 二进制对称信道转移概率矩阵如下：,信息论与编码信道及其容量课件,即串联信道的平均互信息量信道容量要低于其中的任意一段，以及其中的一部分的信道容量。以此可以得出串联信道的信道容量也满足不增性。,即串联信道的平均互信息量信道容量要低于其中的任意一段，以及,3.6.2* 并联信道及其信道容量,3.6.2* 并联信道及其信道容量,1.输入并接信道,可以得出并联后的信道容量C要大于任意的单个信道的信道容量，但是有小于信息的最大熵logm（m为输入符号集中符号数目）,1.输入并接信道可以得出并联后的信道容量C要大于任意的单个,2.并用信道,2.并用信道,信息论与编码信道及其容量课件,所以并用信道的信道容量为,即并用信道的信道容量为所有被并联的信道容量之和。当输入符号相互独立，且每一个信道的输入达到各自信道对应的最佳概率分布时，平均互信息量才能达到信道容量。,所以并用信道的信道容量为,3.和信道,和信道的信道容量计算较为复杂，需要考虑各个信道的利用率，限于其应用及价值，在这里不再赘述，有兴趣请参考曲炜，朱诗兵的信息论基础及应用。,3.和信道,3.7 连续信道及其容量,3.7.1 连续单符号加性信道,3.7.2 多维无记忆加性连续信道,3.7.3 限时限频限功率的加性高斯白噪声信道,3.7 连续信道及其容量3.7.1 连续单符号加性信道,3.7.1 连续单符号加性信道,上图为连续单符号信道模型。,定义：,信源X等于某一概率密度函数p (x)时，信道平均互信息的最大值，即,为连续信道的信道容量C,3.7.1 连续单符号加性信道上图为连续单符号信道模型。,上图为加性噪声的干扰信道模型。,加性连续信道的信道容量：,加性噪声N和信源X相互统计独立，X的概率密度函数p(x)的变动不会引起噪声熵H,c,(N)的改变，所以加性信道的容量C就是选择p(x)，使输出熵H,c,(Y)达到最大值，即：,上图为加性噪声的干扰信道模型。,高斯加性信道的信道容量：,高斯噪声为N，均值为0，方差为 ，噪声功率为P；概率密度函数为p,n,(N)=N(0, )， 噪声的连续熵为,高斯加性连续信道的容量等于,高斯加性信道的信道容量：,p,x,(x)=N(0,S)，即输入X满足正态分布时，H,c,(Y)达到最大值，达到信道容量。,因此，高斯加性信道的信道容量为,注意，由于是加性信道，,px(x)=N(0,S)，即输入X满足正态分布时，Hc(,3.7.2 多维无记忆加性连续信道,由于信道无记忆，所以,根据加性信道的性质，噪声各个时刻是独立的，所以有,3.7.2 多维无记忆加性连续信道由于信道无记忆，所以,根据信道容量的定义，最终可得,根据信道容量的定义，最终可得,对于多维无记忆加性连续信道，有以下结论：,(注意n的下标为l，而非数字1)，则有信道容量,当且仅当输入矢量X各分量统计独立，且各分量都服从,时，信息传输率达到最大。,对于多维无记忆加性连续信道，有以下结论：,a)在噪声平均功率过大，甚至超过输出平均功率时，可以不给予功率，即不发送信号;,b)在噪声平均功率较大，但还没有超过输出平均功率时，我们可以少给点输入平均功率;,c)在噪声平均功率较小的时间里，我们可以多给点输入平均功率。,a)在噪声平均功率过大，甚至超过输出平均功率时，可以不给予,3.7.3 限时限频限功率的加性高斯白噪声信道,波形信道的平均互信息量,信息传输率R,t,信道容量,3.7.3 限时限频限功率的加性高斯白噪声信道波形信道的平均,高斯白噪声信道容量,若信号的平均功率P,l,受限于P,s,，则P,l,每个信号样本值的平均功率为 。,可得,高斯白噪声信道容量,信道每秒传输,2W个样点，所以单位时间的信道容量为：,香农公式,信道每秒传输2W个样点，所以单位时间的信道容量为：,香农公式的物理意义：,当信道容量一定时，增大信道的带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。香农公式是在噪声信道中进行可靠通信的信息传输率的上限值。,香农公式说明,香农公式的物理意义：,3.8 信源与信道的匹配,绝对信道冗余度（剩余度）表示信道的实际传信率和信道容量之差，所以有,信道效率,3.8 信源与信道的匹配绝对信道冗余度（剩余度）表示信道的实,信道相对冗余度,显然，对于无干扰信道：I(X;Y)=H(X),(r,是信道输入符号的个数,),则,R,s,为信源冗余度,信道相对冗余度,在一般通信系统中，如何将信源发出的消息(符号)转换成适合信道传输的符号(信号)从而达到信源与信道的匹配？,这种匹配有两个方面的内容：,(1) 符号匹配,(2) 信息匹配,在一般通信系统中，如何将信源发出的消息(符号)转换成适合信,请问缩小信源的冗余度就可以完全解决信源对信道的匹配了吗？,信道冗余度和信源冗余度是什么关系？给定信道的情况下，将信源信道当作一个整体，信道信息的最大信息传输率怎样才能达到最大？,回顾,3.5节关于离散无记忆N次扩展信道的信道容量的知识，对于提高信息传输率有什么结论？,请问缩小信源的冗余度就可以完全解决信源对信道的匹配了吗？,3.9 信道编码定理简介,有噪信道编码定理(香农第二定理)：,定理3-3,若有一离散无记忆平稳信道，其容量为C，输入序列长度为L，只要待传送的信息传输率RC时，总可以找到一种编码，当L足够长时，译码错误概率趋向于无穷小，反之，当RC时，任何编码都不可能让译码错误率趋向于任意小。,3.9 信道编码定理简介有噪信道编码定理(香农第二定理)：,我们致力于使得本书,上达思想与方法，下及实现与应用,，,但是力所不及，欢迎多提宝贵意见至,hellowyin,上达思想与方法，下及实现与应用，但是,