信息论第4章波形信源和波形信道

05-06学年上Elements of Information Theory1信息论Elements ofInformation TTEL：6246051705-06学年上Elements of Information Theory24、波形信源和波形信道u4.1 波形信源的统计特性和离散化u4.2 连续信源和波形信源的信息测度u4.3 具有最大熵的连续信源u4.4 熵功率u4.5 连续信源熵的变换u4.6连续信道和波形信道的分类u4.7连续信道和波形信道的信息传输率u4.8连续信道和波形信道的信道容量05-06学年上Elements of Information Theory3 4.1波形信源的统计特性和离散化u随机变量u随机过程Xu随机矢量12()NX XXX ( )x t05-06学年上Elements of Information Theory4表4.1消息(信号)取值的集合消息(信号)取值时刻的集合信源种类离散离散离散信源(Discrete source)/数字信源(Digital source)连续连续波形信源Waveform source/模拟信源(Analog source)连续离散连续信源(Continuous source)离散连续05-06学年上Elements of Information Theory54.2连续信源和波形信源的信息测度u连续信源的数学模型 并满足( , )( )( )( )Xa bp xp xp x 或 R( )1( )1baRp x dxp x dx或 05-06学年上Elements of Information Theory6u一维概率密度函数u一维概率分布函数u条件概率密度函数u联合概率密度函数( )( )( )( )XYdF xdF ypxpydxdy111( )( )xXF xP Xxpx dx|( | )( | )Y XX Ypy xpx y2( , )()XYF x ypxyx y 05-06学年上Elements of Information Theory7u假定连续信源 X 的概率密度函数p(x)如右图所示。我们把取值区间分割成 n 个等宽的小区间。X 处于第 i 区间的概率为(1)(1)( )( )ia iiaiPP aixaip x dxp x 05-06学年上Elements of Information Theory8u这样，连续变量 X 就可用取值为 xi 的离散变量 Xn 来近似。连续信源 X 被量化成离散信源。1212(1)11,() ,() ,()( )( )( )1nnnnna iiaiiibaxxxXp xp xp xPp xp x dxp x dx 且 05-06学年上Elements of Information Theory9u这时离散信源 Xn 的熵是u当n, 0，离散随机变量 Xn 趋于连续随机变量 X，而离散信源的熵 H(Xn )的极限值就是连续信源的信息熵：()log( ) log( )( ) log ( )( ) logniiiiiiiiiiiH XPPp xp xp xp xp x 000()lim()lim( ) log ( )lim(log)( )( )log( )lim(log)nniiiiibaH XH Xp xp xp xp xp x dx 05-06学年上Elements of Information Theory10u定义连续信源的熵连续信源的熵为：u又称为差熵、微分熵、相对熵。u两随机变量的联合熵和条件熵：()( )log( )RH Xp xp x dx ()()log()d d(|)( ) ( | )log( | )d dRRH XYp xyp xyx yH Y Xp x p y xp y x x y 连续信源的差熵连续信源的差熵05-06学年上Elements of Information Theory11连续信源差熵的性质u可加性：u凸状性和极值性：差熵 H(X) 是输入概率密度函数 p(x) 的凸函数。即：对于某一概率密度函数，可以得到差熵的最大值。()()(|)( )(|)H XYH XH Y XH YH X Y()()( )(|)()(|)( )H XYH XH YH X YH XH Y XH Y05-06学年上Elements of Information Theory12u差熵可为负值。例如，若概率密度函数为例如，若概率密度函数为axbxbxaabxp,01)(则则为负值。则得熵若, 0)(, 1)()log(1log1)(XhababdxababXhba05-06学年上Elements of Information Theory13例：例：设有一连续随机变量，其概率密度函数为设有一连续随机变量，其概率密度函数为otherxxAxp02cos)(又有又有 221)(dxxp试求这随机变量的熵。试求这随机变量的熵。 05-06学年上Elements of Information Theory14连续信源的平均互信息连续信源的平均互信息两个连续随机变量两个连续随机变量X、Y的互信息定义为：的互信息定义为： )()()()/()()/(.)();(XYhYhXhXYhYhYXhXhYXI单位为比特单位为比特/自由度或奈特自由度或奈特/自由度自由度05-06学年上Elements of Information Theory15三种特殊连续信源的差熵u1、均匀分布连续信源的熵值 一维连续随机变量一维连续随机变量X在在 区间内均匀分布时区间内均匀分布时 1( )0,11()logdlog()baaxbp xbaxb xaH Xxbababa 比特比特/自由度自由度ba,05-06学年上Elements of Information Theory16推广：推广：均匀分布均匀分布N维连续信源的差熵为维连续信源的差熵为 自由度比特/)(log)(1iNiiabXh05-06学年上Elements of Information Theory17u2、高斯信源的熵值高斯信源是指信源输出的一维随机变量高斯信源是指信源输出的一维随机变量X的概率密度分布的概率密度分布是正态分布，即：是正态分布，即： 222)(exp21)(mxxp该连续信源的熵为：该连续信源的熵为： 22222log212)(exp21log)()(log)()(edxmxxpdxxpxpXh05-06学年上Elements of Information Theory18u3、指数分布连续信源的指数分布连续信源的熵值指数分布的一维连续信源指数分布的一维连续信源X X的概率密度函数为：的概率密度函数为：0001)(xxeaxpax其中常数其中常数a是一维连续信源是一维连续信源X的均值，的均值，该连续信源的熵为：该连续信源的熵为： aedxeaeadxxpxpXhaxax200log1log1)(log)()(05-06学年上Elements of Information Theory194.3具有最大熵的连续信源u离散信源的最大熵问题：离散信源的各符号为等概率分布时，信息熵有最大值（最大离散熵定理）。1211 11(,),log1rriiH p ppHrr rrp条件是 05-06学年上Elements of Information Theory20u在什么条件下，连续信源的熵最大？()( )log( )d( )( )( )1H Xp xp xxp xp xp x dx 当连续 为条 ，满条熵最大件下，求使足(1) (2) 其它限制件在不同的条件下，信源的最大熵也不同。在不同的条件下，信源的最大熵也不同。05-06学年上Elements of Information Theory21u通常有三种情况是我们感兴趣的：一种通常有三种情况是我们感兴趣的：一种是信源是信源输出值受限输出值受限的情况，另一种是信的情况，另一种是信源源输出的平均功率受限输出的平均功率受限的情况，还有一的情况，还有一种是种是均值受限均值受限的情况。下面分别讨论。的情况。下面分别讨论。05-06学年上Elements of Information Theory22峰值功率受限条件下信源的最大熵（取值幅度受限）（取值幅度受限） u定理：定理：若信源输出的若信源输出的幅度被限定幅度被限定在在 区域内，则当区域内，则当输出信号输出信号的概率密度分布是的概率密度分布是均匀分布均匀分布时，信源具有最大熵。时，信源具有最大熵。最大熵为：最大熵为：ba,)log()(abXh05-06学年上Elements of Information Theory23u当当N维随机矢量维随机矢量取值受限取值受限时，也只有各随时，也只有各随机分量统计独立时，并机分量统计独立时，并均匀分布均匀分布时具有时具有最大熵。最大熵。 最大熵为：最大熵为： 自由度比特/)(log)(1iNiiabXh05-06学年上Elements of Information Theory24平均功率受限条件下信源的最大熵（方差受限）（方差受限）u定理：若一个信源输出信号的定理：若一个信源输出信号的平均功率被平均功率被限定为限定为P，则其则其输出信号输出信号幅度的概率密度幅度的概率密度分布是分布是高斯分布高斯分布时，信源具有最大熵。时，信源具有最大熵。 最大熵为：最大熵为： 22log21)(2log21)(eXhePXh或05-06学年上Elements of Information Theory25均值受限条件下的最大连续熵定理均值受限条件下的最大连续熵定理（均值受限）（均值受限）u 若连续信源若连续信源X X输出非负信号的输出非负信号的均值受限均值受限，则其则其输出信号呈指数分布输出信号呈指数分布时，连续信源时，连续信源X X具有最大熵值。具有最大熵值。 最大熵为：最大熵为： aeXh2log)(其中常数其中常数a是一维连续信源是一维连续信源X的均值的均值05-06学年上Elements of Information Theory264.4 连续信源熵的变换u从信源发出的消息大都要通过一系列的从信源发出的消息大都要通过一系列的信息处理后才在信道中传输。任何信息信息处理后才在信道中传输。任何信息处理设备都可用下图所示来表示，可以处理设备都可用下图所示来表示，可以认为这是一种坐标变换。认为这是一种坐标变换。 05-06学年上Elements of Information Theory27u设连续平稳信源输出的是设连续平稳信源输出的是N维连续型随机矢维连续型随机矢量量 , ,将它送入信息处理网络，其将它送入信息处理网络，其输出为另一个输出为另一个N维随机矢量维随机矢量 )(21NXXXX)(21NYYYYY和和X之间的变换关系如下：之间的变换关系如下： )()()(2121222111NNNNNXXXgYXXXgYXXXgY05-06学年上Elements of Information Theory28u在在离散信源中离散信源中，若有确定的对应变换关，若有确定的对应变换关系，系，变换后信源熵是不变的变换后信源熵是不变的。问：在连。问：在连续信源中，输出的消息经过变换后，其续信源中，输出的消息经过变换后，其熵（差熵）会不会发生改变？熵（差熵）会不会发生改变？u下面我们将讨论这个问题。从数学上讲，下面我们将讨论这个问题。从数学上讲，这可归纳为坐标变换的问题。这可归纳为坐标变换的问题。05-06学年上Elements of Information Theory29坐标变换后概率密度函数的变化坐标变换后概率密度函数的变化 u已知已知Y Y和和X X之间有一一对应关系之间有一一对应关系 , ,则则X X也可也可以表示位以表示位Y Y的单值连续函数。的单值连续函数。)()()(2121222111NNNNNYYYfXYYYfXYYYfX05-06学年上Elements of Information Theory30引入雅可比行列式引入雅可比行列式 )(YXJ定义：定义： NNNNNNNNYfYfYfYfYfYfYfYfYfYYYXXXYXJ21212221112112121)()()(证明可得证明可得)(1)(XYJYXJ05-06学年上Elements of Information Theory31经分析可得坐标变化后新旧概率密度函数的关系经分析可得坐标变化后新旧概率密度函数的关系为：为： )()()(2121YXJxxxpyyypNXNY结论：结论：除非雅可比行列式等于除非雅可比行列式等于1，否则，在一般情，否则，在一般情况下，连续型随机变量通过变化后其况下，连续型随机变量通过变化后其概率密度函数概率密度函数会发生变化。会发生变化。05-06学年上Elements of Information Theory32坐标变换后差熵的变化坐标变换后差熵的变化 u经过计算可得变换后连续信源的差熵为：经过计算可得变换后连续信源的差熵为： )(log)()(YXJEXhYh05-06学年上Elements of Information Theory33u一、熵速率一、熵速率：信源在单位时间内输出的：信源在单位时间内输出的熵称为信源的熵速率。熵称为信源的熵速率。u若信源是时间连续、信号带宽为若信源是时间连续、信号带宽为F的连续的连续信源，根据随机信号的抽样定理，可用信源，根据随机信号的抽样定理，可用2F的速率对信源进行采样。因此，连续的速率对信源进行采样。因此，连续信源的熵速率为：信源的熵速率为：4.5熵速率和熵功率)(2)(log)(2XFHdxxpxpFHt05-06学年上Elements of Information Theory34NH当信号平均功率受限时，高斯分布信源的熵最当信号平均功率受限时，高斯分布信源的熵最大。令其平均功率为大。令其平均功率为P，则其熵为：则其熵为：若另一信号若另一信号Y的平均功率也为的平均功率也为P，但不是高斯但不是高斯分布，那它的熵一定比上式计算的小，即：分布，那它的熵一定比上式计算的小，即：ePXh2log21)(ePYh2log21)(05-06学年上Elements of Information Theory35u二、熵功率：二、熵功率：若平均功率为若平均功率为P的非高斯分的非高斯分布的信源具有熵为布的信源具有熵为 , ,称熵也为称熵也为 的高斯信源的平均功率为熵功率的高斯信源的平均功率为熵功率 . . )(Xh)(XhP)(221XheeP由于当平均功率受限时一般信源的熵小于高斯分由于当平均功率受限时一般信源的熵小于高斯分布信源的熵，所以信号的熵功率总小于信号的实布信源的熵，所以信号的熵功率总小于信号的实际平均功率际平均功率P，即即 PP 05-06学年上Elements of Information Theory36u三、连续信源的剩余度三、连续信源的剩余度u熵功率的大小可以表示连续信源剩余的熵功率的大小可以表示连续信源剩余的大小。若熵功率等于信号平均功率，就大小。若熵功率等于信号平均功率，就表示信号没有剩余。熵功率和信号的平表示信号没有剩余。熵功率和信号的平均功率相差越大，说明信号的剩余越大。均功率相差越大，说明信号的剩余越大。所以，所以，信号平均功率和熵功率之差被称信号平均功率和熵功率之差被称为连续信源的剩余度。为连续信源的剩余度。连续信源的剩余度连续信源的剩余度= PP 05-06学年上Elements of Information Theory374.6连续信道和波形信道的分类u波形信道：当信道的输入和输出都是随波形信道：当信道的输入和输出都是随机过程机过程 和和 时，这个信称为波形信时，这个信称为波形信道。道。它不仅在时间上是连续的，幅度上也是连它不仅在时间上是连续的，幅度上也是连续的。实际模拟通信系统中，信道都是续的。实际模拟通信系统中，信道都是波形信道。波形信道。)(tx)(ty05-06学年上Elements of Information Theory38u研究波形信道就要研究噪声。在通信系研究波形信道就要研究噪声。在通信系统中，可把来自各部分的噪声都集中在统中，可把来自各部分的噪声都集中在一起，认为是通过信道加入的。一起，认为是通过信道加入的。u（1）按噪声的统计特性进行分类有：）按噪声的统计特性进行分类有：u高斯噪声信道、白噪声信道、高斯白噪高斯噪声信道、白噪声信道、高斯白噪声信道和有色噪声信道等。声信道和有色噪声信道等。u（2）按噪声对信号的作用共能来分有：）按噪声对信号的作用共能来分有：加性信道和乘性信道。加性信道和乘性信道。 05-06学年上Elements of Information Theory39信道按噪声统计特性的分类信道按噪声统计特性的分类 u1、高斯噪声信道、高斯噪声信道u定义：信道中的噪声是高斯噪声，这个信道称定义：信道中的噪声是高斯噪声，这个信道称之为高斯噪声信道。之为高斯噪声信道。u其瞬时值的概率密度函数服从正态分布其瞬时值的概率密度函数服从正态分布 。u高斯噪声的一维概率密度函数为：高斯噪声的一维概率密度函数为：)2)(exp(21)(222mxxp05-06学年上Elements of Information Theory40u2、白噪声信道、白噪声信道u定义：信道中的噪声是白噪声，即噪声是平稳定义：信道中的噪声是白噪声，即噪声是平稳随机过程，其功率谱密度均匀分布于整个频域，随机过程，其功率谱密度均匀分布于整个频域，这个信道称为白噪声信道。这个信道称为白噪声信道。u其功率谱密度为一常数：其功率谱密度为一常数：)(2)(0nP05-06学年上Elements of Information Theory41u3、高斯白噪声、高斯白噪声u定义：具有高斯分布规律的白噪声称为高斯白定义：具有高斯分布规律的白噪声称为高斯白噪声。噪声。u高斯噪声是指它的高斯噪声是指它的N维概率密度函数服从高斯维概率密度函数服从高斯分布，并不涉及其功率密度的形状；白噪声则分布，并不涉及其功率密度的形状；白噪声则是就其功率谱密度是均匀分布而言，而不论它是就其功率谱密度是均匀分布而言，而不论它服从什么样的概率分布。在一般情况下，服从什么样的概率分布。在一般情况下，把概把概率密度函数服从高斯分布而功率谱密度又是均率密度函数服从高斯分布而功率谱密度又是均匀分布的噪声称为高斯白噪声。匀分布的噪声称为高斯白噪声。 05-06学年上Elements of Information Theory42u4、有色噪声信道、有色噪声信道u除白噪声以外的噪声称为有色噪声。除白噪声以外的噪声称为有色噪声。u定义：信道的定义：信道的 噪声是有色噪声，称此信噪声是有色噪声，称此信道为有色噪声信道。道为有色噪声信道。05-06学年上Elements of Information Theory43信道按噪声对信号的作用功能信道按噪声对信号的作用功能分类分类u1、乘性信道、乘性信道u定义：若信道中噪声对信号的干扰作用定义：若信道中噪声对信号的干扰作用表现为与信号相乘的关系，则此信道称表现为与信号相乘的关系，则此信道称为乘性信道。此噪声为乘性干扰。为乘性信道。此噪声为乘性干扰。u2、加性信道、加性信道u定义：若信道中噪声对信号的干扰作用定义：若信道中噪声对信号的干扰作用表现为与信号相加的关系，则此信道称表现为与信号相加的关系，则此信道称为加性信道。此噪声为加性干扰。为加性信道。此噪声为加性干扰。05-06学年上Elements of Information Theory44连续信道的信息传输速率连续信道的信息传输速率u一、单维连续信道的平均互信息一、单维连续信道的平均互信息单维连续信道的数学模型为单维连续信道的数学模型为 输入输入X和输出和输出Y之间的平均互信息为之间的平均互信息为YxypX),/(,)()()()/()()/()()/()();(XYhYhXhXYhYhYXhXhYXHXHYXInnn 单维连续信道的信息传输速率为：单维连续信道的信息传输速率为：自由度比特/);(YXIR 05-06学年上Elements of Information Theory45u二、多维连续信道的平均互信息二、多维连续信道的平均互信息 u多维连续信道的数学模型为多维连续信道的数学模型为其信道转移概率密度函数其信道转移概率密度函数满足下表达式：满足下表达式：其平均互信息为：其平均互信息为： YxypX),/(,)/(xypNiiixypxyp1)/()/()()()()/()()/()()/()();(YXhYhXhXYhYhYXhXhYXHXHYXInnn05-06学年上Elements of Information Theory46u多维连续信道的信息传输速率为：多维连续信道的信息传输速率为：u 平均每个自由度的信息传输率为平均每个自由度的信息传输率为 自由度比特/);(YXIR 自由度比特/);(1YXINR 05-06学年上Elements of Information Theory47连续信道平均互信息的特性连续信道平均互信息的特性u1 1、非负性、非负性 u2、对称性对称性u3 3、凸状性：连续变量之间的平均互信息、凸状性：连续变量之间的平均互信息 是输入连续变量是输入连续变量X X的概率密度函数的概率密度函数 的上凸的上凸函数；函数； 又是连续信道转移概率密度函数又是连续信道转移概率密度函数的下凸函数的下凸函数 。 0);(YXI);();(XYIYXI);(YXI)(xp);(YXI)/(xyp05-06学年上Elements of Information Theory48u4 4、信息不增性（又称数据处理定理）、信息不增性（又称数据处理定理）若连续随机变量若连续随机变量 形成马尔可夫链，形成马尔可夫链，则则 5 5、坐标变换平均互信息的不变性、坐标变换平均互信息的不变性 前面学习已知，通过一一对应的变换，差前面学习已知，通过一一对应的变换，差熵会发生变化，但传输的平均互信息是熵会发生变化，但传输的平均互信息是不变的。不变的。 ZYX);();(YXIZXI