随机信号分析与应用第一章课件

单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,随机信号分析,教学组,本章主要内容：,随机过程的基本概念,随机过程的数字特征,随机过程的微分和积分计算,随机过程的平稳性和遍历性,随机过程的相关函数及其性质,复随机过程,正态过程,马尔可夫链,泊松过程,9/18/2024,1,随机变量,与时间无关,随机过程,与时间相关,9/18/2024,2,1.1,随机过程的基本概念及统计特性,一 定义,对接收机的噪声电压作观察,9/18/2024,3,1,样本函数： ， ， ，,， ，都是时间的函数，称为样本函数。,2,随机性：一次试验，随机过程必取一个样本函数，但所取的样本函数带有随机性。因此，随机过程不仅是时间,t,的函数，还是可能结果的函数，记为 ，简写成 。,9/18/2024,4,定义,2,：若对于每个特定的时间,，,都是随机变量，则称 为随机过程， 称为随机过程 在,时刻的状态。,定义,1,：设随机试验,E,的样本空间 ，若对于每个元素 ，总有一个确知的时间函数 与它对应，这样，对于所有的 ，就可以得到一簇时间,t,的函数，称它为随机过程。簇中的每一个函数称为样本函数。,3,随机过程的定义：,9/18/2024,5,4,定义的理解 ：,上面两种随机过程的定义，从两个角度描述了随机过程。具体的说，作观测时，常用定义,1,，这样通过观测的试验样本来得到随机过程的统计特性；对随机过程作理论分析时，常用定义,2,，这样可以把随机过程看成为,n,维随机变量，,n,越大，采样时间越小，所得到的统计特性越准确。,9/18/2024,6,理解：,一个时间函数族,一个确知的时间函数,一个随机变量,一个确定值,1,和 都是变量,2,是变量而 固定,3,固定而 是变量,4,和 都固定,9/18/2024,7,二 分类,1,按随机过程的时间和状态来分类,连续型随机过程：对随机过程任一时刻 的取值 都是连续型随机变量。,离散型随机过程：对随机过程任一时刻 的取值 都是离散型随机变量。,9/18/2024,8,离散随机序列：随机过程的时间,t,只能取某些时刻，如 ，,2,，,.,，,n,，,且这时得到的随机变量 是离散型随机变量，即时间和状态是离散的。相当于采样后再量化 。,连续随机序列：随机过程的时间,t,只能取某些时刻，如 ，,2,，,.,，,n,，,且这时得到的随机变量 是连续型随机变量，即时间是离散的。相当于对连续型随机过程的采样。,9/18/2024,9,2,按样本函数的形式来分类,不确定的随机过程：随机过程的任意样本函数的值不能被预测。例如接收机噪声电压波形。,确定的随机过程：随机过程的任意样本函数的值能被预测。例如，样本函数为正弦信号。,3,按概率分布的特性来分类,9/18/2024,10,三 随机过程的概率分布,1,一维概率分布,随机过程,X(t),在任意,t,i,T,的取值,X(t,1,),是一维随机变量。概率,PX(t)x,1,是取值,x,1,，,时刻,t,1,的函数，记为,F,x,(x,1,；,t,1,)=PX(t,1,)x,1,，,称作随机过程,X(t),的一维分布函数。,若 的偏导数存在，则有,9/18/2024,11,2,二维概率分布,F,X,(x,1,x,2;,t,1,t,2,)=P X(t,1,)x,1,X(t,2,)x,2,为了描述,S.P,在任意两个时刻,t,1,和,t,2,的状态间的内在联系,可以引入二维随机变量,X(t,1,),X(t,2,),的分布函数,F,X,(x,1,x,2,;t,1,t,2,),，,它是二随机事件,X(t,1,)x,1,和,X(t,2,)x,2,同时出现的概率，即,称为随机过程,X(t),的二维分布函数。,若,F,X,(x,1,x,2,;t,1,t,2,),对,x,1,，,x,2,的二阶混合偏导存在，则,为,随机过程,X(t),的二维概率密度,9/18/2024,12,3,n,维概率分布,随机过程,在任意,n,个时刻,的取值,构成,n,维随机变量 即为,n,维空间的随机矢量,X,。,类似的，可以定义随机过程 的,n,维分布函数和,n,维概率密度函数为,9/18/2024,13,性质：,1,2,3,4,5,6,若 统计独立，则有,9/18/2024,14,四,随机过程的数字特征,随机变量,的数字特征通常是,确定值,；,随机过程,的数字特征通常是,确定性函数,。,对随机过程的数字特征的,计算方法，是先把时间,t,固定，然后用随机变量的分析方法来计算。,9/18/2024,15,1,数学期望,显然，,是某一个平均函数，随机过程的诸样本在它的附近起伏变化，如图所示：,物理意义：如果随机过程表示接收机的输出电压，那么它的数学期望就是输出电压的瞬时统计平均值。,9/18/2024,16,2,均方值和方差,随机过程 在任一时刻,t,的取值是一个随机变量 。我们把 二阶原点矩称为随机过程的均方值，把二阶中心矩记作随机过程的方差。即：,且,9/18/2024,17,物理意义：如果 表示噪声电压，则均方值 和方差 分别表示消耗在单位电阻上的瞬时功率统计平均值和瞬时交流功率统计平均值。,标准差或均方差：,9/18/2024,18,3,自相关函数,先比较具有相同数学期望和方差的两个随机过程。,9/18/2024,19,自相关函数用来描述随机过程任意两个时刻的状态之间的内在联系，通常用 描述。,9/18/2024,20,4,自协方差函数,若用随机过程的两个不同时刻之间的二阶混合中心矩来定义相关函数，我们称之为自协方差。用 表示，它反映了任意两个时刻的起伏值之间相关程度。,9/18/2024,21,比较自协方差和自相关函数的关系,),(,),(,)(,(,),(,(,),(,1,1,1,1,2,1,t,m,t,X,t,m,t,X,E,t,t,K,X,X,X,-,-,=,比较自协方差和方差的关系,令,则,9/18/2024,22,例：求随机相应止弦波 的数字期望，方差及自相关函数。式中， 为常数，是区间,0,，,上均匀分布的随机变量。,解：由题可知：,（1）,同理,9/18/2024,23,（2）,可知,9/18/2024,24,（3）,9/18/2024,25,五,随机过程的特征函数,1,一维特征函数,随机过程 在任一特定时刻,t,的取值是一维随机变量，其特征函数为,:,其反变换为：,n,阶矩,9/18/2024,26,2,二维特征函数,其反变换为：,9/18/2024,27,3,n,维特征函数,9/18/2024,28,1.2,连续时间,随机过程的微分和积分,一 随机过程的连续性,1,预备知识：,对于确定性函数 ，,若,则 在 处连续。,9/18/2024,29,2,随机过程 连续性定义,如果随机过程,满足,则称,依均方收敛意义下在,t,点连续，简称随机过程,在,t,点均方连续。,9/18/2024,30,3,随机过程 的相关函数连续，则 连续,因此，如果对,时刻，函数,在 点上连续，则随机过程,必在点,t,上连续。,9/18/2024,31,4,随机过程 均方连续，则其数学期望连续,证：,由均方连续的定义， ，则不等式左端趋于,0,，那么不等式的右端也必趋于,0,（均值的平方不可能小于,0,）,设,9/18/2024,32,即：,注意 为确定性函数，由预备知识，可知连续。,可将此结果写成,9/18/2024,33,二 随机过程的导数,预备知识：,对于一般确定性函数，高等数学给出的可导定义如下：,一阶可导：,如果 存在，则 在,t,处可导，记为 。,9/18/2024,34,二阶可导：,存在，则 二阶可导，记为,若,9/18/2024,35,1,随机过程可导的定义,如果随机过程,满足,则称,在,t,时刻具有均方倒数 ，表示为,9/18/2024,36,2,判别方法,判断一个随机过程是否均方可微的方法是采用柯西准则,即,而,9/18/2024,37,若 时，存在二阶混合偏导,则,=,可见，随机过程,X(t),在,t,处均可微的充分条件为：相关函数在它的自变量相等时，存在二阶混合偏导数且连续，即存在,9/18/2024,38,3,数字特征,（,1,）随机过程导数的数学期望等于其数学期望的导数,证明：,9/18/2024,39,（,2,）随机过程导数的相关函数等于可微随机过程的相关函数的混合偏导数,证明：,9/18/2024,40,三 随机过程的积分,1,预备知识,对于确定性函数 ，,其中 ，,9/18/2024,41,2,随机过程积分的定义,随机过程 在确定区间 上的积分,Y,是一个随机变量，即,若有,则称 为随机过程 在 上的积均方积分,可以推广到带有“权函数”的随机过程的积分,9/18/2024,42,3,数字特征,（,1,）随机过程积分的数学期望等于随机过程数学期望的积分。,证明,：,9/18/2024,43,（,2,）随机过程积分的均方值和方差,随机过程积分的均方值等于随机过程自相关函数的二重积分；其方差为随机过程协方差的二重积分。,9/18/2024,44,9/18/2024,45,(3),随机过程积分的相关函数：等于对随机过程的相关函数作两次变上限积分（先对,t,1,后对,t,2,积分）,9/18/2024,46,1.3,平稳随机过程及其遍历性,一 平稳随机过程,1,严平稳随机过程,(1),定义,如果对于任意的,n,和 ，随机过程,X(t),的,N,维概率密度满足：,则称,X(t),为严平稳（或狭义）随机过程,。,9/18/2024,47,(2),一、二维概率密度及数学特征,严平稳随机过程的一维概率密度与时间无关,9/18/2024,48,严平稳随机过程的二维概率密度只与,t,1,t,2,的时间间隔有关，而与时间起点无关,9/18/2024,49,(3),严平稳的判断,按照严平稳的定义，判断一个随机过程是否为严平稳，需要知道其,n,维概率密度，可是求,n,维概率密度是比较困难的。不过，如果有一个反例，就可以判断某随机过程不是严平稳的，具体方法有两个：,(1),若,X(t),为严平稳，,k,为任意正整数，则 与时间,t,无关。,(2),若,X(t),为严平稳，则对于任一时刻,t,0,，,X(t,0,),具有相同的统计特性。,9/18/2024,50,2,宽平稳随机过程,若,随机过程,X(t),满足,则称,X(t),为宽平稳或广义平稳随机过程。,严平稳与宽平稳的关系：,严平稳过程的均方值有界，则此过程为宽平稳的，反之不成立。对于正态过程，严平稳与宽平稳等价。,9/18/2024,51,二 平稳随机过程的性质,性质,1,平均功率,性质,2,偶对称性,性质,3,极值性,证：,任何正函数的数字期望恒为非负值，即,对于平稳过程,X(t),，,有,代入,前式,，,可得,于是,同理,9/18/2024,52,对周期性平稳过程,X(t)=X(t+T),，,T,为周期，有 。,性质,4,证：由自相关函数的定义和周期性条件，容易得到,性质,5,若平稳过程含有一个周期分量，则 含有同一个周期分量。,9/18/2024,53,若平稳随机过程,X(t),不含有任何周期分量，则,性质,6,对于此类非周期的平稳过程，当增大 时，随机变量,X(t),与,X(t+,),之间的相关性会减弱；在 的极限情况下，两者相互独立，故有,证：,亦即,同理，可求得,9/18/2024,54,性质,7,若平稳过程含有平均分量,(,均值,),，则相关函数也含有平均分量，且等于,即,则 。,若,X(t),是非周期的，,由协方差函数的定义，可得,由此,若,X(t),是非周期，则有,证：,且在,t=0,时,可得,9/18/2024,55,平稳随机过程必须满足对所有 均成立。,性质,8,自相关函数的付氏变换非负，这要求相关函数连续（平顶，垂直边均是非连续）。,注：,相关函数（协方差）的典型曲线,9/18/2024,56,平稳过程的相关系数和相关时间,此值在,1,，,1,之间。 表示不相关， 表示完全相关。 表示正相关，表明两个不同时刻起伏值（随机变量与均值之差）之间符号相同可能性大。,相关系数,9/18/2024,57,相关时间,当相关系数中的时间间隔大于某个值，可以认为两个不同时刻起伏值不相关了，这个时间就称为相关时间。,通常把相关系数的绝对值小于,0.05,的时间间隔 ，记做相关时间,即,:,时的时间间隔 为相关时间。,有时我们用钜形（高为,底为 的矩形）面积等于阴影面积,(,积分的一半）来定义相关时间，即,物理意义,相关时间 越小，就意味着相关系数 随 增加而降落的越快，这表明随机过程随时间变化越剧烈。反之， 越大，则表时随机过程随时间变化越慢。,9/18/2024,58,例：已知平稳随机过程,X(t),的自相关函数为,R,X,(t)=100e,-10|t|,+100cos10t+100,求,X(t),的均值、均方值和方差。,R,X,(t)=（100cos10t）+（100e,-10|t|,+100）,= R,X1,(t)+ R,X2,(t),式中，,R,X1,(t)=100cos10t,是,X(t),中周期分量的自相关函数，此分量的均值,m,x1,=0; R,X2,(t)=100e,-10|t|,+100,是,X(t),的非周期分量的自相关，,由性质,6,，可得,所以有,解：,9/18/2024,59,三 遍历性或各态历经性,1,遍历性过程的定义,如果一个随机过程,X(t),它的各种时间平均（时间足够长）依概率,1,收敛于相应的集合平均,则称,X(t),具有严格遍历性,并称它为严遍历过程。,严遍历性的定义,宽遍历性的定义,设,X(t),是一个平稳随机过程,如果其均值和相关函数都具有遍历性,则称,X(t),为宽,(,或广义,),遍历过程,或简称遍历过程。,9/18/2024,60,定义,果它依概率,1,收敛于集合均值，即,则称,X(t),均值具有遍历性。定义时间自相关函数为,则称,X(t),自相关函数具有遍历性 。,如果它依概率,1,收敛于集合自相关函数，即,为时间均值，如,9/18/2024,61,2,遍历过程的实际应用,一般随机过程的时间平均是随机变量，但遍历过程的时间平均为确定量，因此可用任一样本函数的时间平均代替整个过程的统计平均，在实际工作中，时间,T,不可能无限长，只要足够长即可。,3,遍历过程和平稳过程的关系,遍历过程必须是平稳的，而平稳过程不一定是遍历的。（遍历必定平稳由遍历定义即可知）,9/18/2024,62,4,遍历过程的两个判别定理,均值遍历判别定理,平稳过程,X(t),的均值具有遍历性的充要条件,平稳过程,X(t),的自相关函数具有遍历性充要条件,自相关函数遍历判别定理,式中：,9/18/2024,63,证：,原命题等价于：,=,9/18/2024,64,设,则,9/18/2024,65,于是,从而命题得证。,9/18/2024,66,对于正态平稳随机过程，若均值为零，自相关函数 连续，则可以证明此过程具有遍历性的一个充分条件为,注意：,判断一个平稳过程是否遍历的，我们总是先假设其是遍历的，然后看是否满足定义要求（即时间平均以概率,1,等于统计平均），一般不用两个判别定理。,5.,9/18/2024,67,例：设,式中,a,，,为常数， 是在上均匀分布的随机变量,。,试问：,X(t),是否平稳,？,是否遍历？,故,X(t),是宽平稳随机过程,。,解：,9/18/2024,68,故,X(t),也是宽遍历随机过程,。,9/18/2024,69,1.4,随机平稳随机过程,一 两个随机过程的联合概率分布,设有两个随机过程,和,它们的概率密度,分别为,定义这两个过程的,(n+m),维联合分布函数为：,9/18/2024,70,定义这两个过程的,(n+m),维联合概率密度为：,1,）若两个过程的,n+m,维联合概率分布给定，则它们的全部统计特性也确定了。,注,2,）可以由高维联合分布求出它们的低维联合概率分布。,3,）若两个随机过程的联合概率分布不随时间平移而变化，即与时间的起点无关，则称此二过程为联合严平稳或严平稳相依。,9/18/2024,71,设两个随机过程 和,，,它们在任意两个时刻,t,1,，,t,2,的取值为随机变量 、,则定义它们的互相关函数为：,二 两个随机过程的互相关函数,式中，,是,随机过程 和,的二维联合概率密度。,1,定义,9/18/2024,72,随机过程 和 的中心互相关函数定义为：,式中， 和 分别是随机变量 和,的数学期望。,此式也可以写成,9/18/2024,73,2,统计独立、不相关、正交的概念,1,）统计独立,若,或,则称随机过程 和 相互独立。,9/18/2024,74,2,）不相关,若两个随机过程 和 对任意两个时刻,t,1, t,2,都具有 或 ，,3,）正交,则称 和 不相关。,若两个随机过程 和 对任意两个时刻,t,1, t,2,都具有 或 ，,则称 和 互为正交过程。,9/18/2024,75,(1),如果两个随机过程相互独立，且他们的二阶,矩都存在，则必互不相关。,(2),正态过程的不相关与相互独立等价。,推论,9/18/2024,76,三 联合宽平稳和联合宽遍历,（,1,）联合宽平稳定义,两个随机过程 和,，如果：,和 分别宽平稳,互相关函数仅为时间差 的函数，与时间,t,无关 即,则称 和 为联合宽平稳或宽平稳相依。,1,定义,9/18/2024,77,（,2,） 联合宽遍历定义,两个随机过程 和,，如果：,和 联合宽平稳,定义它们的时间互相关函数为：,若 依概率,1,收敛于互相关函数,则称 和 具有联合宽遍历性。,即,9/18/2024,78,（,3,）互协方差与互相关系数,当两个随机过程联合平稳时，它们的互协方差,互相关系数,又称作归一化互样关函数或标准互协方差函数。,注： 。当 时，随机变量 和,互不相关。,9/18/2024,79,2,联合宽平稳的性质,(1),证明：按定义即可证明，说明互相关函数既不是偶函数， 也不是奇函数。,互相关函数的影像关系,9/18/2024,80,(2),证明：,由于,， 为任意实数,展开得：,这是关于 的二阶方程。注意,要使上式恒成立，即方程无解或只有同根，,则方程的系数应该满足,则有,所以，,同理，,9/18/2024,81,(3),证明：,由性质,(2),，得,注意到,因此，,（任何正数的几何平均小于算术平均）,9/18/2024,82,设两个平稳随机过程,试问：,X(t),和,Y(t),是否平稳相依？是否正交、不相关、统计独立？,平稳随机过程,X(t),和,Y(t),的互相关函数为：,故这两个随机过程是平稳相依的。,例,故,K,XY,(t,1,t,2,),仅在 时等于零，此时,X(t,1,),和,Y(t,2,),是相关的，因而它们不是统计独立的。,解：,9/18/2024,83,四 复随机过程,复随机变量,1,定义,2,分布函数,即由,X,Y,的联合概率分布描述。,我们把复随机变量,Z,定义为,Z,=,X,+j,y,，,式中,X,和,Y,为实随机变量。,9/18/2024,84,3,数字特征,(1),数学期望,(2),方差,其中,注,：,),复随机过程的方差等于它的实部与虚部的方差之和,),复随机过程的方差为非负的实数。,9/18/2024,85,(3),相关矩,设,Z,1,、,Z,2,为两个复随机变量，则,(4),互协方差,9/18/2024,86,4,两个复随机变量的独立、不相关、正交,1,）统计独立,2,）不相关,3,）正交,9/18/2024,87,复随机过程,1,定义,设,，,为实随机过程,，,则定义,Z(t)=,X(t)+jY(t,),为复随机过程,。,2,概率密度函数,Z(t),的统计特性可由,X(t),和,Y(t),的,2n,维联合概率分布完整地描述，其概率密度为：,9/18/2024,88,3,数字特征,(1),数学期望,(2),方差,(3),自相关函数,9/18/2024,89,(5),互相关函数,(6),互协方差函数,注,：,）若 ，则,Z,1,，,Z,2,不相关。,）若 ，则,Z,1,，,Z,2,正交。,(4),自协方差函数,9/18/2024,90,4,复随机过程的宽平稳性,若复随机过程满足：,稳的复过程。若两个平稳的复过程,X(t),和,Y(t),满足,则称,X(t),和,Y(t),联合宽平稳。,则称,Z(t),为宽平,求复随机过程的数字特征时要注意，其均值为复数，方差等二阶矩为非负实数，因此，求其二阶矩时（包括方差，相关函数和协方差）采用一个复随机过程与其共轭相乘，再求数学期望的方法，其它性质和特性与实随机过程类似。,小结,9/18/2024,91,1.5,正态随机过程,一 正态随机过程的一般概念,1,正态随机过程的定义,如果随机过程,X(t),的任意,n,维概率分布都是正态分布，则称它为正态随机过程或高斯随机过程，简称正态过程或高斯过程。,9/18/2024,92,2,概率密度函数,式中,m,X,是,n,维向量，,K,是,n,维阵，其中：,9/18/2024,93,性质,:,正态随机过程的概率密度函数由它的一、二阶矩（均值、方差和相关系数完全决定）。,推论,:,若复正态随机过程,Z(t),的,n,个采样时刻得到,n,个复随机变量，即,其中, X,i,、,Y,i,皆为实随机变量。此,n,个复随机变量的联合概率密度应是,2n,维随机变量的联合概率密度。,9/18/2024,94,二 平稳正态随机过程,1,平稳正态随机过程的定义,若正态随机过程满足下列条件，则它是宽平稳（平稳）正态随机过程。,由平稳随机过程的三大条件（均值为常数，相关函数只与时间差有关，均方值有界）可知， 那么 为确定值，而方差 必为常数，显然，方差为常数，则,理解,也为常数，物理意义是总平均功率等于交流平均功率与直流平均功率之和。,9/18/2024,95,2,平稳正态过程的,n,维概率密度,平稳正态过程一、二维概率密度表达式,9/18/2024,96,平稳正态过程,n,维概率密度表达式：,式中，,R,是相关系数,r,ik,构成的行列式，具有下列形式,R,ik,为行列式中元素,r,ik,的代表余子式。,9/18/2024,97,3,平稳正态过程的,n,维特征函数,式中， 为随机变量,X,k,、,X,i,的,协方差,特别：一维和二维特征函数,函数。,n,维特征函数：,9/18/2024,98,三 正态随机过程的性质,正态随机过程的,n,维概率密度完全由它的均值集合，协方差函数集合所确定。,性质,1,：,性质,2,：,正态过程的严平稳与宽平稳等价。,1,）由正态随机过程的概率密度表达式可知，它的任意,n,维概率密度仅由均值,方差和相关系数唯一确定。如果正态随机过程,X(t),宽平稳，则其均值和方差是常数，相关系数只与时间差有关，因此它的任意,n,维概率密度函数仅与时间起点无关，由严平稳定义得证。,2,）由于正态过程的均方值总是有界的，因此严平稳正态过程一定是宽平稳的。,证明：,9/18/2024,99,正态过程的不相关与相互独立等价。,性质,3,：,若,X(t),在,n,个不同时刻采样得到一组随机变量,X,1, X,2,X,n,证明：,（,1,）如果,X,n,（,n,1,2,）,两两之间相互独立，则,（,2,）如果,X,n,（,n,1,2,）,两两之间互不相关，则,当 时。所以，两两互不相关。,9/18/2024,100,即两两相互独立。,因此,所以,则,9/18/2024,101,性质,4,：平稳正态过程与确定信号之和仍为正态分布。,设,X(t),为平稳正态过程，,S(t),为确定性信号，,Y(t)=X(t)+s(t),那么，对于任意时刻,t,，,Y(t)=X(t)+s(t),为随机变量，这时，,s(t),具有确定值，由随机变量函数的概率密度求法，,Y(t),的一维概率密度函数为：,证明：,因为为正态分布，所以显然是正态分布。,同理，,Y(t),的二维概率密度为：,正态分布。,同理，可证明合成信号的,n,维概率密度也是正态过程。,9/18/2024,102,性质,5,：,n,维正态随机矢量序列的均方极限仍为,n,维正态随机矢量，即设 为,n,维实正态随机变量,，,又 ，即对于每个,1,2,n,均有 ，则,X=,（,X,1,X,2,X,n,）为,n,维正态随机矢量。,9/18/2024,103,若正态过程,X(t),在,T,上均方可微，则其导数,X(t),也是正态过程。,性质,6,：,若正态过程,X(t),在,T,上均方可积，则积分过程,性质,7,：,也是正态过程。,正态随机过程通过线性系统后的输出仍为正态过程。,性质,8,：,推论： 正态过程的线性变换仍为正态过程。,9/18/2024,104,1.6,马尔可夫过程,1.6.1,马尔可夫过程的概念,当已知随机过程在时刻 所处的状态的条件下，过程在时刻 所处的状态与过程在时刻 以前的状态无关，而仅与过程在 所处的状态有关，则称该过程为马尔可夫过程。这种特性称为随机过程的“无后效性”或马尔可夫性。,分为四类：,1 T,和,E,都取连续集时，称为马尔可夫过程。,2,若,T,取连续集而,E,取离散集时，称为可列马尔可夫过程。,3,若,T,取离散集而,E,取连续集时，称为马尔可夫序列。,4,若,T,和,E,都取离散集时，称为马尔可夫链。状态可列的马尔可夫链称为可列马尔可夫链；状态有限的马尔可夫链称为有限马尔可夫链。,9/18/2024,105,1.6.2,马尔可夫序列,一、马尔可夫序列的定义,设 表示随机过程 在 为整数时刻的取样的随机序列，记为 （ 简记为 或 ），则可按以下方式定义马尔可夫序列。,定义,33,：若对于任意的,n,，有,则称此 为马尔可夫序列。这一概率密度函数称为转移概率密度函数。,可以推出,即联合概率密度函数可由转移概率密度和起始时刻的一维概率密度来确定。,9/18/2024,106,二、马尔可夫序列的性质,一个马尔可夫序列的子序列仍为马尔可夫序列。,证：对于马尔可夫序列,设子序列,则有,所以子序列,也是马尔可夫序列。,9/18/2024,107,（,2,）一个马尔可夫序列按其相反方向组成的逆序列仍为马尔可夫序列。即对于任意的整数,n,和,k,有,证：因为,同理,根据条件概率定义和以上两式有,所以,9/18/2024,108,（,3,）,，有,(3),证：,所以,若对于序列,，则称此序列为“鞅”。,9/18/2024,109,（,4,）若,，并在给定,条件下，随机变量,与,是独立的，则有,证：因为,所以原结论成立。,证毕,9/18/2024,110,（,5,）若对于任意,，序列,满足,则该序列为,2,重马尔可夫序列。此概念可推广到,对于多个序列有,重马尔可夫序列。,9/18/2024,111,（,6,）如果条件概率密度,与,（,7,）如果一个马尔可夫序列是齐次的，并且所有的随机变量,具有相同的概率密度，则称该马尔可夫序列是平稳的。,马尔可夫序列的转移概率满足,此式就是有名的切普曼,柯尔莫哥洛夫方程（,C-K,方程）。,无关，则称该马尔可夫序列,（,8,）对于,是齐次的。,9/18/2024,112,1.6.3,马尔可夫链,一、马尔可夫链的定义,为一随机序列，其状态空间,，若对于任意的,，,满足,则称,为马尔可夫链（简称马氏链）。,定义,34,：设,9/18/2024,113,二、马尔可夫链的转移概率及性质,一步转移概率,在齐次条件下，,令,式,（,1.6.9,）中,时，有,称为一步转移概率。由所有一步转移概率,构成的矩阵,称为一步转移,概率,矩阵，简称转移,概率,矩阵。,（,1,）,（,2,）,9/18/2024,114,2 n,步转移概率,在齐次条件下，,令,式,（,1.6.9,）中,时，可得到,步转移概率,可构成,n,步转移概率矩阵,由所有,n,步转移概率,（,1,）,（,2,）,为了数学处理便利，通常规定,9/18/2024,115,3,切普曼,-,柯尔莫哥洛夫方程（,C-K,方程）,对于,步转移概率，有如下的切普曼,-,柯尔莫哥洛夫方程的离散形式,若用概率矩阵表示，有,当,时，有,同理可推出，当,时，有,即任意,k,步转移概率矩阵可由一步转移概率矩阵自乘,k,次来得到。,9/18/2024,116,例,1-18,在某数字通信系统中多级传输,0,、,1,两种数字信号。由于系统中存在干扰，在任一级输入,0,、,1,数字信号后，其输出不产生错误的概率为,p,，产生错误的概率为,q=1-p,，求两级传输时的概率转移矩阵。,解：系统每一级的输入状态和输出状态构成一个两状态的马氏链，其一步转移概率矩阵为,于是，两级,传输时的概率转移矩阵等效于两步转移概率矩阵为,9/18/2024,117,4,初始分布与绝对分布,定义,35,设,为一马氏链，其状态空间,或为有限子集。令,，且对任意的,（,1,）,（,2,）,则称,为该马氏链的初始分布，也称初始概率。初始概率是马氏链在初始时间,时处于状态,i,的概率。,当,时，马氏链处于状态,i,的概率称为绝对概率或绝对分布。,均有,定义,36,设,为一马氏链，其状态空间,或为有限子集。令,，且对任意的,（,1,）,（,2,）,则称,为该马氏链的,绝对,分布，也称,绝对,概率。,均有,9/18/2024,118,定理,3,马氏链的绝对概率由初始分布和相应的转移概率唯一确定。,为一马氏链，,为状态集，则对任意,时马氏链处于状态,的概率为,即,:,时,绝对概率,由初始概率,及一步转移概率,唯一确定。,时，绝对概率由下式确定：,即,:,绝对概率,由初始概率 及,n,步转移概率 唯一确定。,利用,C-K,方程，则,n,步转移矩阵可由一步转移矩阵唯一确定。,证：设,当,9/18/2024,119,推论：马氏链的绝对概率由初始分布及一步转移概率唯一确定。,由马氏链的转移概率和初始分布，不仅可以完全确定其绝对分布，也可以完全确定其有限维分布。即,9/18/2024,120,三、转移图（状态转移图与概率转移图）,若一步转移概率矩阵为,则相应的,概率转移图如图,1-11,所示。,9/18/2024,121,四、马氏链中的状态分类,到达与相通,定义,37,（到达定义）：如果对于状态,与,（可简写为,i,和,j,),总存在某个,，使得 ，则称自,i,状态经过,n,步可以到达,j,状态，并记为,反之，若对所有的,有 ，则自,i,状态不可以到达,j,状态，并记为,到达具有传递性，即若, ,则,定义,38,（相通定义）：若自状态,i,可达状态,j,，同时自状态,j,也可达状态,i,，则称状态和状态相通，记为,相通具有以下等价关系：,（,1,）若 ，则,自返性,（,2,）若 ，则 ，对称性,（,3,）若 ， ，则 ，传递性,9/18/2024,122,例,1-21,设一两状态,马氏链具有以下转移概率矩阵,解：要讨论这一马,氏链两个状态的到达性，可先求出它的,n,步转移概率矩阵。由于,对于所有的,n,，故状态“,1”,不能到达状态“,0”,；而存在,n,使得,故状态“,0,”,可以到达状态“,1,”,。,讨论其状态的到达特性。,9/18/2024,123,例,1-22,无限制的随机游走问题。考虑一个质点在直线上作随机游走如果在某一时刻质点位于,i,则下一步质点将以概率 向前游走一步到达,i+1,处，或以概率 向后游走一步到达,i-1,处。现规定，这一质点只能“向前”或“向后”游走一步，并且经过一个单位时间它必须“向前”或“向后”游走。讨论其状态的相通性。,解：如果以,表示,n,时刻质点的位置，则 是一个随机过程。而且，当 时， 等在时刻,n,后质点所处的状态仅与 有关，而与质点在时刻,n,以前是如何到达,i,的无关故它是一个齐次马尔可夫链。状态空间 ，一步转移概率为,从而一步转移概率矩阵为,9/18/2024,124,下面求,n,步转移概率,如在,n,次转移的结果是从,i,到,j,n,次转移中恰好向前游走,m,次，向后游走,k,次，则有,联立上两式求解可得,根据概率法则，不难求得,n,步转移概率为,其中,时， 反映了在,n,，,i,，,j,之间存在的一种约束关系。由于对于满足要求的,n,，,i,，,j,， ，所以无限制的随机游走中的各个状态是相通的。,9/18/2024,125,2,状态的分类,定义,39,设 为一马氏链，对任一状态,i,与,j,，称,为 自状态,i,出发首次进入状态,j,的时刻，或称为自,i,到,j,的首达时。,是一随机变量,。,另外，,可能永不取值,i,，这时我们就规定,定义,40,设 为一马氏链，对任一状态,i,与,j,，称,为 自状态,i,出发经过,n,步首次进入状态,j,的概率。,显然有,从而,9/18/2024,126,定义,41,设 为一马氏链，对任一状态,i,与,j,，称,为 自状态,i,出发迟早要到达状态,j,的概率。,显然有,9/18/2024,127,定理,4,对任何状态,，有,证明：因为,9/18/2024,128,定义,42,如果 ，则称状态,j,是常返的。如果 ，则称状态,j,是非常返的（或称为瞬时的）。如果马尔可夫链的任一状态都是常返的，则称此链为常返马尔可夫链。,定理,5,的充要条件是,证明：充分性：若,，则根据到达的定义，总存在某个 ，使,所以,这样 ，,至少有一个为正（不为,0,），所以,必要性：若,，则由,至少有一个,使,，故,表示自状态,i,出发，在有限步内迟早要返回状态,i,的概率，,是在,0,与,1,之间的一个数。,9/18/2024,129,定理,6,状态,i,是,常返（ ）的充要条件为,证明：充分性：因为,有,两边对,n,从,1,到,N,求和有,于是有,注意到,，所以在上式中令,时有,现已知,，则上式左边极限为,1,，于是有,状态,j,是常返态。,令,9/18/2024,130,必要性：因为,若取,则有,于是有,如果,则在上式中令,时有,再令,有,由非常返的定义，状态,j,是非常返的，这与必要性的前提假设矛盾，所以必须有,9/18/2024,131,系：如果状态,j,是非常返的，则必有,设,i,是一常返态，则从,i,出发可经过,n,步首次返回,i,， 在 的条件下的分布列为,1,2,n,P,由数学期望的定义，可得,称,为状态,i,的平均返回时间。,9/18/2024,132,定义,43,设,i,是常返态，如果 ，则称状态,i,是正常返态；如果,则称状态,i,是零常返态。,定理,7,设,i,为常返状态，有周期,则,系：如果,j,是常返态，则,（,1,）,j,零常返当且仅当,（,2,）,j,遍历当且仅当,定义,44,对于状态,i,，若正整数集合 非空，则称该集合的最大公约数,L,为状态,i,的周期。若 ，则称状态,i,是周期的，若 ，则称状态,i,是非周期的。如果状态,i,是非周期且正常返的，则称状态,i,是遍历的。,9/18/2024,133,马氏状态分类图,9/18/2024,134,状态分类判别法：,（,1,）,i,非常返,（,2,）,i,零常返,且,且,（,4,）,i,遍历,且,（,3,）,i,正常返,9/18/2024,135,引理,1,对任意,i,和,j,，若 ，则存在正数 、及正整数,l,、,m,，使对任一正整数,n,，有,、,定理,8,若 ，则,（,1,）,i,与,j,同为常返或同为非常返；,（,2,）若,i,与,j,常返，则,i,与,j,同为正常返或同为零常返；,（,3,）,i,与,j,或同为非周期的，或同为周期的且有相同的周期。,9/18/2024,136,3,遍历性与平稳分布,定义,45,：设齐次马氏链 的状态空间为,E,，若对一切 ，存在不依赖于,i,的极限,则称马尔可夫链具有遍历性。并 称为状态,j,的稳态概率。,定理,9,对于一有限状态的马氏链 ，若存在一正整数,m,，使,（对所有的状态 ）,则此链是遍历性的，且 是,的满足条件 的唯一解。,9/18/2024,137,对平稳分布 ，有,=,一个非周期，不可约的马氏链是常返的，它存在一个平稳分布 ，即 ，即平稳分布就是极限分布。,遍历的马氏链一定具有平稳性，但平稳的马氏链不一定具有遍历性（不遍历的马氏链也可具有平稳性）。,9/18/2024,138,例,1-23,设马尔可夫链的状态空间 ，一步转移概率矩阵,试对该链进行分类，并说明其遍历性。,解：根据一步转移概率矩阵可画出如图,1-12,所示的状态转移图。从图中可知，,和,都是非周期的正常返状态，,、,状态都是非常返状态。,由于,说明,存在（,i=1,2,3,4,）,但与,i,有关，所以该链不是遍历的。,9/18/2024,139,五、状态空间分解,定义,46,设 ，若从,V,中任一状态出发不能到达,V,外的任一状态，则称,V,为闭集。,显然，对一切,和 有,若中仅含有单个状态，则此闭集称为吸收态。它构成了一个较小的闭集。而整个空间构成一个较大的闭集。除了整个状态空间外，没有别的闭集的马尔可夫链称为不可约的马尔可夫链。此时整个空间的所有状态皆是相通的。闭集内任一状态，不论转移多少步，都不能转移到闭集之外的状态上去，即随着时间的推移，闭集内任一状态只能在闭集内部的状态之间转移。,定理,10,马尔可夫链的所有常返状态构成的集合是一闭集。,9/18/2024,140,定理,11,（分解定理）状态空间,E,必可分解为,其中,N,是全体非常返态组成的集合， 是互不相交的常返态闭集组成。而且,（,1,）对每一确定的,k,内任意两状态相通；,（,2,） 与,( ),中的状态之间不相通,；,9/18/2024,141,例,1-25,设齐次马氏链 的状态空间 ，其一步转移概率矩阵为,试对该空间进行分解。,9/18/2024,142,解：根据一步转移概率矩阵，可画出如图所示的状态转移图。,由图可知， ，而当 时， ，所以 ， 可见状态,1,为正常返，且周期 。含有状态,1,的常返闭集为,同理，因为 ， ，在 时， ，所以,可见状态,6,为正常返，且是非周期的。含有状态,6,的常返闭集为,状态,2,，,6,为遍历状态,.,由于 ，在 时， ，所以 。可见状态,4,为非常返。,故,9/18/2024,143,1.7,泊松过程,独立增量过程,设有一个随机过程 ，如果对任意时刻 ，过程的增量 、 、 是相互独立的随机变量，则称 为独立增量过程，又称为可加过程。,泊松过程,设随机过程 ， ，其状态只取非负整数值，若满足下列三个条件：,（,2,） 为均匀独立增量过程；,（,1,）,（,3,）对任意时刻 ， ，相应的随机变量的增量服从数学期望为 的泊松分布，即对于,k=0,1,2,.,有,其中， 则称 为泊松过程。,9/18/2024,144,一、泊松过程的一般概念,泊松过程 满足如下条件：,（,1,）对于任意时刻,，出现事件次数,是相互独立的；,（,2,）对于充分小的,，在,内出现时间一次的概率为,其中,是在,时关于,的高阶无穷小量；常数,，,称为过程 的强度；,（,3,）对于充分小的,，在,内出现事件两次及两次以上的概率为,这就是说，一个随机过程 如果能满足上述三个条件，则它为泊松过程。,9/18/2024,145,图,1-14,（,a,）给出了泊松过程,的示意图。由图可见，泊松过程,的每一个样本函数,都呈阶梯形，它在每个随机点,的阶跃（即：步长为“,1”,）。对于给定的,，,等于在时间间隔,随机点数。如果用计数器记录各随机时刻,射出的电子数目，则在时刻,，计数器的指示数即为,。,处产生单位为“,1”,内的,9/18/2024,146,图,1-14,（,a,）泊松过程得示意图；（,b,）泊松增量；（,c,）泊松冲激序列,9/18/2024,147,二、泊松过程的统计量,对于给定的时刻,和,，且,，式（,1.7.1,）可改写成,先来讨论服从泊松分布的随机变量,及,的数学期望，方差和相关函数等统计量。,1,数学期望 令,，因此，均值为,=,2.,均方值与方差 令 ，故均方值为,=,9/18/2024,148,而方差为,=,3.,相关函数,若,，则时间间隔,和,因此，随机变量,与,的数学期望等于它们各自数学期望之积，即,互不交叠（图,1-15(a),），,统计独立，故它们之积,若 ，则时间间隔 和 相重叠（图,1-15b,），因此，上式不再成立。,图,1-15,时间位置图,9/18/2024,149,经过简单运算后，可得,式中，,就是间隔,与,我们可推导出泊松过程,的数学期望和相关函数。,交叠部分的长度。然后，运用上