几种常用的随机过程

第十讲几种常用的随机过程10.110.1马尔可夫过程10.1.110.1.1 马尔可夫序列马尔可夫序列是指时间参数离散，状态连续的马尔可夫过程。一个随机变量序列Xn(n=1,2,)， 若对于任意的n有Fx(Xn|Xn1，Xn_2,，Xi)FX(Xn1Xn-1)(10.1)或fX(XnlXn1，Xn2，.，Xl)=fX(XnXn-1)(10.2)则称Xn为马尔可夫序列。Xn的联合概率密度为fX(X1X2.-.,Xn)fX(XnlXn1)fX(XnXn-2)fx(X21X)fx(X)(10.3)马尔可夫序列有如下性质：10一个马尔可夫序列的子序列仍为马尔可夫序列。11fX(XnXn+1，Xn+2,，Xn+k)=fX(Xn1Xn1)(10.4)12E(XnXn-l,，Xi)E(XnXn-i)2.%2(4)在一个马尔可夫序列中，若已知现在，则未来与过去相互独立。即fX(Xn，XslX)=fX(XnXn1)fX(XslX),nrs(10.6)(5)若条件概率密度fx(XnlX1)与n无关，则称马尔可夫序列是齐次的。(6)若一个马尔可夫序列是齐次的， 且所有的随机变量Xn具有同样的概率密度，则称该马尔可夫序列为平稳的。(7)马尔可夫序列的转移概率满足切普曼柯尔莫哥洛夫方程，即fX(Xn1Xr)fX(Xr1Xs),nrs(10.7)fx(Xn|Xs)=10.1.2马尔可夫链马尔可夫链是指时间参数，状态方程皆为离散的马尔可夫过程。1马尔可夫链的定义设Xn（n=1,2，）为离散时间随机过程，其状态空间1=a，a2,，aJ。如果过程在y+k时刻为任一状态a（i=1,2，N）的概率，只与过程Imk在tm时刻的状态有关，而与过程在时刻以前的状态无关，即PXmk-aimk|Xm-a%，I，X1-a/=PXmk=aimk|Xm=aim（10.8）则称该过程为马尔可夫链，或简称马氏链。2马氏链的转移概率及有限维分布马氏链的转移概率定义为Pij（m，mk）=pXm*=a/Xm=a，i，j=1,2,|N;m，k皆为正整数（10.9）如果您足心与m无关，则称该马氏链为齐次的。下面我们仅研讨齐次马氏链，并习惯上省去“齐次”二字马氏链的一步转移概率及其矩阵分别定义为PJPij(1)=Pij(m，m1)=PXm1=aj1Xm=ai(10.10)1.%2.%3NPi=12.%2.%3马氏链的高阶转移概率及其矩阵分别定义为P-P(1)P11P21P12P22PN1PN2P1NP2NIPNN(10.11)人步转移概率矩阵P有以下两个性质Pj(n)=pjmmn)=PXmjaj乂血(10.14)n步转移概率矩阵P(n)具有如下的性质:0工Pm、1NP。TI=1此外，还规定马氏链的n步转移概率及其矩阵具有如下的切普慢一柯尔摩哥洛夫方程的离散形式，即P(n)二Pii(n)P21(n).PN1(n)PIPlN(n)P22(n)川P2N(n)PN2(n)川PNN(n)(10.15)(10.16)(10.17)PJO)：P，j(m,m)1卜j0卜jNP8=P/1k)-pir(k)prj(10.18)r=11p(n)=p(1+k)=p(1)p(k)(10.19)当n为任意正整数时，则有np(n)=pp(n-1)=HI=p(10.20)式(7.18),若n=k+1,则有pk1)=pirpj(k)=pWprj21)rr由上可知，以一步转移概率Pij为元素的一步转移概率矩阵P决定了马氏链状态转移过程的概率法则。但是，P决定不了初始概率分布，必须引入初始概率ppX0=a=0,12川(10.22)并称P=(的口由2,)为初始分布，显然有(1)pi0,pi1(10.23)i若绝对概率R的二吠同，则有Pj(k1卜.PR*1)=.Pi(k)Pij马氏链的有限维分布可表示为pX0=ai0，Xi=aii,川，Xn=ai?=PX0=ai0PXi=aiJX0二ai)川PXn=ainIXn1=ainJ二PioPioil川Pinin3.遍历性及平稳分布(1)遍历性设X(n)为齐次马氏链，若对于一切状态i与j,存在不依赖于i的极限limPj(n)=Pi(10.36)n则称马氏链X(n)具有遍历性。定理(有限马氏链具有遍历性的充分条件)对有限状态的齐次马氏链X(n),若存在正整数m,使Pij(m)0,i,j=1,2,.,N(10.37)(10.24)(10.25)则此链是遍历的。而且，式(10.36)中的Pj=P1，P2,PJ是方程组NPj-PE=1,2,.,N(10.38)i在满足条件NopjVPj=1(10.39)i=1下的惟一解。(2)平稳分布马氏链的一个概率分布Q0vj,即:vj之0和vj=1,如有j=。oOvj=VjP(10.40)i=0ij则称它为该链的平稳分布。并有oOvi一MPij(n)(10.41)i=010.1.3马尔可夫过程这里论及的马尔可夫过程是指时间,状态皆连续的马尔可夫过程。扩散过程就是这类马尔可夫过程的一个特例。设有一随机过程：X(t),tT,tit2tn.tnT,若在t1,t2，tn_1,tn对X(t)观测得到相应的观测值x1,x2,.xn_1,xn满足FX(xnjtn/xn-1,xn-21,x2,x1tn-1tn-2t2,t1)=FX(xn；tn/xn-1；tn-1),n3勺整数(1Q42)则称此类过程为马尔可夫过程，简称马氏过程。马氏过程的转移概率分布定义为：FX(xn；tn|xn-1；tn_1)=PX(大尸X(tn一J4(10.43)或FX(x；t|%；to)=PX(t尸x|X(to)=xo,tto(10.44)转移概率分布是关于x的分布函数，故有:(1) Fx(x;t|x0;to)0(10.45)(2) FxS；t|x0;t0)=1(10.46)Fx(；t|x0;tj=0(10.47)(4)FX(x;t|x0;t0)是关于x单调不减，右连续的函数。(5)满足切普曼柯尔莫哥洛夫方程QOFx(x;t|x/t)dx1Fx(x1；t/x。；t)(10.48)马氏过程的转移概率密度定义为fx(x；t|x0；t0)=Fx(x；t|x0；t0)：xfx(xn；tn/xk；tk)fx(xn；nn/xr；tr)fx(xr；tr/xk；tk)dx,tktrtnFx(x;t|x0;tj=(1049)故有oofx(x;t/x0;t0)dx=110fx(x；t/x；t0)T6(x-x)，当 Lt0归fx(xn；tn/xn_1)xn.2).)x2)xi；tn_1,tn.2.,t2,t1)fx(xn;tn/xn_1；tn.1),n-3勺整数它也满足切普曼一一柯尔莫哥洛夫方程(1)(2)(3)(10.53)如果马氏过程x(t)有Fx(x；t/%；to)=Fx(x/Xo；),=t-to(10.54)或fx(x;t/%;t0)=fx(x/X0)j=t-t0(10.55)则称它为为齐次马尔可夫过程。马氏过程X(t)的n维概率密度可写成fx（xi，x2，.xn；ti，t2，.,tn）-1fx（X； ti） nfx（x+i； ti+i/x； ti） ,tit2.tn（10.56）i=110.2独立增量过程独立增量过程设有一个随机过程x(t)(teT),若对任意的时刻0飞tt2tnb,过程的增量x(t1)-x(t0)、x(t2)-x(t1)、x(tn)-x(tn-1)是相互独立的随机变量，则称x(t)为独立增量过程或可加过程。若参数集T=4。,则像马尔可夫过程一样，独立增量过程的有限维分布可由它的初始概率分布P(t0)： x)及一切增量的概率分布唯一地确定。如果独立增量过程X(t)的增量X(ti)-X(ti_1)的分布仅与(ti-tii有关，而与泊松过程实际上， 泊松过程就是一个纯不连续的马尔可夫过程，而且也是一个独立增量过程。泊松过程定义设随机过程X(t)(twto20,8)的状态只取非负整数值，若满足下列三个条件：PX(。)=0=1;X(t)为均匀独立增量过程；对任意时刻t1,t2(t0,8),t10内的增量与At之比，我们构成一新过程：称它为泊松增量。显然，若k是间隔(t,t+7)内的随机点数，则Y(t)=k/Ato故Y(t)的均值、自相关函数分别为:(10.59)(10.60)(10.61)Y(t);X(tt)-X(t)t(10.63)PY(t)K=jetk!(10.64)11EY(t)EX(tFEX(t)65)2,RY(tl,t2)=2t1-t2|/_+-八 73.过滤的泊松过程与散粒噪声泊松过程X(t)对t求导， 就能得到与时间轴上随机点ti相对应的冲激序列Z(t),称此离散随机过程为泊松冲激序列。即过滤的泊松过程设有一泊松冲激脉冲序列Z(t)=z5(t-ti)经过一线性时不i变滤波器，则此滤波器输出是一随机过程X(t)，如图：tl-t2t(10.66)|ti-t2tZ(t)-dX(t(t-ti)dti(10.67)N(T)X(t)=Z(t)h(t)=h(tt)0Mt(10.72)i=1式中，h(t)为滤波器的冲激响应；ti为第i个冲激脉冲出现的时间；N(t)为在0，T内输入到滤波器的冲激脉冲的个数，它服从泊松分布。我们称此为过滤的泊松过程。散粒噪声在电子管、晶体管中,由散粒效应引起的散粒噪声电流皆为过滤的泊松过程。因此，散粒噪声X(t)可表示成类似式(10.72)的形式。X(t)=Z(t)h(t)=h(t-ti)t:(10.73)i而且，不难证明此X(t)也是平稳的。10.2.3维纳过程维纳过程W(t)是另一个最重要的独立增Z(t)tl量过程，有时也称它为布朗运动过程，还可以将它看成是随机游动X(t)的极限形式。1.定义设随机过程W(t0,8)满足下列条件：PW(0)=0=1;W(t)为均匀独立增量过程，且对任意时刻ti、t2W0,8),tit2)为在W&)=W2之下随机变量W(ti)的条件概率密度。实际上，此式是柯尔莫格洛夫方程的特例。可以证明，下列条件概率密度式ti(10.86)t22w；P(W,t2；W,t fW(Wi；tiW；t2)&2i(皿一世)exPv2(ti-12)2(ti-12)(i0.88)是式(i0.85)具有初始条件为fW(Wi；tiW2；tz)T5(Wi-W2),tit2的惟一解ti,t2(i0.89)