第五章马尔可夫过程课件

我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物马尔可夫过程马尔可夫过程的概念的概念离散参数离散参数马尔可夫链马尔可夫链连续参数连续参数马尔可夫链马尔可夫链生灭过程及应用生灭过程及应用5 马尔可夫过程马尔可夫过程的概念5 马尔可夫过程1我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物有限维概率分布有限维概率分布(簇簇)转移概率转移概率 绝对概率绝对概率 极限分布极限分布 平稳分布平稳分布状态空间的性质状态空间的性质 5 5 马尔可夫过程马尔可夫过程有限维概率分布(簇)5 马尔可夫过程2我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念5.1.1 5.1.1 有关定义有关定义随机过程马尔可夫性：随机过程马尔可夫性：（物理描述）（物理描述）当随机过程在时刻当随机过程在时刻 ti 所处的状态为已知的条件下，过所处的状态为已知的条件下，过程在时刻程在时刻 t(ti)所处的状态，与过程在所处的状态，与过程在ti时刻以前的状态无时刻以前的状态无关，而仅与在关，而仅与在ti时刻的状态有关。这种已知时刻的状态有关。这种已知“现在现在”状态的状态的条件下，条件下，“将来将来”状态与状态与“过去过去”状态无关的性质，称为状态无关的性质，称为马尔可夫性马尔可夫性或或无后效性无后效性。具有具有马尔可夫性马尔可夫性或或无后效性的无后效性的随机过程，即是随机过程，即是马尔可马尔可夫夫过程过程。5.1 马尔可夫过程的概念3我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.1 5.1 马尔可夫过程的概念马尔可夫过程的概念5.1.1 5.1.1 有关定义有关定义马尔可夫过程定义：马尔可夫过程定义：（条件概率）（条件概率）给定随机过程给定随机过程X(t),t T,若对于任意若对于任意n(3)个时刻个时刻t1t2 tn-1 tn T,有有 PX(tn)xn|X(t1)=x1,X(t2)=x2,X(tn-1)=xn-1 =PX(tn)xn|X(tn-1)=xn-1或或 Fxn|x1,x2,xn-1;t1,t2,tn-1=Fxn;tn|xn-1;tn-1或或 fxn|x1,x2,xn-1;t1,t2,tn-1=fxn;tn|xn-1;tn-1则称则称随机过程随机过程X(t),t T为为马尔可夫过程马尔可夫过程。5.1 马尔可夫过程的概念4我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念5.1.1 5.1.1 有关定义有关定义例例1 1 直线上的随机游动。直线上的随机游动。例例2 2 电话交换站在某时刻接到的呼唤次数。电话交换站在某时刻接到的呼唤次数。0,t=0,tm+(tm,t 次数次数(t)=次数次数(tm)+次数次数(tm,t)例例3 布朗运动。布朗运动。概率概率p概率概率q概率概率p概率概率qX(0)X(n)5.1 马尔可夫过程的概念概率p概率q概率p概率qX(0)X5我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念5.1.1 5.1.1 有关定义有关定义转移概率分布函数和转移概率密度的定义：转移概率分布函数和转移概率密度的定义：把马尔可夫过程把马尔可夫过程X(t),t T的条件概率分布函数的条件概率分布函数，F(x2;t2|x1;t1=PX(t2)x2|X(t1)=x1称为称为马尔可夫过程的马尔可夫过程的(状态）状态）转移概率函数转移概率函数。如果如果 则称则称f(x;t|x0;t0)为为马尔可夫过程的马尔可夫过程的转移概率密度转移概率密度。5.1 马尔可夫过程的概念6我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念5.1.1 5.1.1 有关定义有关定义齐次马尔可夫过程的定义：齐次马尔可夫过程的定义：如果马尔可夫过程的转移如果马尔可夫过程的转移概率函数或概率函数或转移概率密度转移概率密度,只与只与转移前后的状态及相应的二个时刻的时间差有关，而与二个转移前后的状态及相应的二个时刻的时间差有关，而与二个时刻无关，即时刻无关，即 F(x2;t2|x1;t1)=F(x2|x1;t2-t1)f(x2;t2|x1;t1)=f(x2|x1;t2-t1)称具有这种特性的称具有这种特性的马尔可夫过程为马尔可夫过程为齐次马尔可夫过程齐次马尔可夫过程。5.1 马尔可夫过程的概念7我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念5.1.1 5.1.1 有关定义有关定义高阶马尔可夫过程的定义：高阶马尔可夫过程的定义：如果马尔可夫过程在如果马尔可夫过程在tn时刻的状态，只与时刻的状态，只与tn时刻以前的时刻以前的tn-1,tn-2,tn-k这这k个时刻的状态有关，而与更前时刻的状态无个时刻的状态有关，而与更前时刻的状态无关，即关，即 F(xn;tn|xn-1,xn-2,xn-k,xn-k-1,x2,x1;tn-1,tn-2,tn-k,tn-k-1,t2,t1)=F(xn;tn|xn-1,xn-2,xn-k;tn-1,tn-2,tn-k)或或 f(xn;tn|xn-1,xn-2,xn-k,xn-k-1,x2,x1;tn-1,tn-2,tn-k,tn-k-1,t2,t1)=f(xn;tn|xn-1,xn-2,xn-k;tn-1,tn-2,tn-k)则称具有这种特性的则称具有这种特性的马尔可夫过程为马尔可夫过程为k阶马尔可夫过程阶马尔可夫过程。5.1 马尔可夫过程的概念8我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念5.1.2 5.1.2 切普曼柯尔莫哥洛夫方程切普曼柯尔莫哥洛夫方程定理：定理：马尔可夫过程的转移概率密度之间有下列关系：马尔可夫过程的转移概率密度之间有下列关系：其中，其中，tktrtn。此式。此式称为称为切普曼柯尔莫哥洛夫切普曼柯尔莫哥洛夫(Chapman-Kolmogorov)方程。方程。证证 利用由联合概率密度求边缘概率密度公式得利用由联合概率密度求边缘概率密度公式得根据条件概率密度公式，上式的被积函数可表示成根据条件概率密度公式，上式的被积函数可表示成5.1 马尔可夫过程的概念9我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念5.1.2 5.1.2 切普曼柯尔莫哥洛夫方程切普曼柯尔莫哥洛夫方程带入上式右端有带入上式右端有5.1 马尔可夫过程的概念10我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念5.1.3 5.1.3 马尔可夫过程的分类马尔可夫过程的分类（1 1）时间离散、状态离散的马尔可夫过程）时间离散、状态离散的马尔可夫过程马尔可夫链马尔可夫链。参数集参数集T=0,1,2,T=0,1,2,状态空间状态空间E=E=整数整数（2 2）时间连续、状态离散的马尔可夫过程）时间连续、状态离散的马尔可夫过程可列马尔可夫可列马尔可夫过程、连续参数马尔可夫链过程、连续参数马尔可夫链。参数集参数集T=0,T=0,状态空间状态空间E=E=整数整数（3 3）时间离散、状态连续的马尔可夫过程）时间离散、状态连续的马尔可夫过程马尔可夫序列马尔可夫序列。参数集参数集T=0,1,2,T=0,1,2,状态空间状态空间E=(-,+)E=(-,+)（4 4）时间连续、状态连续的）时间连续、状态连续的马尔可夫过程马尔可夫过程。参数集参数集T=0,T=0,状态空间状态空间E=(-,+)E=(-,+)5.1 马尔可夫过程的概念11我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念 例例1 1 独立过程是马尔可夫过程独立过程是马尔可夫过程。证证 设设X(t),t T是一是一独立过程，随机事件独立过程，随机事件X(t1)=x1,X(t2)=x2,X(tn-1)=xn-1,X(tn)xn相互独立，所以相互独立，所以 PX(tn)xn|X(t1)=x1,X(t2)=x2,X(tn-1)=xn-1 =PX(tn)xn =PX(tn)xn|X(tn-1)=xn-1因此，因此，X(t),t T是是马尔可夫过程。马尔可夫过程。5.1 马尔可夫过程的概念12我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念 例例2 2 独立增量过程是马尔可夫过程独立增量过程是马尔可夫过程。证证 设设X(t),t T是一是一独立增量过程，且独立增量过程，且X(0)=0，有，有X(t1)-X(0)=X(t1),X(t2)-X(t1),X(tn-1)-X(tn-2),X(tn)-X(tn-1)相互独立。在相互独立。在X(tn-1)已知的条件下，已知的条件下，X(tn)-X(tn-1)与与X(t1)，X(t2)=X(t2)-X(t1)+X(t1),X(t3)=X(t3)-X(t2)+X(t2),X(tn-1)=X(tn-1)-X(tn-2)+X(tn-2)相互独立。相互独立。PX(tn)xn|X(t1)=x1,X(t2)=x2,X(tn-1)=xn-1=PX(tn)-X(tn-1)xn-xn-1|X(t1)=x1,X(t2)=x2,X(tn-1)=xn-1=PX(tn)-X(tn-1)xn-xn-1=PX(tn)xn|X(tn-1)=xn-1因此，因此，X(t),t T是是马尔可夫过程。马尔可夫过程。5.1 马尔可夫过程的概念13我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.1 5.1 马尔可夫过程马尔可夫过程的概念的概念例例3 3 维纳过程维纳过程W(t),t0是是独立增量过程，且独立增量过程，且W(0)=0，所以，所以，维纳过程是马尔可夫过程。维纳过程是马尔可夫过程。例例4 4 泊松过程泊松过程N(t),t0是是独立增量过程，且独立增量过程，且N(0)=0，所以，所以，泊松过程是马尔可夫过程。泊松过程是马尔可夫过程。思考：思考：马尔可夫过程的无前效性。马尔可夫过程的无前效性。5.1 马尔可夫过程的概念14我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.1 5.2.1 马尔可夫链的概念马尔可夫链的概念 马尔可夫链是参数集马尔可夫链是参数集T和状态空间和状态空间E皆离散的马尔可夫过皆离散的马尔可夫过程。程。T=0,1,2,，E=i1,i2,.马尔可夫链定义：马尔可夫链定义：设随机序列设随机序列X(n),n=0,1,2,的离散状态空间为的离散状态空间为E=i1,i2,若对于任意的非负整数若对于任意的非负整数k k和和n1n2 nm,以及任意以及任意i1,i2,im,im+k E,有有 PX(nm+k)=im+k|X(n1)=i1,X(n2)=i2,X(nm)=im =PX(nm+k)=im+k|X(nm)=im则称则称随机序列随机序列X(n),n=0,1,2,为为马尔可夫链马尔可夫链。5.2 马尔可夫链15我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.1 5.2.1 马尔可夫链的概念马尔可夫链的概念马尔可夫链的状态转移和状态转移矩阵：马尔可夫链的状态转移和状态转移矩阵：n1n2n1n2n1n2n3C-K5.2 马尔可夫链n1n2n1n2n1n2n3C-K16我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.1 5.2.1 马尔可夫链的概念马尔可夫链的概念马尔可夫链的转移概率及其矩阵：马尔可夫链的转移概率及其矩阵：马尔可夫链马尔可夫链 X(n),n=0,1,2,在时刻在时刻m处于状态处于状态i的条件的条件下，在时刻下，在时刻m+k处于状态处于状态j的条件概率，称为的条件概率，称为马尔可夫链马尔可夫链在在m时刻的时刻的k k步转移概率步转移概率，记为，记为 pij(m,k)=PX(m+k)=j|X(m)=i 当当k=1时，时，pij=pij(m,1)=PX(m+1)=j|X(m)=i称为称为马尔可夫链马尔可夫链在在m时刻的时刻的一步转移概率一步转移概率，简称简称转移概率转移概率。k为为转移步长转移步长。显然显然，0 pij(m,k)1。5.2 马尔可夫链17我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.1 5.2.1 马尔可夫链的概念马尔可夫链的概念马尔可夫链的转移概率及其矩阵：马尔可夫链的转移概率及其矩阵：对于有限状态空间对于有限状态空间E=1,2,N,由由马尔可夫链马尔可夫链 X(n),n=0,1,2,在时刻在时刻m的的k k步转移概率步转移概率pij(m,k)形成的下列矩阵形成的下列矩阵称为称为马尔可夫链马尔可夫链在在m时刻的时刻的k k步转移矩阵步转移矩阵。当当k=1k=1时，时，称为称为一步转移矩阵一步转移矩阵，简称简称转移矩阵转移矩阵。5.2 马尔可夫链18我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链齐次马尔可夫链及其转移概率：齐次马尔可夫链及其转移概率：如果马尔可夫链如果马尔可夫链 X(n),n=0,1,2,的的转移概率转移概率pij(m,k)与与m无关，即无关，即 pij(m,k)=PX(m+k)=j|X(m)=i=pij(k)则称为则称为齐次齐次马尔可夫链马尔可夫链,pij(k)称为称为k步转移概率步转移概率。一步转移概率简写为一步转移概率简写为 pij =pij(1)=PX(m+1)=j|X(m)=i 规定规定 显然显然，0pij(k)1。5.2 马尔可夫链19我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链齐次马尔可夫链转移矩阵：齐次马尔可夫链转移矩阵：对于有限状态空间对于有限状态空间E=1,2,N,齐次马尔可夫链齐次马尔可夫链 X(n),n=0,1,2,的的k k步转移矩阵步转移矩阵为为且且 0pij(k)1，随机矩阵随机矩阵。5.2 马尔可夫链20我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物随机矩阵定义：随机矩阵定义：若若 ,且满足且满足 则称矩阵则称矩阵为为随机矩阵随机矩阵。随机矩阵定义：21我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链齐次马尔可夫链转移矩阵：齐次马尔可夫链转移矩阵：对于无限状态空间对于无限状态空间E=1,2,齐次马尔可夫链齐次马尔可夫链 X(n),n=0,1,2,的的k k步转移矩阵步转移矩阵为为且且 0pij(k)1，。5.2 马尔可夫链22我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链齐次马尔可夫链转移矩阵：齐次马尔可夫链转移矩阵：对于有限状态空间对于有限状态空间E=1,2,N,齐次马尔可夫链齐次马尔可夫链 X(n),n=0,1,2,的的一步转移一步转移矩阵矩阵为为且且 0pij 1，随机矩阵随机矩阵。5.2 马尔可夫链23我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物概率概率p概率概率qi=123455.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链:转移矩阵转移矩阵例例1 1：直线上带两个吸收壁的随机游动直线上带两个吸收壁的随机游动 状态空间状态空间E=1,2,3,4,5,1和和5为为吸收壁状态。吸收壁状态。转移概率：转移概率：当当i=1,5时，时，p11=1,p1j=0(j1),p55=1,p5j=0(j5)当当i=2,3,4时，时，pi,i+1=p,pi,i-1=q,pi,j=0(ji-1,i+1)所以一步转移所以一步转移矩阵为矩阵为概率p概率qi=123455.2 马尔可夫链24我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链:转移矩阵转移矩阵例例2 2：直线上带两个弹性壁的随机游动直线上带两个弹性壁的随机游动 状态空间状态空间E=1,2,3,4,5,1和和5为为弹性壁状态。当质点处于弹性壁状态。当质点处于2、3、4位置时，下一时刻向左和向右移动的概率分别为位置时，下一时刻向左和向右移动的概率分别为q和和p；当处当处于于1位置时，下一时刻留在原位的概率为位置时，下一时刻留在原位的概率为q，右移一格的概率，右移一格的概率为为p；当处于当处于5位置时，下一时刻留在原位的概率为位置时，下一时刻留在原位的概率为p，左移一，左移一格的概率为格的概率为q。转移概率为：转移概率为：转移矩阵为：转移矩阵为：p11=q,p12=p,p1j=0(j=3,4,5),p55=p,p54=q,p5j=0(j=1,2,3)当当i=2,3,4时，时，pi,i+1=p,pi,i-1=q,pi,j=0(ji-1,i+1)5.2 马尔可夫链25我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链齐次马尔可夫链转移概率之间的关系：齐次马尔可夫链转移概率之间的关系：齐次马尔可夫链齐次马尔可夫链X(n),n=0,1,2,的的转移概率满足转移概率满足切普切普曼柯尔莫哥洛夫方程曼柯尔莫哥洛夫方程：证证5.2 马尔可夫链26我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链齐次马尔可夫链转移概率之间的关系：齐次马尔可夫链转移概率之间的关系：齐次马尔可夫链的齐次马尔可夫链的切普曼柯尔莫哥洛夫切普曼柯尔莫哥洛夫方程写成矩阵方程写成矩阵形式：形式：P(k+l)=P(k)P(l)当当k=1,l=1时，时，P(2)=P(1)P(1)=P(1)2当当k=2,l=1时，时，P(3)=P(2)P(1)=P(1)3一般地有一般地有 P(n)=P(1)n=Pn可见，可见，n步步转移概率（矩阵）等于转移概率（矩阵）等于n个一个一步步转移概率（矩阵）转移概率（矩阵）的乘积的乘积。5.2 马尔可夫链27我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链：转移概率齐次马尔可夫链：转移概率例：例：天气预报问题。天气预报问题。设明天是否有雨，仅与今天的天气有关，设明天是否有雨，仅与今天的天气有关，而与过去的天气无关。今天下雨明天也下雨的概率为而与过去的天气无关。今天下雨明天也下雨的概率为p,今天无今天无雨明天有雨的概率为雨明天有雨的概率为q。有雨天气为状态。有雨天气为状态0 0，无雨天气为状态，无雨天气为状态1 1。若若p=0.7,q=0.4,求今天有雨且第四天有雨的概率。求今天有雨且第四天有雨的概率。解解 一步转移概率矩阵：一步转移概率矩阵：二步转移概率矩阵：二步转移概率矩阵：四步转移概率矩阵：四步转移概率矩阵：5.2 马尔可夫链28我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链初始概率和绝对概率：初始概率和绝对概率：齐次马尔可夫链齐次马尔可夫链X(n),n=0,1,2,在初始时刻取各状态在初始时刻取各状态的概率分布：的概率分布：pi=pi(0)=PX(0)=i,i=1,2,称为称为齐次马尔可夫链的齐次马尔可夫链的初始概率分布初始概率分布。显然，显然，0pi 1，齐次马尔可夫链齐次马尔可夫链X(n),n=0,1,2,在第在第n时刻取各状态的时刻取各状态的概率分布：概率分布：pi(n)=PX(n)=i,i=1,2,称为称为齐次马尔可夫链齐次马尔可夫链在时刻在时刻n的的绝对概率分布绝对概率分布。显然，显然，0pi(n)1，当当n=0时，时，绝对概率分布变为初始概率分布绝对概率分布变为初始概率分布。5.2 马尔可夫链29我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链绝对概率与初始概率和转移概率之间的关系：绝对概率与初始概率和转移概率之间的关系：可见，可见，齐次马尔可夫链的绝对概率分布完全由初始概率分布齐次马尔可夫链的绝对概率分布完全由初始概率分布和转移概率分布所确定。和转移概率分布所确定。5.2 马尔可夫链30我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链有限维概率分布与初始概率和转移概率之间的关系：有限维概率分布与初始概率和转移概率之间的关系：定理：定理：齐次马尔可夫链的有限维概率分布完全由初始概率分齐次马尔可夫链的有限维概率分布完全由初始概率分布和转移概率分布所确定，即布和转移概率分布所确定，即 证证 5.2 马尔可夫链31我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.2 5.2.2 齐次马尔可夫链齐次马尔可夫链5.2 马尔可夫链32我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.3 5.2.3 马尔可夫链的遍历性与极限分布马尔可夫链的遍历性与极限分布几个几个定义定义：有限马尔可夫链有限马尔可夫链：具有有限多个状态的马尔可夫链。具有有限多个状态的马尔可夫链。E=1,2,N 无限马尔可夫链无限马尔可夫链：具有无限多个状态的马尔可夫链。具有无限多个状态的马尔可夫链。E=1,2,概率分布概率分布：若有限或无限数列若有限或无限数列pi,i=1,2,满足条件：满足条件：pi 0;则称则称pi,i=1,2,是概率分布。是概率分布。5.2 马尔可夫链33我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.3 5.2.3 马尔可夫链的遍历性与极限分布马尔可夫链的遍历性与极限分布遍历性定义：遍历性定义：若一个齐次马尔可夫链对于一切状态若一个齐次马尔可夫链对于一切状态i与与j的转移概率的的转移概率的极极限限存在，且与存在，且与i无关，无关，则称此则称此马尔可夫链具有马尔可夫链具有遍历性遍历性。对于有限马尔可夫链，显然有对于有限马尔可夫链，显然有 j 0;此时，称此时，称j,j=1,2,N是该是该马尔可夫链的马尔可夫链的极限极限分布分布。5.2 马尔可夫链34我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.3 5.2.3 马尔可夫链的遍历性与极限分布马尔可夫链的遍历性与极限分布遍历性定义：遍历性定义：转移矩阵的极限转移矩阵的极限5.2 马尔可夫链35我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.3 5.2.3 马尔可夫链的遍历性与极限分布马尔可夫链的遍历性与极限分布有限马尔可夫链具有遍历性充分条件定理：有限马尔可夫链具有遍历性充分条件定理：对于一有限马尔可夫链，若存在一正整数对于一有限马尔可夫链，若存在一正整数m，使得，使得 则此则此链是遍历的；而且其极限分布链是遍历的；而且其极限分布1,2,N是方程组是方程组满足条件满足条件的唯一解。的唯一解。5.2 马尔可夫链36我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.3 5.2.3 马尔可夫链的遍历性与极限分布马尔可夫链的遍历性与极限分布遍历马尔可夫链绝对概率的极限：遍历马尔可夫链绝对概率的极限：可见，可见，对于遍历马尔可夫链，绝对概率的极限与转移概率的对于遍历马尔可夫链，绝对概率的极限与转移概率的极限相同。极限相同。5.2 马尔可夫链37我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.3 5.2.3 马尔可夫链的遍历性与极限分布马尔可夫链的遍历性与极限分布例：例：直线上带弹性壁的随机游动，若只取直线上带弹性壁的随机游动，若只取1,2,31,2,3三个点，其一三个点，其一步转移概率矩阵为步转移概率矩阵为二步转移概率矩阵为二步转移概率矩阵为 其中的所有元素都大于零，所以此链是遍历的。极限分布存其中的所有元素都大于零，所以此链是遍历的。极限分布存在，在，5.2 马尔可夫链38我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.3 5.2.3 马尔可夫链的遍历性与极限分布马尔可夫链的遍历性与极限分布例：例：求极限分布求极限分布j,j=1,2,3 ：根据根据有有5.2 马尔可夫链39我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.4 5.2.4 马尔可夫链的平稳分布马尔可夫链的平稳分布平稳分布定义：平稳分布定义：若齐次马尔可夫链的一个若齐次马尔可夫链的一个概率分布概率分布vj,jE满足满足则称则称vj,jE为为该链的平稳分布。该链的平稳分布。一般地，若一般地，若vj,jE为为平稳分布，则有平稳分布，则有5.2 马尔可夫链40我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.4 5.2.4 马尔可夫链的平稳分布马尔可夫链的平稳分布平稳分布性质：平稳分布性质：如果齐次马尔可夫链的初始如果齐次马尔可夫链的初始概率分布概率分布pj,jE为为平稳分平稳分布，则该链在任意时刻布，则该链在任意时刻n n的绝对概率分布都等于初始的绝对概率分布都等于初始概率分布，概率分布，即即5.2 马尔可夫链41我吓了一跳，蝎子是多么丑恶和恐怖的东西，为什么把它放在这样一个美丽的世界里呢？但是我也感到愉快，证实我的猜测没有错：表里边有一个活的生物5.2 5.2 马尔可夫链马尔可夫链5.2.4 5.2.4 马尔可夫链的平稳分布马尔可夫链的平稳分布平稳分布性质：平稳分布性质：遍历的齐次马尔可夫链的极限遍历的齐次马尔可夫链的极限分布等于分布等于平稳分布平稳分布。证证 若齐次马尔可夫链具有遍历性，其极限分布为若齐次马尔可夫链具有遍历性，其极限分布为5.2 马尔可夫链42