连续时间马尔可夫链

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第五章：连续时间的马尔可夫链,连续时间马尔可夫链,定义,无穷小转移概率矩阵,柯尔莫哥洛夫,向前方程,与,向后方程,连续时间马尔可夫链的,应用,定义5.1：,设随机过程X(t),t0，状态空间I=i,n,n0，若对任意0t,1,t,2,tn1,及i,1,i,2,i,n+1,I，有,则称X(t),t0为,连续时间马尔可夫链,。,上式中条件概率可以写成,转移概率,的形式,定义：,若p,ij,(s,t)的转移概率与s无关，则称连续时间马尔可夫链具有,平稳的或齐次,的转移概率，此时转移概率简记为,其转移概率矩阵简记为,时间轴,0,s,s+t,状态i,状态i持续时间,i,在0时刻马尔可夫链进入状态i，而且在接下来的s个单位时间中过程未离开状态i，问在随后的t个单位时间中过程仍不离开状态i的概率是多少？,无记忆性,一个连续时间的马尔可夫链，每当它进入状态i，具有如下性质：,在转移到另一状态之前处于状态,i,的时间服从参数为,v,i,的,指数分布,；,当过程离开状态,i,时，接着以概率,p,ij,进入状态,j,，,当v,i,=时，称状态i为,瞬时状态,；,当v,i,0时，称状态i为,吸收状态,。,对于指数分布的随机变量X,定理5.1：,齐次马尔可夫过程的转移概率具有下列性质：,证明,正则性条件,证明:,定义5.3,对于任一t0，记,为,绝对概率,和,初始概率,。,分别称p,j,(t),jI和p,j,jI为齐次马尔可夫过程的,绝对概率分布,和,初始概率分布,。,定理5.2,齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质：,例题5.1：,证明:泊松过程X(t)为连续时间齐次马尔可夫链。,(1)先证明马氏性,(2)再证明齐次性,Q矩阵和柯尔莫哥洛夫方程,引理5.1,设齐次马尔可夫过程满足正则性条件，则对于任意固定的i,jI，p,ij,(t)是t的,一致连续,函数。,定理5.3,设p,ij,(t)是齐次马尔可夫过程的转移概率且满足正则性条件，则下列极限存在：,称为,转移速率,或,跳跃强度,Q矩阵和柯尔莫哥洛夫方程,若连续时间齐次马尔可夫链是具有有限状态空间I=1,2,n，则其,转移速率,可构成以下形式的矩阵,Q矩阵,的每一行元素之和为0，对角线元素为负或0，其余q,ij,0,利用Q矩阵可以推出任意时间间隔t的转移概率所满足的方程组，从而可以,求解转移概率,。,定理5.4,（,柯尔莫哥洛夫向后方程,）,假设 ，则对一切i,j及t0，有,证明,由C-K方程可以知道：,两边除以h，取极限可以得到：,即,定理5.5,（,柯尔莫哥洛夫向前方程,）,在适当的正则条件下，则对一切i,j及t0，有,利用Kolmogorov向后方程或向前方程及下述,初始条件,，可以解得p,ij,(t),柯尔莫哥洛夫,向后和向前方程的矩阵表达形式为,连续时间马尔可夫链的转移概率的求解问题就是,矩阵微分方程,的求解问题，其转移概率由其,转移速率矩阵,Q决定。,柯尔莫哥洛夫向后方程,的矩阵表达形式为,例题5.2,考虑两个状态的连续时间马尔可夫链，在转移到状态1之前在状态0停留的时间是参数为,的指数变量，而在回到状态0之前它停留在状态1的时间是参数为,的指数分布，求转移概率,P,00,(t),P,01,(t),P,10,(t),P,11,(t)。,向前方程：,解：,当h趋于0时,同理：,可求平稳分布和绝对概率分布,Kolmogorov向后和向前方程所求得的解p,ij,(t)是相同的,在实际应用中，当固定最后所处状态j，研究p,ij,(t)时（i=0,1,），采用向后方程较方便；,当固定状态i，研究p,ij,(t)时（j=0,1,），采用向前方程较方便；,定理5.6,齐次马尔可夫过程在t时刻处于状态jI的绝对概率p,j,(t)满足下列方程,定义5.4,设p,ij,(t)为连续时间马尔可夫链的转移概率，若存在时刻t,1,和t,2,，使得,则称状态i和j是互通的。若所有状态都是互通的，则称此马尔可夫链为,不可约,的。,转移概率p,ij,(t)在t时的性质及其平稳分布关系,定理5.7,设连续时间的马尔可夫链是不可约的，则有下列性质：,若它是正常返的，则极限 存在且等于,j,0,，,j,I,。这里,j,是方程组,的唯一非负解，此时称,j,j,I,是该过程的平稳分布，并且有,若它是零常返的或非常返的，则,例题5.3：机器维修问题,设例题5.2中状态0代表某机器正常工作，状态1代表机器出故障。状态转移概率与例题5.2相同，即在h时间内，及其从正常工作变为出故障的概率为p,01,(h)=,h+o(h)；在h时间内，机器从有故障变为经修复后正常工作的概率为p,10,(h)=,h+o(h)，试求在t=0时正常工作的机器，在t=5时为正常工作的概率。,5.3 生灭过程,设齐次马尔可夫过程 的状态空间为,转移概率为 ,如果：,则称 为生灭过程.,其中 为出生率，为纯灭过程。,为死亡率，为纯生过程。,