连续时间马尔可夫链

1第三节第三节连续时间马尔可夫链连续时间马尔可夫链21 连续时间马尔可夫链定义连续时间马尔可夫链定义连续时间的马尔可夫链是这样一种随机过程，它：具有无记忆性状态空间是离散的时间上是连续的与离散时间的马尔可夫链的不同在于其状态发生变化的时刻是任意时刻，是连续值。31 连续时间马尔可夫链定义连续时间马尔可夫链定义取值在非负整数集E上的随机过程X=Xt,tT=0,),如果对一切T中的时刻0t1t2tn+1及满足 的任意状态 成立着则称X是连续时间的马尔可夫链。(,1)0ktkP Xikn(1)kiEkn11|,1|nknnttkttnP Xj XiknP Xj Xinn1inin+1与此历史无关41 连续时间马尔可夫链定义连续时间马尔可夫链定义记pij(s,t)=P(Xt=j|Xs=i)若此转移概率只与t-s有关，则称它为X的齐次转移概率函数，此马氏链X为连续时间齐次马氏链齐次马氏链。记pij(t),成为长度为t的时间区间上的转移概率为连续时间马氏链的齐次转移矩阵齐次转移矩阵其中000102101112202122()()().()()().()()()()().i jptptptptptptP tptptptpt()0()1iji jjp tpt1/21/31/6(2.5)1/302/3100P例如：51 连续时间马尔可夫链定义连续时间马尔可夫链定义若满足下述条件则称P(t)是X的标准转移矩阵。有：01lim()0ijtijp tij如如1(0)0(0)ijijpijPI62 K-C方程方程方程：写成矩阵的形式:P(t+s)=P(t)P(s)2.K氏前向方程3.K氏后向方程Q称作密度矩阵，或瞬时概率转移矩阵，也叫瞬时强度转移矩阵，通常称作Q矩阵矩阵。()()()ijikkjkp tspt ps()()()()ijikkjkP tP tQptptq()()()()ijikkjkP tQ P tptqpt（书31页）73 Q矩阵矩阵若 则排队论中Q矩阵性质行和为0 对角线元素为负数如果Q矩阵中元素为0，则表示这种直接转移不可能发生01lim()0ijtijp tij如如00()1lim(0)(0)()lim(0)(,)(0)iiiiiiiiitijijiji jtptqpqqtptqpqijtQP 10642.52.50112Q例：83 Q矩阵矩阵齐次马尔可夫链状态之间的瞬时转移可以用图表示，图上标明状态之间瞬时强度转移值qij，叫状态流图10642.52.50112Q例：0122.56411状态流图94 Q矩阵矩阵P(t)依据K氏微分方程，可以从Q矩阵求得P(t),P(0)=I.例：考察E0,1的连续时间马氏链X，设t极小0110()()()()ptto tptto t104 绝对概率绝对概率初始分布(p0,p1,p2,p3,)pi=P(X(0)=i)=i(0)绝对分布(0(t),1(t),2(t),3(t)j(t)=P(X(t)=j)=由初始分布与t时间区间转移概率矩阵求t时刻绝对分布 为求瞬时概率分布函数的方程组()ii jippt()()(0)jkkjiikttqp初值：115 平稳分布平稳分布定义若 存在，且 ，则j称为齐次马尔可夫链的平稳分布如何判别连续马尔可夫链的平稳分布必定存在？转移概率矩阵是标准的不可约的齐次马氏链，则极限存在，且与初始分布无关正常返的齐次马氏链，则此极限值为平稳分布，且全部大于0lim()()jjttjE1jj125 平稳分布平稳分布如何求离散马尔可夫链的平稳分布？定理若 存在，则 。根据若存在平稳分布，则lim()()jjttjElim()0jtt()()jiijittqlim()lim()jiijttittq001iijiiiqQ写成矩阵形式：134 平稳概率例题平稳概率例题一个连续时间的马氏链E=0,1,2,其状态强度转移矩阵和状态转移图为平衡方程：列出方程组得：110231011Q1021112012(,)0Q 0101212012203001012112414主要公式对比主要公式对比离散时间马氏链连续时间马氏链转移概率一步转移概率 pij一步转移概率矩阵Pn步转移概率n步转移概率矩阵 P(n)t时间区间转移概率 pij(t)t时间区间转移概率矩阵P(t)强度转移矩阵 Q瞬时分布初始分布 pin时刻分布初始分布 pit时刻分布 j(t)平稳分布(n)ijp(n)j15主要公式对比主要公式对比离散时间马氏链连续时间马氏链K-C方程前向方程后向方程瞬时分布平稳分布()()()()n mnmijikkjkn mnmpppPPP()()()()()()ijikkjkp tspt psP tsP tP s()()()()ijikkjkP tP tQptptq()()()()ijikkjkP tQ P tptqpt()()(0)()(1)()nnkkiknnniiiP Xip pPP()()jii jitppt()()jkkjkttq()0PIP 0Q166 两个定理两个定理定理一个连续时间的齐次马氏链，系统处在同一状态的连续时间服从负指数分布定理一个离散时间的齐次马氏链，在同一状态连续停留时间的分布是几何分布因为马氏链停留在某状态下，发生转移的概率与在此状态停留了多长时间是无关的。