第五章2柯尔莫哥洛夫微分方程课件

第五章 连续时间的马尔可夫链连续时间马氏链的的定义及性质连续时间马氏链的的定义及性质1柯尔莫哥洛夫微分方程柯尔莫哥洛夫微分方程232024/7/161信息工程学院四系三教生灭过程生灭过程知识回顾设参数集设参数集 状态集状态集 定义定义5.1 称随机过程称随机过程 为连续时为连续时间的马尔可夫链，若对任意间的马尔可夫链，若对任意 及任意及任意 有有马氏性马氏性连续时间离散化连续时间离散化2024/7/162信息工程学院四系三教知识回顾定义定义5.2 若（若（5.2）式的）式的转移概率转移概率与与s无关无关，则称连续时间马尔可夫链具有平稳的或则称连续时间马尔可夫链具有平稳的或齐次齐次的转移概率的转移概率，此时转移概率简记为，此时转移概率简记为 齐次性齐次性 其转移概率矩阵简记为其转移概率矩阵简记为2024/7/163信息工程学院四系三教知识回顾 定理定理5.1 齐次马尔可夫过程的转移概率具有齐次马尔可夫过程的转移概率具有下列性质：下列性质：切普曼切普曼-柯尔莫哥洛夫方程柯尔莫哥洛夫方程的矩阵表示的矩阵表示连续时间的连续时间的C-KC-K方程方程2024/7/164信息工程学院四系三教转移概率函数矩阵v已知对于简单函数方程已知对于简单函数方程的通解为的通解为 ，且解由，且解由 确确定定v转移概率函数矩阵满足转移概率函数矩阵满足可以猜测可以猜测2024/7/16信息工程学院四系三教5转移概率函数矩阵其中其中 为常数矩阵，且为常数矩阵，且 完全由矩阵完全由矩阵 唯唯一确定一确定2024/7/16信息工程学院四系三教6转移概率函数的可微性v引理引理5.1 设齐次马氏过程满足正则性条件设齐次马氏过程满足正则性条件(3)，则对任意固定的，则对任意固定的 ，是是t的的一致连续函数。一致连续函数。2024/7/16信息工程学院四系三教7转移概率的极限性质v定理定理5.3 设设 是齐次马尔可夫过程的是齐次马尔可夫过程的转移概率，则下列极限存在转移概率，则下列极限存在称称q qijij为齐次马尔可夫过程从状态为齐次马尔可夫过程从状态i i 到状态到状态j j 的的转移速率转移速率或或跳跃强度跳跃强度。2024/7/168信息工程学院四系三教转移概率的极限性质v注注：(1)等价于等价于 (2)等价于等价于注：注：此定理的详细证明要用到较深的此定理的详细证明要用到较深的数学知识，在这里我们不给出详细证数学知识，在这里我们不给出详细证明，只是做一个简单分析，但此明，只是做一个简单分析，但此定理定理的结论很重要的结论很重要，希望大家掌握！，希望大家掌握！2024/7/169信息工程学院四系三教转移概率的极限性质v 分析：分析：第一节已定义第一节已定义 为停留在状态为停留在状态i（或离开状态（或离开状态i）的时间，它服从参数为）的时间，它服从参数为 的指数分布。的指数分布。=P到时刻到时刻t至少有一次跳转至少有一次跳转2024/7/1610信息工程学院四系三教 到时刻到时刻t至少有两次跳转至少有两次跳转转移概率的极限性质=P 第一个到达的状态是第一个到达的状态是 j，+P第一个到达的状态不是第一个到达的状态不是 j，2024/7/1611信息工程学院四系三教转移概率的极限性质其中其中 pij 表示从状态表示从状态i经一步转移到状态经一步转移到状态j的概的概率（不考虑其间的停留时间），它和离散时率（不考虑其间的停留时间），它和离散时间下的转移概率类似。间下的转移概率类似。2024/7/1612信息工程学院四系三教转移概率的极限性质v推论推论:对对有限有限齐次马尔可夫过程，有齐次马尔可夫过程，有证明：证明：由定理由定理5.1，有，有由于求和是在有限集中进行，故有由于求和是在有限集中进行，故有2024/7/1613信息工程学院四系三教转移概率的极限性质v注：注：对于对于状态空间无限状态空间无限的齐次马尔可夫过的齐次马尔可夫过程，一般只有程，一般只有2024/7/1614信息工程学院四系三教二、密度矩阵的定义v定义：定义：称矩阵称矩阵为转移概率矩阵为转移概率矩阵 的的密度矩阵密度矩阵。2024/7/1615信息工程学院四系三教二、密度矩阵的定义v若若 则称矩阵则称矩阵Q是是保守的保守的，v 若则称矩阵若则称矩阵Q是稳定的，是稳定的，此时称过程此时称过程 为为Q过程过程。2024/7/1616信息工程学院四系三教二、密度矩阵的定义v注注：（1）对于有限状态齐次马氏链，其密度矩对于有限状态齐次马氏链，其密度矩阵一定是保守的。阵一定是保守的。（2）若若Q保守，则保守，则Q矩阵的每一行元素之矩阵的每一行元素之 和为零，对角线元素为负或为零，其余和为零，对角线元素为负或为零，其余2024/7/1617信息工程学院四系三教三、柯尔莫哥洛夫向后、向前方程v定理定理5.4 （柯尔莫哥洛夫向后方程柯尔莫哥洛夫向后方程）假设假设 则对一切则对一切i,j 及及 ,有有v矩阵形式：矩阵形式：2024/7/1618信息工程学院四系三教三、柯尔莫哥洛夫向后、向前方程v定理定理5.5（柯尔莫哥洛夫向前方程柯尔莫哥洛夫向前方程）设对给定的设对给定的 ，有，有 且且 关于关于 一致成立，则一致成立，则v矩阵形式：矩阵形式：2024/7/1619信息工程学院四系三教三、柯尔莫哥洛夫向后、向前方程v分析：对分析：对时刻时刻h的状态的状态X(h)取条件取条件，在下面，在下面的的极限和求和可交换顺序极限和求和可交换顺序的条件下，由的条件下，由切切普曼普曼柯尔莫哥洛夫方程柯尔莫哥洛夫方程有有2024/7/1620信息工程学院四系三教三、柯尔莫哥洛夫向后、向前方程v得到柯尔莫哥洛夫得到柯尔莫哥洛夫向后方程向后方程。极限和求和可极限和求和可交换顺序时交换顺序时2024/7/1621信息工程学院四系三教三、柯尔莫哥洛夫向后、向前方程v若若对时刻对时刻t的状态的状态X(t)取条件取条件，在下面的极，在下面的极限和求和可交换顺序的条件下，由限和求和可交换顺序的条件下，由切普曼切普曼柯尔莫哥洛夫方程柯尔莫哥洛夫方程有有2024/7/1622信息工程学院四系三教三、柯尔莫哥洛夫向后、向前方程v得到柯尔莫哥洛夫得到柯尔莫哥洛夫向前方程向前方程。极限和求和可极限和求和可交换顺序时交换顺序时2024/7/1623信息工程学院四系三教三、柯尔莫哥洛夫向后、向前方程v不严格地说，由不严格地说，由C-K方程：方程：在导数存在的条件下，上式对在导数存在的条件下，上式对后面的参数后面的参数t求导，即得向后方程；求导，即得向后方程；对对前面的参数前面的参数s求导，即得向前方程。求导，即得向前方程。2024/7/1624信息工程学院四系三教三、柯尔莫哥洛夫向后、向前方程定理定理5.6 设设齐次马尔可夫过程满足齐次马尔可夫过程满足柯尔莫哥洛柯尔莫哥洛夫向前方程夫向前方程，则过程在时刻，则过程在时刻t处于状态处于状态 的的绝对绝对概率分布概率分布满足满足下列方程：下列方程：任意时刻任意时刻t t的绝对概的绝对概率分布的微分方程率分布的微分方程2024/7/1625信息工程学院四系三教三、柯尔莫哥洛夫向后、向前方程v证明：证明：由定理由定理5.2，有，有将向前方程（将向前方程（5.9）式两边乘以）式两边乘以pi，并对，并对i求求和得和得 故故2024/7/1626信息工程学院四系三教应用例v例：例：设连续时间马氏链具有设连续时间马氏链具有转移概率满足：转移概率满足：求柯尔莫哥洛夫方程及转移概率求柯尔莫哥洛夫方程及转移概率2024/7/1627信息工程学院四系三教应用例解：解：由由题设条件知该马氏链的密度矩阵为题设条件知该马氏链的密度矩阵为显然此矩阵即使保守的（行和为）又是稳显然此矩阵即使保守的（行和为）又是稳定的（定的（）故柯尔莫哥洛夫向前、向故柯尔莫哥洛夫向前、向后方程都成立。后方程都成立。2024/7/1628信息工程学院四系三教应用例由由得此链的柯尔莫哥洛夫向前方程如下得此链的柯尔莫哥洛夫向前方程如下上述微分方程的初始条件为上述微分方程的初始条件为2024/7/1629信息工程学院四系三教应用例v解上述微分方程得解上述微分方程得2024/7/1630信息工程学院四系三教六、平稳分布v1、状态互通的定义、状态互通的定义v定义定义5.4 设设 为连续时间马尔可夫链的为连续时间马尔可夫链的转移概率，若存在时刻转移概率，若存在时刻 和和 ，使得，使得 则称状态则称状态 i 与与 j 是是互通的互通的。若所有状态都是。若所有状态都是互通的，则称此马尔可夫链为互通的，则称此马尔可夫链为不可约的不可约的。2024/7/1631信息工程学院四系三教六、平稳分布v定义定义 称称概率分布概率分布 为连续时间马氏链的为连续时间马氏链的平稳分布平稳分布若若 注意和离散时间马氏链平稳分布的比较2024/7/1632信息工程学院四系三教六、平稳分布v定理定理5.7 设连续时间的马尔可夫链是设连续时间的马尔可夫链是不可不可约的约的，则有下列性质：，则有下列性质：（1）若它是）若它是正常返的正常返的，则极限，则极限 存存在且等于在且等于 。这里。这里 是方程组是方程组 的的唯一非负解唯一非负解。2024/7/1633信息工程学院四系三教六、平稳分布此时称此时称 是该过程的是该过程的平稳分布平稳分布，并且有并且有 （2）若它是零常返的或非常返的，则若它是零常返的或非常返的，则 2024/7/1634信息工程学院四系三教七、应用举例v 例例5.2 考虑两个状态的连续时间马尔可夫考虑两个状态的连续时间马尔可夫链，在转移到状态链，在转移到状态1之前链在状态之前链在状态0停留的停留的时间是参数为时间是参数为 的指数变量，而在回到状的指数变量，而在回到状态态0之前它停留在状态之前它停留在状态1的时间是参数为的时间是参数为 的指数变量。的指数变量。求此链的转移概率及平稳分布。求此链的转移概率及平稳分布。2024/7/1635信息工程学院四系三教七、应用举例v解：显然该链是一个齐次马尔可夫过程，解：显然该链是一个齐次马尔可夫过程，由题设知由题设知 从而从而由定理由定理5.3知知故其状态转移概率为故其状态转移概率为2024/7/1636信息工程学院四系三教七、应用举例由柯尔莫哥洛夫向前方程得由柯尔莫哥洛夫向前方程得2024/7/1637信息工程学院四系三教七、应用举例由由 得得于是于是2024/7/1638信息工程学院四系三教七、应用举例v若记若记则则而而 故故2024/7/1639信息工程学院四系三教七、应用举例v由对称性知由对称性知转移概率的极限为转移概率的极限为由此可见，当由此可见，当 时，时，的极限存在的极限存在且与且与i无关无关。2024/7/1640信息工程学院四系三教七、应用举例v由定理由定理5.6知，平稳分布为知，平稳分布为v若取初始分布为平稳分布，即若取初始分布为平稳分布，即则过程在时刻则过程在时刻t的绝对概率分布为的绝对概率分布为2024/7/1641信息工程学院四系三教