资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,西南交通大学,*,西南交通大学,1,6.4,转移概率的遍历性与平稳分布,一 齐次马氏链的遍历性,二 齐次马氏链的平稳分布,2,我们注意到，齐次马氏链的,n,步转移概率当,n,趋于无穷时,即过程的转移无限进行下去时,其极限可能存在，而且也可能与起始状态,i,无关，例如只有两个状态的马氏链，其一步转移概率矩阵为,易知其任意步转移概率矩阵为,3,又如一齐次马氏链，状态空间为,E=1,2,3,，其一步转移概率矩阵,二步,三步转移概率矩阵为,4,于是由此可推测,5,因此,一般来说，通常讨论关于齐次马氏链的,n,步转移概率的两方面问题，一是其极限是否存在？二是如果此极限存在，那么它是否与现在所处状态,i,无关，在马氏链理论中，有关这两方面问题的定理，统称为遍历性定理。,6,一 齐次马氏链的遍历性,定义,4.1,设齐次马氏链的状态空间为,E=1,2,，若对于,E,中所有的状态,i,j,，存在不依赖于,i,的常数,j,，为其转移概率的极限，即,其相应的转移矩阵有,7,则称此齐次马氏链具有遍历性，并称,j,为状态,j,的稳态概率。,8,定理,4.1,设齐次马氏链,X(n),n,1,的状态空间为,E=1,2,N,，若存在正整数,m,，使对任意的,i,j,E,，其,m,步转移概率均大于,0,即,则此马氏链具有遍历性；且各状态的稳态概率满足下列方程组,9,及概率分布条件,注,1,判断马氏链的遍历性有很多方法,本定理只是其中一个较为简单的方法,.,注,2,本定理不仅给出了判断马氏链的遍历性的方法,也给出了求其稳态概率的方法,.,10,例,4.1,设齐次马氏链的状态空间,E=1,2,3,，其一步转移概率为,试问此链是否具有遍历性,?,若有,试求其稳态概率,.,11,解：注意到,即知其所有的二步转移概率均大于,0,，由定理,4.1,知，此链具有遍历性,.,12,再由转移概率与稳态概率满足的方程组得,解之可得稳态概率为,13,例,4.2,设齐次马氏链的状态空间,E=1,2,，其一步转移概率矩阵为,试讨论该链的遍历性。,解：容易计算得出，该链的其,n,步转移矩阵与其一步转移矩阵,P,相同，即,14,故由定义,4.1,知，此链不具有遍历性,也不存在稳态概率。,15,二 齐次马氏链的平稳分布,定义,4.2,设,X(n),n,0,是一齐次马氏链，若存在实数集合,r,j,j,E,，满足,则称,X(n),n0,是一平稳齐次马氏链，称,r,j,jE,为该过程的一个平稳分布。,16,例,4.3,已知,X(n),n0,的初始分布为,其一步转移矩阵为,试说明此马氏链是平稳的,且其初始分布为其平稳分布。,17,解 由平稳分布满足的方程组注意到,18,即此初始分布满足定义,4.2,中条件，故具有上述转移概率的齐次马氏链为一平稳齐次马氏链，初始分布为其一个平稳分布。,定理,4.2,设,X(n),n0,是一平稳齐次马氏链，若其初始分布,P(0)=p,1,(0),，,p,2,(0),p,j,(0),为此链的平稳分布时，则对任何,n,1,，绝对概率等于初始概率，即：,证 若平稳齐次马氏链的初始分布为平稳分布 时,则有,19,而齐次马氏链的绝对概率为其初始分布与转移概率确定,20,21,由此可见，当我们能判定齐次马氏链的初始分布是一平稳分布时，则该马氏链在任何时刻的绝对概率分布都与初始分布相同。事实上，平稳分布就是不因转移步数变化而改变的分布。此时马氏链处于状态,j,的概率与时间推移无关，即具有平稳性。,注,1,一般来说，平稳齐次马氏链的平稳分布并不唯一,.,注,2,在定理,4.1,条件下,平稳齐次马氏链的稳态概率即为其平稳分布。,22,例,4.4,设齐次马氏链的状态空间为,E=1,2,其一步转移概率矩阵为,由例,4.2,知,此齐次马氏链不是遍历的,其稳态概率不存在,但有,23,可见其平稳分布是存在的，且具有无穷多个,.,均为其平稳分布。,
展开阅读全文