资源描述
,湖南大学,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2020/9/14,#,4.3 齐次马氏链状态的分类(二),三、状态间的关系,定义4.3.8,称自状态,i,可达,状态,j,记为,称状态,i,与状态,j,互通,，,注,自,i,可达,j,表示从节点,i,出发，存在一条路径可到达节点,j,.,湖南大学,引理2,可达具有,传递性,i,j,i,j,k,由,CK,方程,湖南大学,引理3,若补充定义,则互通关系是状态空间,E,上的一个,等价关系,即满足,1) 自反性(律),2) 对称性,当且仅当,湖南大学,3) 传递性,EX.4,设马氏链的状态空间,E,=1,2,3,4,5,其一步转移矩阵为,1,2,3,4,5,1,2,3,4,5,湖南大学,1,2,3,4,5,1,2,3,4,5,1,2,1/2,1/2,1/4,3/4,3,4,5,1,1/2,1/2,1,其一步状态转移图如下,湖南大学,1,2,1/2,1/2,1/4,3/4,3,4,5,1,1/2,1/2,1,按互通性可将,E,分解为,E,=,1, 2, 3, 4, 5=,C,1,C,2,其中，,C,i,中的状态是互通的, 质点运动一旦位于某一类，以后它的状态都保持在此类.,不相交集,湖南大学,EX.5,设马氏链的状态空间,E,=0,1,2, ,a, 其一步转移矩阵为,(0,q,1, 0,p,1,),状态转移图为,0,1,a,1,a,p,q,1,1,湖南大学,有,状态可由第二类到达第一类或第三类, 反之不真.,按互通性有,E,=01,2, ,a,1,a,=,C,1,C,2,C,3,0,1,a,1,a,p,q,1,1,湖南大学,定理4.3.5,设状态,i,和,j,互通, 则,1),i,和,j,同为非常返的；,2),i,和,j,同为零常返的；,3),i,和,j,同为正常返非周期的(遍历状态的)；,4),i,和,j,都是正常返有周期的, 具有相同周期.,结论,互通状态具有相同类型,湖南大学,续EX.3 醉汉问题,酒吧,家,1,2,3,4,5,醉汉在街上徘徊, 在每一个街口以1/3的概率停下, 以1/3的概率向前或向后.,若他又返回酒吧或到家门, 不再游动,.,状态转移图为,湖南大学,1,2,3,4,5,1,1/3,1/3,1/3,1,1/3,1/3,1/3,1/3,1/3,1/3,有限次首达状态“3”的概率分别为,先讨论状态“3”的类型.,湖南大学,2,3,4,1/3,1/3,1/3,1/3,1/3,1/3,1/3,状态3 的最终返回概率为,湖南大学,状态,3,是非常返的.,状态,3,是非周期的.,故,2,和,4,都是非周期非常返的，且,E,=152, 3, 4.,关于常返状态有下结论：,定理4.3.6,设,i,j,E, 且,i,j,，则,湖南大学,1）若状态,i,和,j,互通,i,是常返态,则,j,也是常返态；,2）若状态,i,和,j,互通, 且,j,是常返态, 则,3）若状态,i,是常返的,四、闭集、状态空间的分解,定义4.3.9,设,E,是状态空间,称,C,为一个,闭集.,一步转移概率,湖南大学,注,C,是闭集的,充要条件,是对任意的,i,C,和,证明,仅需证必要性，设,C,是闭集，,n,=1 时结论显然成立；,假设,n=k,时, 对任意,湖南大学,直观解释,自,C,内部不能到达,C,的外部.,C,E,如果质点运动状态进入,C,将永远停留,在,C,内.,续EX.4,E,=1,23,4,5=,C,1,C,2,E、C,1,和,C,2,都是闭集.,1,2,1/2,1/2,1/4,3/4,3,4,5,1,1/2,1/2,1,湖南大学,续EX.5,有,E,=01,2, ,a,1,a,=,C,1,C,2,C,3,E,、,C,1,、,C,3,都是闭集，而,C,2,不是闭集.,0,1,a,1,a,p,q,1,1,整个状态空间构成一个闭集.,定义4.3.10,若状态的单元素集,i,是闭集,称,i,是,吸收状态,.,湖南大学,续EX.5,有,E,=01,2, ,a,1,a,状态“0”和状态“,a,”是吸收态.,定义4.3.11,若闭集,C,中不再含有非空的闭真子集,称,C,是,不可约的,(或不可分的,最小的).,若马氏链的状态空间,E,是不可约的, 称此马氏链是,不可约马氏链.,定理4.3.7,马氏链所有常返态构成一闭集.,湖南大学,证明,设,i,为常返态,从常返态出发, 只能到达常返态. 故常返态集是闭集.,推论,不可约马氏链或者没有非常返态, 或者 没有常返态.,引理4,湖南大学,2）,i,为吸收状态,引理5,2),C,(,i,) 是闭集, 则必不可约.,证,1)显然,由闭集定义知,k,C,;,任取,j,C, 若,jk,不会外出,湖南大学,从而,C,=,C,(,i,), 即,C,(,i,)是不可约的.,则,k,C,，,C,C,(,i,),k,j,故对任意,k,C,(,i,),推论,齐次马氏链不可约的充要条件是它的任意两个状态均互通.,湖南大学,定理4.3.8,齐次马氏链的状态空间可唯一地分解成有限个或可列多个不相交的状态子集之并.,分解定理,E,=,N,C,1,C,2,2）每个,C,n,（,n,=1,2,）均为常返状态组成的不可约闭集.,其中 1）,N,是所有非常返态所成之集；,湖南大学,注1,从而具有相同的状态类型.,注2,注 3,从常返状态出发,不可能转移到非常返状态.,定理4.3.9,设,N,是非常返态集,i,N,，,j,是常返态，则最终概率,f,ij,满足以下方程,湖南大学,其中,H,=,C,(,j,).,湖南大学,EX.6,设某企业在每次经营中赢利、亏损的概率分别为,p,和1,p,（0,p,1), 各次经营是独立的. 求自有,i,个单位财产开始经营, 企业的财产在达到零前曾达到,N,个单位的概率.,分析,记,X,(,n,),n,时刻企业的财产.,湖南大学,1,2,N,1是非常返状态集, 每一个非常返态仅到达有限次.,即在进行限次经营后, 企业或者破产或者达到目标值,N,.,湖南大学,解,根据定理4.3.9的结论，有,湖南大学,将前,i,1个等式相加, 得,湖南大学,又因,f,N,=,f,NN,= 1, 推得,湖南大学,当,N,时,湖南大学,31,写在最后,成功的基础在于好的学习习惯,The foundation of success lies in good habits,谢谢,大家,荣幸,这,一路，与你同行,ItS An Honor To Walk With You All The Way,讲师,：,XXXXXX,XX,年,XX,月,XX,日,
展开阅读全文