第10章马尔科夫链(重修班)优秀课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第,10,章马尔科夫链,(,重修班,),10.1.1 马尔可夫链的定义,1、,马尔可夫性,(,无后效性,),马尔可夫过程是目前发展很快，应用甚广的一种重要随机过程。,马尔可夫性,或,无后效性,。,2、,马尔可夫过程的定义,具有马尔可夫性的随机过程称为,马尔可夫过程,。,用分布函数表述马尔可夫过程,并称此过程,为,马尔可夫过程,。,3、,马尔可夫链的定义,马尔可夫过程按照其状态和时间参数是连续还是离散进行划分,其中,状态和时间参数都是离散,的马尔可夫过程称为,马尔可夫链,，这一节我们着重讨论马尔可夫链。,10.1.2 马尔可夫过程的概率分布,说明:,3、,平稳性,下面我们只讨论齐次马氏链，并习惯上常将,“,齐次,”,两字省略。,10.1.3,n,步,转移,概率矩阵,由,n,步转移概率组成的矩阵,称为马氏链的,n,步,转移概率矩阵,。,它是随机矩阵。,此矩阵的,每一行元素之和等于1。,这个矩阵具有以下两个性质：,一步转移概率矩阵,的状态,记为,P,例10.1,一维随机游动,游动的概率规则,如果,Q,现在位于点1,2或者3时,则下一时刻都以1/3的概率向左移动一格或以2/3的概率向右移动一格。,如果,Q,现在位于0这点上,则下一时刻就以概率1移动到1，当Q到达4点时，它以概率1停留在该点上（0称为反射壁，4称为吸收壁）。,上面这种游动称为带有1个,反射壁,的随机游动。,状态空间就是,I=,0,1,2,3,4。,所以它是一个马氏链,且是齐次的,。,游动的概率规则,一步转移概率矩阵,说明:,如果把点 0 改为,吸收壁,4改为反射壁相应链的转移概率矩阵只须把,P,中第1行改为(1,0,0,0,0)。,改变游动的概率规则,就可得到不同方式的,随机游动和相应的马氏链。,一步转移概率矩阵,设一个单位时间传输一级,设每一级的传真率为,p,误码率为,q=,1,p,。,只传输数字0和1的串联系统(0,1,)传输系统),如图:,分析:,例10.2,所以它是一个马氏链,且是齐次的,。,一步转移概率矩阵,一步转移概率矩阵,10.2,多步转移概率的确定,一、,C,-,K,方程,二、多步转移概率的确定,这就是有名的切普曼柯尔莫哥洛夫方程。,简称,C,K 方程,说明,C,K 方程基于下列事实:,10.2.1,切普曼柯尔莫哥洛夫,方程,这一事件可分解成:,如下图所示:,10.2.2,多步转移概率的确定,利用 C,K 方程我们容易确定,n,步转移概率。,得递推关系:,一步转移概率为,例10.3,解,先求出二步转移概率矩阵,于是:,注：,n,步转移概率矩阵,为,对于只有两个状态的马氏链,一步转移概率,矩阵一般可表示为:,10.3,马氏链的有限维分布,向量表示形式,向量表示形式,10.3.1 初始概率与绝对概率,2.绝对概率与初始概率的关系,0,n,表明绝对分布可由初始分布和,n,步转移概率矩阵确定。,绝对分布与初始分布的关系可表示为,10.3.2 马氏链的有限维分布律,推论10.2，由定理10.3不难得到,10.4,遍历性,10.4.1 遍历性的概念,10.4.2(有限链)遍历性的充分条件,定义,则称此链具有,遍历性,。,10.4.2有限马氏链遍历性的充分条件,研究遍历性问题的中心是要确定在什么样的条件下马氏链才具有遍历性，以及如何求得,j,，这个问题已彻底解决。,定理给出了判别有限马氏链具有遍历性的一个简单充分条件，以及求,j,的方法。,2、,求,极限分布,j,可转,化为求解方程组。,设一马氏链的一步转移概率矩阵为,试讨论它的遍历性,并求出其极限分布。,例10.7,所以此链是遍历链。,解,设其极限分布为,可列出如下方程：,可得解为：,即,例10.8,例10.1的一步转移概率矩阵为,证明此随机游动具有遍历性，并求其极限分布。,解,无零元,所以此随机游动具有遍历性。,代入最后一个方程(归一条件),得唯一解。,所以极限分布为,这个,分布表明,经过长时间游动之后,质点,Q,位于点 2(或 3 或 4)的概率约为 3/11,位于点 1(或 5)的概率约为 1/11。,设一马氏链的一步转移概率阵为,试讨论它的遍历性。,解,例,10.9,表明,此链不具遍历性。,