第3章-系统预测5(马尔科夫预测法)

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,46/,*,马尔科夫预测法,马尔科夫方法的基本原理,案例分析,10A,1,马尔科夫预测法,马尔科夫预测法是预测技术中一种重要的方法,不需要大量的统计资料，只需近期资料就可进行预测，,既可用于短期预测，也可用于长期预测,2,马尔科夫方法的基本原理,1,、基本概念,2,、状态转移概率矩阵,3,、稳态概率矩阵,3,【,引例,】,假设一片树林里共有,n,棵树，一只松鼠随机地从某棵树跳到另一棵树。我们可以把松鼠的运动看作是一个,随机运动系统,。在时刻,t,，松鼠所在的那棵树，可称为松鼠所处的状态，,n,棵树则表示共有,n,个状态。由此，可以引出以下概念。,基本概念,4,基本概念,(1),随机运动系统,如果系统在任何时刻上的状态是随机的，则变化过程就是一个随机过程，这个系统就是随机运动系统,(2),状态随机变量,为了表示一个随机运动系统在变化过程中的状态，可以用一组随时间过程而变化的变量来描述，这个变量称为状态随机变量,5,设有一个随机运动系统处于的状态为,i,(,i,1,2,n,),，它只能在时刻,t,(,t,1,2,m,),上改变它的状态，则,状态随机变量,系统所取状态的集合，称为,状态空间,即表示在时刻,t,，系统处于状态,i,X,t,i,6,马尔科夫发现：对于实际存在的随机运动系统,系统在每一时刻,(,或每一步,),的状态，仅仅取决于前一时刻,(,或前一步,),的状态，而与过去的其它状态无关。这个性质称为,无后效性,例如，松鼠下一步将处于什么状态,(,将跳到哪棵树上,),，只与它现在所处的状态,(,现在所处的那颗树,),有关，而与它以前的状态,(,以前曾在的树,),无关,具备无后效性的离散型随机过程，称为,马尔科夫链,，简称马氏链，或称,时间,和,状态,均离散的马尔科夫过程,(3),马尔科夫链,7,基本概念,(4),状态转移,即状态变化。当系统的变量从一个特定值变化到另一个特定值，就表示系统由一个状态转移到另一个状态，从而实现了状态转移。,(5),转移概率,系统状态的变化（转移）是随机的，用概率来描述系统从某种状态转移到各种状态的可能性大小，这种概率称为状态转移概率，简称转移概率,8,转移概率中最重要的是,一步,(,次,),转移概率,，表示为,其中：,p,ij,(1),表示系统从状态,i,到状态,j,的一步转移概率，“,(1)”,表示 一步；,p,ij,表示系统从状态,i,经过一步转移到状态,j,的概率；,P,(,X,m,+1,=,j,|,X,m,=,i,),表示在时刻,m,的系统状态为,i,的条件下，转移到（发生）在时刻,m,+1,的系统状态为,j,的条件概率,马尔科夫链的任何,k,步转移概率,都可由一步转移概率求出,9,若系统有,n,个状态，则系统全部一步转移概率的集合所组成的矩阵，称为,一步状态转移概率矩阵,，简称状态转移概率矩阵,状态转移概率矩阵,(1),一步状态转移概率矩阵,表示为,10,p,ij,0,i,j,=1,2,n,满足、这两个性质的行向量称为,概率向量,，由概率向量构成的方阵称为,概率矩阵,转移矩阵必是概率矩阵,状态转移概率矩阵的性质,如果,A,和,B,均是概率矩阵，则,AB,也是概率矩阵；,如果,A,是概率矩阵。则,A,n,也是概率矩阵。,11,状态转移概率矩阵一般是指一步状态转移概率矩阵,实际工作中往往需要,预计今后第,k,个时刻系统的状态,，需要求出系统的,k,步状态转移概率矩阵,(2),K,步,状态转移概率矩阵,记,k,步状态转移概率矩阵为,P,(,k,),，则,即系统的,k,步状态转移概率矩阵可由,k,-1,步状态转移概率矩阵乘上一步状态转移概率矩阵求得，也可由一步状态转移概率矩阵的,k,次方求得,12,例,若,则,13,定义：,一个概率矩阵,P,，若它的某个,m,(,m,为正整数,),次方,P,m,的所有元素都为正数,(,即无负数和,0),，则称,P,为,正规概率矩阵,。,稳态概率矩阵,(1),正规概率矩阵,例,判断下列矩阵是否为正规概率矩阵。,14,所以，是正规概率矩阵。,解：,所以，不是正规概率矩阵。,因为,对于任何正整数,m,，都有,15,定义：,任一,非零概率向量,u,=(,u,1,u,2,u,n,),，乘以,概率矩阵,P,后，其结果仍为,u,，即,(2),固定概率向量,则称,u,为,P,的,固定概率向量,（或特征向量）,uP,=u,例如,因为,所以，,u,是,P,的一个固定概率向量。,16,设,P,是正规概率矩阵，则已被证明：,P,恰有一个固定概率向量,u,，且,u,的所有元素都是正数,P,的各次方组成的序列,P,P,2,P,3,趋于方阵,T,，且,T,的每一个行向量都是固定概率向量,。,若,p,i,为,P,的任一概率向量，则向量序列,p,i,P,p,i,P,2,p,i,P,3,都趋于固定概率向量,u,。,(3),正规概率矩阵的性质,17,若马氏链的状态转移矩阵为正规概率矩阵，当转移步数,k,足够大时，,k,步转移矩阵将趋向某一方阵,T,，即,(4),稳态概率矩阵,则称方阵,T,为,稳态概率矩阵,。,根据定义很难求出稳态概率矩阵,T,。但由正规概率矩阵的性质可知，稳态概率矩阵,T,的每一个行向量都是固定概率向量,u,。因此，求出状态转移矩阵的固定概率向量,u,，可以进而得到稳态概率矩阵,T,18,例,求下列正规概率矩阵的稳态概率矩阵,T,解：,因为,所以,P,为正规概率矩阵。,19,第,步，先求固定概率向量,设,P,的唯一固定概率向量为,根据固定概率向量的定义有,即,20,根据概率向量的定义有,得到,将,u,3,代入式得,将,u,1,、,u,3,代入式得,所以,21,第二步，求稳态概率矩阵,T,根据正规概率矩阵的性质可知,从该例可见，如果系统经过较长时间的运行,(,即转移步数,k,足够大,),后，不管系统的初始状态如何，,从各状态转移到某状态的概率都是相等的,。这种稳定的转移概率，称为稳态概率。,22,分析思路：,机器的运行存在,正常,和,故障,两种状态。由于出现故障带有随机性，故可将机器的运行看作一个,状态随时间变化,的随机系统。为简单起见，可以认为机器以后的状态只与目前的状态有关，而与过去的状态无关，即具有无后效性。这样，机器的运行可看作马氏链。,机器运行状态的预测,预测目的：,在机器很多的大批量生产的企业里，需要掌握机器发生故障的规律性，以便有效地计划和控制生产，同时也为合理配备维修人员提供依据。为此，可运用马尔科夫方法,预测机器某个时刻的状态和长期运行状态,。,（二）案例分析,23,例,1,某企业经过调查统计，得知机器在一周时间内，从,正常状态,转移到,故障状态,的概率是,0.6,，而从故障状态转移到正常状态的概率为,l,。如果机器本周末均处于正常状态，试预测第,3,周机器的状态和机器长期运行的状态。,解：,设机器的正常状态为状态,1,，故障状态为状态,2,，即得本周,(,即第,0,周,),末机器的,初始状态向量,为,由已知条件可得机器的一步状态转移概率矩阵为,1 2,1 2,1,2,24,当已知系统的,初始状态,和,一步转移概率,时，就可预测系统在任意时刻所处的各种状态的可能性大小。,预测模型为,式中,s,(,k,),表示系统经,k,步转移后所处的状态；,k,为大于,0,的正整数。,25,第,3,周机器的状态为,由此可知，机器在第,3,周处于正常状态的可能性和处于故障状态的可能性大致相当。,26,由于,P,3,的矩阵中所有元素都大于,0,，所以,P,为正规概率矩阵。由正规概率的性质可知，机器长期运行后，将趋于稳态概率矩阵，因此可进行机器长期运行的预测。,长期预测,设固定概率向量,u,=(,u,1,u,2,),则有,uP,=,u,即,27,得到,再根据,可解得,u,1,=0.625,u,2,=0.375,即固定概率向量,稳态概率矩阵,u,=(0.625,0.375),28,该例说明,：,在现有的生产和维修条件下，机器长期运行时，处于正常状态的可能性约为,0.6,，处于故障状态的可能性约为,0.4,。或者说，约有,0.6,的时间处于完好状态，约有,0.4,的时间处于故障状态。据此，可合理安排生产计划和维修计划。,29,市场占有率预测,背景：,对于某种产品，往往有若干厂家生产。用户购买哪家的产品，会受到消费偏好、厂家的广告宣传和推销活动等多方面的影响。因此，在产品质量基本相同的情况下，可以认为市场的变化带有随机性。如果,本期市场占有率仅取决于上期市场占有率及转移概率,，转移概率在一定时期内无大的变化，则可用马尔科夫方法预测市场状况。,例,设某产品有三种牌号,(,商标,),在市场上销售。调查得知，本月购买,1,、,2,、,3,种产品的顾客各占,0.4,、,0.3,、,0.3,；顾客选购这三种产品的变化情况如下表所示。,试预测第,3,个月该产品的市场占有率和长期的市场占有率。,30,转移 本月,概率,选购,上月,选购,1,2,3,1,2,3,0.4,0.6,0.6,0.3,0.3,0.1,0.3,0.1,0.3,表中第一行说明：上月选购产品,1,的顾客，本月有,0.4,仍选购产品,1,，各有,0.3,转而选购产品,2,和产品,3,。其它各行类似,转移概率表,31,解：,由已知条件，得本月市场的初始状态向量,一步转移概率矩阵,由此可预测第,3,个月的市场占有率,(,本月为第,0,月,),为：,32,因为一步转移概率矩阵,P,是正规概率矩阵，所以长期的市场占有率将趋向稳定状态。,设固定概率向量,根据正规概率矩阵的性质有,33,整理得,解得,即固定概率向量,u,(0.5,0.25,0.25),稳态概率矩阵为,于是预测的长期市场占有率：产品,1,为,0.5,，产品,2,和,3,均为,0.25,。,34,一个与经济有关的随机系统在状态转移时，会发生收益的变化。若马氏链各状态转移时赋于其一定的利润，则可称为,有利润的马氏链,。,期望利润预测,若系统有,n,个状态，设由状态,i,经过一步转移到状态,j,时，所获得的利润为,r,ij,，则所有各状态转移时获得的利润依次排列，构成利润矩阵,R,若,r,ij,0,，表示盈利,若,r,ij,0,，表示亏损,若,r,ij,=0,，表示盈亏平衡,35,由于系统状态的转移是随机的，因而得到的利润也是随机的。,设,q,i,(1),=,q,i,为,系统从状态,i,开始，经过一步转移到各状态,所获得的,期望利润,，可称为即时期望利润。若状态,i,经过一步转移到状态,j,的概率为,p,ij,，状态转移概率矩阵为,P,，则即时期望利润的计算公式,(,或预测模型,),为,36,规定未转移前（转移步数,k,0,时）的期望利润为,0,，亦即,q,i,(0),0(,i,=1,2,n,),；系统经过,k,步转移，所得到的期望利润可由以下,递推公式,求得：,即时,期望利润列向量,Q,为,(,i,=1,2,n,),37,因为,所以,k,步转移的期望利润公式又可写成以下矩阵形式：,38,说明,期望利润预测值，不是绝对利润的数值，而是概率意义上的平均值。它反映了系统状态转移的过程中所得到的期望收益，因而可作为企业经济分析和有关决策的依据。,39,例,3,其种商品在市场上的销路受多方面因素的影响。现按一定准则将销售状况分为畅销、滞销两种，并调查统计了过去,24,个月的销售状况如表所示。,月份序号,销售状况,1,畅,2,畅,3,滞,4,畅,5,滞,6,滞,7,畅,8,畅,9,滞,10,畅,11,畅,12,滞,月份序号,销售状况,13,畅,14,畅,15,滞,16,滞,17,畅,18,畅,19,滞,20,畅,21,畅,22,滞,23,畅,24,畅,经统计得出销路变化时的利润变动数值见下表。,已知本月处于畅销状态，试预测下一个月的即时期望利润和,3,个月的期望利润。,表,1,40,状态,j,利,润,状态,i,畅销,滞销,畅销,滞销,50,20,15,-,30,表中说明：连续畅销可获利,50,万元；由畅销