M11 马氏链模型

第十一章 马氏链模型,11.1,健康与疾病,11.2,钢琴销售的存贮策略,11.3,基因遗传,马氏链模型,系统在每个时期所处的状态是随机的,从一时期到下时期的状态按一定概率转移,下时期状态只取决于本时期状态和转移概率,已知现在，将来与过去无关（无后效性）,描述一类重要的,随机动态,系统（过程）的模型,马氏链,(Markov Chain),时间、状态均为离散的随机转移过程,通过有实际背景的例子介绍马氏链的基本概念和性质,例,1.,人的健康状况分为健康和疾病两种状态，设对特定年龄段的人，今年健康、明年保持健康状态的概率为,0.8,而今年患病、明年转为健康状态的概率为,0.7,，,11.1,健康与疾病,人的健康状态随着时间的推移会随机地发生转变,保险公司要对投保人未来的健康状态作出估计,以制订保险金和理赔金的数额,若某人投保时健康,问,10,年后他仍处于健康状态的概率,X,n,+1,只取决于,X,n,和,p,ij,与,X,n,-1,无关,状态,与,状态转移,状态转移具有无后效性,1,2,0.8,0.2,0.3,0.7,n,0,a,2,(,n,)0,a,1,(,n,)1,设投保时健康,给定,a,(0),预测,a,(,n,),n,=1,2,设投保时疾病,a,2,(,n,)1,a,1,(,n,)0,n,时状态概率趋于稳定值，稳定值与初始状态无关,3,0.778,0.222,7/9,2/9,0.7 0.77 0.777,0.3 0.33 0.333,7/9,2/9,状态,与,状态转移,1,2,0.8,0.2,0.3,0.7,1,0.8,0.2,2,0.78,0.22,1,2,3,0.1,0.02,1,0.8,0.25,0.18,0.65,例,2.,健康和疾病状态同上，,X,n,=1,健康,X,n,=2,疾病,p,11,=0.8,p,12,=0.18,p,13,=0.02,死亡为第,3,种状态，记,X,n,=3,健康与疾病,p,21,=0.65,p,22,=0.25,p,23,=0.1,p,31,=0,p,32,=0,p,33,=1,n,0 1 2 3,a,2,(,n,)0 0.18 0.189 0.1835,a,3,(,n,)0 0.02 0.054 0.0880,a,1,(,n,)1 0.8 0.757 0.7285,设投保时处于健康状态，预测,a,(,n,),n,=1,2,不论初始状态如何，最终都要转到状态,3,；,一旦,a,1,(,k,)=,a,2,(,k,)=0,a,3,(,k,)=1,则对于,nk,a,1,(,n,)=0,，,a,2,(,n,)=0,a,3,(,n,)=1,即从状态,3,不会转移到其它状态。,状态,与,状态转移,0,0,1,50,0.1293,0.0326,0.8381,马氏链的基本方程,基本方程,马氏链的两个重要类型,1.,正则链,从任一状态出发经有限次转移能以正概率到达另外任一状态（如例,1,）。,w,稳态概率,马氏链的两个重要类型,2.,吸收链,存在吸收状态（一旦到达就不会离开的状态,i,p,ii,=1,）,且,从任一非吸收状态出发经有限次转移能以正概率到达吸收状态（如例,2,）。,有,r,个吸收状态的吸收链的转移概率阵标准形式,R,有非零元素,y,i,从第,i,个非吸收状态出发，被某个吸收状态吸收前的平均转移次数。,11.2,钢琴销售的存贮策略,钢琴销售量很小，商店的库存量不大以免积压资金,一家商店根据经验估计，平均每周的钢琴需求为,1,架,存贮策略,：每周末检查库存量，仅当库存量为零时，才订购,3,架供下周销售；否则，不订购。,估计在这种策略下失去销售机会的可能性有多大，以及每周的平均销售量是多少。,背景与问题,问题分析,顾客的到来相互独立，需求量近似服从波松分布，其参数由需求均值为每周,1,架确定，由此计算需求概率,存贮策略是周末库存量为零时订购,3,架,周末的库存量可能是,0,1,2,3,，周初的库存量可能是,1,2,3,。,用马氏链描述不同需求导致的周初库存状态的变化。,动态过程中每周销售量不同，失去销售机会（需求超过库存）的概率不同。,可按稳态情况（时间充分长以后）计算失去销售机会的概率和每周的平均销售量。,模型假设,钢琴每周需求量服从波松分布，均值为每周,1,架,存贮策略,：当周末库存量为零时，订购,3,架，周初到货；否则，不订购。,以每周初的库存量作为状态变量，状态转移具有无后效性。,在稳态情况下计算该存贮策略失去销售机会的概率，和每周的平均销售量。,模型建立,D,n,第,n,周需求量,，,均值为,1,的波松分布,S,n,第,n,周初库存量,(,状态变量,),状态转移规律,D,n,0 1 2 3 3,P,0.368 0.368 0.184 0.061 0.019,状态转移阵,模型建立,状态概率,马氏链的基本方程,正则链,稳态概率分布,w,满足,wP,=w,已知初始状态，可预测第,n,周初库存量,S,n,=i,的概率,n,状态概率,第,n,周失去销售机会的概率,n,充分大时,模型求解,从长期看，失去销售机会的可能性大约,10%,。,1.,估计在这种策略下失去销售机会的可能性,D,0 1 2 3 3,P,0.368 0.368 0.184 0.061 0.019,模型求解,第,n,周平均售量,从长期看，每周的平均销售量为,0.857(,架,),n,充分大时,需求不超过存量,销售需求,需求超过存量,销售存量,思考：为什么这个数值略小于每周平均需求量,1(,架,),?,2.,估计这种策略下每周的平均销售量,敏感性分析,当平均需求在每周,1(,架,),附近波动时，最终结果有多大变化。,设,D,n,服从均值为,的波松分布,状态转移阵,0.8,0.9,1.0,1.1,1.2,P,0.073,0.089,0.105,0.122,0.139,第,n,周,(,n,充分大,),失去销售机会的概率,当平均需求增长（或减少）,10%,时，失去销售机会的概率将增长（或减少）约,12%,。,11.3,基因遗传,背景,生物的外部表征由内部相应的基因决定。,基因分优势基因,d,和劣势基因,r,两种。,每种外部表征由两个基因决定，每个基因可以是,d,r,中的任一个。形成,3,种基因类型：,dd,优种,D,dr,混种,H,rr,劣种,R,。,基因类型为优种和混种,外部表征呈优势；基因类型为劣种,外部表征呈劣势,。,生物繁殖时后代随机地（等概率地）继承父、母的各一个基因，形成它的两个基因。父母的基因类型决定后代基因类型的概率,完全优势基因遗传,父母基因类型决定后代各种基因类型的概率,父母基因类型组合,后代各种,基因类型,的概率,DD,RR,DH,DR,HH,HR,D,R,H,1,0,0,0,0,1,1/2,1/2,0,0,1,0,1/4,1/2,1/4,0,1/2,1/2,3,种基因类型：,dd,优种,D,dr,混种,H,rr,劣种,R,完全优势基因遗传,P,(,D,DH,)=,P,(,dd,dd,dr,)=,P,(,d,dd,),P,(,d,dr,),P,(,R,HH,)=,P,(,rr,dr,dr,)=,P,(,r,dr,),P,(,r,dr,),=11/2=,1/2,=1/21/2=,1/4,随机繁殖,设群体中雄性、雌性的比例相等，基因类型的分布相同（记作,D,:,H,:,R,）,每一雄性个体以,D,:,H,:,R,的概率与一雌性个体交配，其后代随机地继承它们的各一个基因,设初始一代基因类型比例,D,:,H,:,R,=,a,:2,b,:,c,（,a+2b+c=,1),记,p=a+b,q=b+c,则,群体中优势基因和劣势基因比例,d,:,r=p,:,q,(,p+q,=1),。,假设,建模,状态,X,n,=1,2,3,第,n,代的一个体属于,D,H,R,状态概率,a,i,(,n,),第,n,代的一个体属于状态,i,(=1,2,3),的概率。,讨论基因类型的演变情况,基因比例,d:r=p:q,转移概率矩阵,状态转移概率,随机繁殖,马氏链模型,自然界中通常,p=q,=1/2,稳态分布,D,:,H,:,R,=1/4:1/2:1/4,基因类型为,D,和,H,优势表征,绿色，,基因类型为,R,劣势表征,黄色。,解释,“,豆科植物的茎，绿色,:,黄色,=3:1,”,(,D+H,):,R,=3:1,随机繁殖,近亲繁殖,在一对父母的大量后代中,雄雌随机配对繁殖，讨论一系列后代的基因类型的演变过程。,状态定义为配对的基因类型组合,X,n,=1,2,3,4,5,6,配对基因组合为,DD,RR,DH,DR,HH,HR,状态转移概率,马氏链模型,I,0,R,Q,状态,1(,DD,),2(,RR,),是吸收态，马氏链是吸收链,不论初始如何，经若干代近亲繁殖，将全变为优种或劣种,.,计算从任一非吸收态出发，平均经过几代被吸收态吸收。,纯种,(,优种和劣种,),的某些品质不如混种，近亲繁殖下大约,56,代就需重新选种,.,近亲繁殖,