数学建模(马氏链模型)

马氏链模型,系统在每个时期所处的状态是随机的,.,从一时期到下时期的状态按一定概率转移,.,下时期状态只取决于本时期状态和转移概率,.,已知现在，将来与过去无关（无后效性）,描述一类重要的随机动态系统,(,过程,),的模型,.,(Markov Chain),时间、状态均为离散的随机转移过程,通过有实际背景的例子介绍马氏链的基本概念和性质,.,例,1.,人的健康状况分为健康和疾病两种状态，设对特定年龄段的人，今年健康、明年保持健康状态的概率为,0.8,而今年患病、明年转为健康状态的概率为,0.7.,12.1,健康与疾病,人的健康状态随着时间的推移会随机地发生转变,.,保险公司要对投保人未来的健康状态作出估计,以制订保险金和理赔金的数额,.,若某人投保时健康,问,10,年后他仍处于健康状态的概率,.,X,n,+1,只取决于,X,n,和,p,ij,与,X,n,-1,无关,状态,与,状态转移,状态转移具有无后效性,0.8,0.2,0.3,0.7,1,2,n,0,a,2,(,n,) 0,a,1,(,n,) 1,设投保时健康,给定,a,(0),预测,a,(,n,),n,=1,2,设投保时疾病,a,2,(,n,) 1,a,1,(,n,) 0,n,时状态概率趋于稳定值,稳定值与初始状态无关,.,3 ,0.778 ,0.222 ,7/9,2/9,0.7 0.77 0.777 ,0.3 0.23 0.223 ,7/9,2/9,状态,与,状态转移,1,0.8,0.2,2,0.78,0.22,0.8,0.2,0.3,0.7,1,2,1,2,3,0.1,0.02,1,0.8,0.25,0.18,0.65,例,2.,健康和疾病状态同上，,X,n,=1,健康,X,n,=2,疾病,p,11,=0.8,p,12,=0.18,p,13,=0.02,死亡为第,3,种状态，记,X,n,=3,健康与疾病,p,21,=0.65,p,22,=0.25,p,23,=0.1,p,31,=0,p,32,=0,p,33,=1,n,0 1 2 3,a,2,(,n,) 0 0.18 0.189 0.1835,a,3,(,n,) 0 0.02 0.054 0.0880,a,1,(,n,) 1 0.8 0.757 0.7285,设投保时处于健康状态，预测,a,(,n,),n,=1,2,不论初始状态如何，最终都要转到状态,3,；,一旦,a,1,(,k,)=,a,2,(,k,)=0,a,3,(,k,)=1,则对于,nk,a,1,(,n,)=0,，,a,2,(,n,)=0,a,3,(,n,)=1,即从状态,3,不会转移到其他状态,.,状态,与,状态转移,0,0,1,50,0.1293,0.0326,0.8381,马氏链的基本方程,基本方程,马氏链的两个重要类型,1.,正则链,从任一状态出发经有限次转移,能以正概率到达另外任一状态,(,如例,1) .,w ,稳态概率,马氏链的两个重要类型,2.,吸收链,存在吸收状态（一旦到达就不会离开,的状态,i, p,ii,=1,）,且,从任一非吸收状态出发经有,限次转移能以正概率到达吸收状态,(,如例,2).,有,r,个吸收状态的吸收链的转移概率阵标准形式,R,有非零元素,y,i,从第,i,个非吸收状态出发，被某个吸收状态吸收前的平均转移次数,.,12.2,钢琴销售的存贮策略,钢琴销售量很小，商店的库存量不大以免积压资金,.,一家商店根据经验估计，平均每周的钢琴需求为,1,架,.,存贮策略：每周末检查库存量，仅当库存量为零时，才订购,3,架供下周销售；否则，不订购,.,估计在这种策略下失去销售机会的可能性有多大,?,以及每周的平均销售量是多少,?,背景与问题,问题分析,顾客的到来相互独立，需求量近似服从泊松分布，其参数由需求均值为每周,1,架确定，由此计算需求概率,.,存贮策略是周末库存量为零时订购,3,架,周末的库存量可能是,0, 1, 2, 3,，周初的库存量可能是,1, 2, 3.,用马氏链描述不同需求导致的周初库存状态的变化,.,动态过程中每周销售量不同，失去销售机会（需求超过库存）的概率不同,.,可按稳态情况（时间充分长以后）计算失去销售机会的概率和每周的平均销售量,.,模型假设,钢琴每周需求量服从泊松分布，平均每周,1,架,.,存贮策略：当周末库存量为零时，订购,3,架，周初到货；否则，不订购,.,以每周初的库存量作为状态变量，状态转移具有无后效性,.,在稳态情况下计算失去销售机会的概率和每周的平均销售量,作为该存贮策略的评价指标,.,模型建立,D,n,第,n,周需求量，均值为,1,的泊松分布,S,n,第,n,周初库存量,(,状态变量,),状态转移规律,D,n,0 1 2 3 3,P,0.368 0.368 0.184 0.061 0.019,状态转移阵, ,模型建立,状态概率,马氏链的基本方程,正则链,稳态概率分布,w,满足,wP=w,已知初始状态，可预测第,n,周初库存量,S,n,=i,的概率,n,状态概率,第,n,周失去销售机会的概率,n,充分大时,模型求解,从长期看，失去销售机会的可能性大约,10%.,1.,估计失去销售机会的可能性,D,0 1 2 3 3,P,0.368 0.368 0.184 0.061 0.019,存贮策略的评价指标,0.105,模型求解,第,n,周平均售量,从长期看，每周的平均销售量为,0.857(,架,),n,充分大时,需求不超过存量,需求被售,需求超过存量,存量被售,2.,估计每周的平均销售量,存贮策略的评价指标,每周平均需求量,1,架,0.857,敏感性分析,当平均需求在每周,1 (,架,),附近波动时，最终结果有多大变化。,设,D,n,服从均值,的泊松分布,状态转移阵,0.8,0.9,1.0,1.1,1.2,P,0.073,0.089,0.105,0.122,0.139,第,n,周,(,n,充分大,),失去销售机会的概率,当平均需求,(,=,1.0),增长,(,或减少,)10%,时，,失去销售机会的概率,P,将增长,(,或减少,),约,15% .,12.3,基因遗传,背景,生物的外部表征由内部相应的基因决定,.,基因分,优势基因,d,和,劣势基因,r,两种,.,每种外部表征由两个基因决定,每个基因,可以是,d, r,中的任一个,.,形成,3,种基因类型：,dd,优种,D,dr,混种,H,rr,劣种,R,.,基因类型为优种和混种,外部表征呈,优势,；,基因类型为劣种,外部表征呈,劣势,.,生物繁殖时后代随机地（等概率地）继承,父、母的各一个基因，形成它的两个基因,.,父母的基因类型决定后代基因类型的概率,.,完全优势基因遗传,父母基因类型决定后代各种基因类型的概率,父母基因类型组合,后代各种,基因类型,的概率,DD,RR,DH,DR,HH,HR,D,R,H,1,0,0,0,0,1,1 / 2,1 / 2,0,0,1,0,1 / 4,1 / 2,1 / 4,0,1 / 2,1 / 2,3,种基因类型：,dd,优种,D,dr,混种,H,rr,劣种,R,完全优势基因遗传,P,(,D,DH,)=,P,(,dd,dd,dr,)=,P,(,d,dd,),P,(,d,dr,),P,(,R,HH,)=,P,(,rr,dr,dr,)=,P,(,r,dr,),P,(,r,dr,),=11/2=1/2,=1/21/2=1/4,随机繁殖,设群体中雄性、雌性的比例相等，,基因类型的分布相同,(,记作,D,:,H,:,R,).,每一雄性个体以,D,:,H,:,R,的概率与一雌性个体,交配，其后代随机地继承它们的各一个基因,.,设初始一代基因类型比例,D,:,H,:,R,=,a,:2,b,:,c,（,a+2b+c=,1),记,p=,a+b, q=,b+c,则群体中优势,基因和劣势基因比例,d,:,r,=,p,:,q,(,p+q,=1).,假设,建模,状态,X,n,=1,2,3 ,第,n,代的一个体属于,D, H, R,状态概率,a,i,(,n,) ,第,n,代的一个体属于状态,i,(=1,2,3),的概率,.,讨论基因类型的演变情况,基因比例,d:r=p:q,转移概率矩阵,状态转移概率,随机繁殖,马氏链模型,自然界中通常,p=q,=1/2,稳态分布,D,:,H,:,R,=1/4:1/2:1/4,基因类型为,D,和,H,优势表征,绿色，,基因类型为,R,劣势表征,黄色,.,解释“豆科植物的茎，绿色,:,黄色,=3:1”,(,D+H,):,R,=3:1,随机繁殖,近亲繁殖,在一对父母的大量后代中,雄雌随机配对繁殖，讨论一系列后代的基因类型的演变过程。,状态定义为配对的基因类型组合,X,n,=1,2,3,4,5,6,配对基因组合为,DD,RR,DH,DR,HH,HR,状态转移概率,马氏链模型,I,0,R,Q,状态,1(,DD,), 2(,RR,),是吸收态，马氏链是吸收链,不论初始如何，经若干代近亲繁殖，将全变为优种或劣种,.,计算从任一非吸收态出发，平均经过几代被吸收态吸收,.,纯种,(,优种和劣种,),的某些品质不如混种，近亲繁殖下大约,56,代就需重新选种,.,近亲繁殖,12.4,等级结构,社会系统中需要适当且稳定的等级结构,.,描述,等级结构的,演变过程,，预测未来的结构,.,确定为达到某个理想结构应,采取的策略,.,引起等级结构变化的因素：,系统内部等级间的,转移,：提升和降级,.,系统内外的,交流,：调入和退出,(,退休、调离等,).,用马氏链模型描述确定性的转移问题,(,将转移比例视为概率,).,基本模型,a,(,t,),等级结构,等级,i,=1,2,k,（如助教、讲师、教授）,数量分布,n,(,t,)=(,n,1,(,t,),n,2,(,t,), ,n,k,(,t,),n,i,(,t,) ,t,年属于等级,i,的人数，,t,=0,1,比例分布,a,(,t,)=(,a,1,(,t,),a,2,(,t,), ,a,k,(,t,),转移矩阵,Q,=,p,ij,k,k,p,ij,是每年从,i,转至,j,的比例,基本模型,r,i,每年调入,i,的比例,(,在总调入人数中,),p,ij,每年从,i,转至,j,的比例,基本模型,基本模型,基本模型,等级结构,a,(,t,) ,状态概率,P,转移概率矩阵,用调入比例进行稳定控制,问题：给定,Q,哪些等级结构可以用合适的调入比例保持不变,a,为稳定结构,用调入比例进行稳定控制,求稳定结构,a,=(,a,1,a,2,a,3,),(,a,1,+,a,2,+,a,3,=1),(0.5,0.5,0),a,2,=,a,1,a,3,=1.5,a,2,(0,0.4,0.6),a,*,B,(0,0,1),(0,1,0),(1,0,0),A,例 大学教师,(,助教、讲师、教授,),等级,i,=1,2,3,，已知每年转移比例,可行域,A,稳定域,B,用调入比例进行稳定控制,研究稳定域,B,的结构,寻求,a,aQ,的另一种形式,用调入比例进行稳定控制,稳定域,B,是,k,维空间中以,s,i,为顶点的凸多面体,研究稳定域,B,的结构,用调入比例进行稳定控制,例,(0,1,0),(1,0,0),(0,0,1),0.286,0.286,S,1,S,2,S,3,B,稳定域,B,是以,s,i,为顶点的三角形,用调入比例进行动态调节,问题：给定,Q,和初始结构,a,(0),求一系列的调入比例,r,使尽快达到或接近理想结构,逐步法：对于,Q,和,a,(0),求,r,使,a,(1),尽量接近,a,*,再将,a,(1),作为新的,a,(0),继续下去,.,模型,例,(0,1,0),(1,0,0),(0,0,1),a,(0),0.286,0.286,a,*,a,(1),用调入比例进行动态调节,求,r,使,a,(1),尽量接近,a,*,),428,.,0,286,.,0,286,.,0,(,),1,0,0,(,),0,(,*,=,=,a,a,设,7,4,2,3,5,6,0.639,0.361,0,0.165,0.165,0.670,0.747,0.253,0,0.207,0.207,0.586,0.827,0.173,0,0.235,0.235,0.531,0.883,0.117,0,0.253,0.253,0.495,0.922,0.078,0,0.264,0.264,0.472,0.949,0.051,0,r,(,t,),a,(,t,),的计算结果,a,(7),已接近,a,*,观察,r,(,t,),的特点,0.272,0.272,0.457,用调入比例进行动态调节,1,0.5,0.5,0,0.1,0.1,0.8,r,(,t,),a,(,t,),t,),428,.,0,286,.,0,286,.,0,(,),1,0,0,(,),0,(,*,=,=,a,a,设,等 级 结 构,等级结构的演变、预测和控制在社会系统中有,广泛应用,.,讨论总人数和内部转移比例不变情况下,用调入,比例控制级结构的变化,.,建立等级结构演变过程的基本方程,预测未来结构,.,讨论各种推广情况：总人数按照一定比例增长；,调入比例有界；调入比例固定而用内部转移比例,控制级结构的变化,.,12.5,资金流通,背景,各地区之间资金每年按一定比例相互流通,.,各地区每年有资金流出并不再回来,.,银行计划每年向各地区投放或收回一定,资金,使各地区的资金分布趋向稳定,.,建立模型描述各地区资金分布的变化规律,.,讨论什么情况下分布趋向稳定,.,确定银行应投放或收回多少资金,.,问题,问题分析,资金流通,与“等级结构”进行类比,等级结构,地区间的资金流通,等级间的成员转移,资金流出地区,成员退出系统,银行向地区投放资金,从外部向系统调入成员,银行投放资金可为负值（收回资金）,调入成员数量不能为负值,各地区资金总和每年变化,系统总人数每年不变,相似点,不同点,基本模型,资金分布,c,(,t,)=(,c,1,(,t,),c,2,(,t,),c,k,(,t,),，,c,i,(,t,) ,第,t,年地区,i,的资金，,t,=0,1,2,，,i,=1,2, ,k,资金投放,d,=(,d,1,d,k,),d,i,每年向地区,i,投放的资金（负值表示收回资金）,转移矩阵,Q,=,p,ij,k,k,p,ij,每年资金从地区,i,转至,j,的比例,基本模型,k,个地区的资金看作系统的,k,个状态,并增加状态,0,表示资金退出系统（吸收状态）,.,资金在,k+,1,个状态间的转移矩阵,用马氏链模型描述,若存在稳定分布,c,(,)=,c,*,需检查对任意,t, i,c,(,t,),0.,计算,例,3,个地区资金转移比例矩阵为,要达到稳定分布,c,*,=,(12, 6, 3),求银行每年向各地区投放的资金,d.,c,(0),9,3,6,c,(1),10,7,2,c,(2),11.6667,5.6667,2.3333,c,(10),11.8359,5.7097,2.7432,若资金的初始分布,c,(0)=(9, 3, 6),资金流通,若资金初始分布,c,(0)=(3, 3, 3),能达到稳定分布,c,*,吗,?,计算,向地区,1,投放,6,地区,2,投放,2,从地区,3,收回,4.,对任意,t, i,c,(,t,),0 ?,c,(0),3,3,3,c,(1),8,5,-1,不能达到稳定分布,c,*,c,(0),9,3,6,c,(1),10,7,2,c,(2),11.6667,5.6667,2.3333,c,(10),11.8359,5.7097,2.7432,资金流通,例 若资金初始分布,c,(0)=(3, 3, 3),能达到稳定分布,c,*,吗,?, 0,(,同前,),对于初始分布,c,(0)=(9, 3, 6),对任意,t, i,c,(,t,),0 ?,