M11n第十一章马氏链模型.ppt

第十一章马氏链模型,11.1健康与疾病11.2钢琴销售的存贮策略11.3基因遗传11.4等级结构11.5资金流通,马氏链模型,系统在每个时期所处的状态是随机的.,从一时期到下时期的状态按一定概率转移.,下时期状态只取决于本时期状态和转移概率.已知现在，将来与过去无关（无后效性）,描述一类重要的随机动态系统(过程)的模型.,马氏链(MarkovChain)时间、状态均为离散的随机转移过程,通过有实际背景的例子介绍马氏链的基本概念和性质.,例1.人的健康状况分为健康和疾病两种状态，设对特定年龄段的人，今年健康、明年保持健康状态的概率为0.8,而今年患病、明年转为健康状态的概率为0.7.,11.1健康与疾病,人的健康状态随着时间的推移会随机地发生转变.,保险公司要对投保人未来的健康状态作出估计,以制订保险金和理赔金的数额.,若某人投保时健康,问10年后他仍处于健康状态的概率.,Xn+1只取决于Xn和pij,与Xn-1,无关,状态与状态转移,状态转移具有无后效性,设投保时健康,给定a(0),预测a(n),n=1,2,设投保时疾病,n时状态概率趋于稳定值,稳定值与初始状态无关.,状态与状态转移,例2.健康和疾病状态同上，Xn=1健康,Xn=2疾病,p11=0.8,p12=0.18,p13=0.02,死亡为第3种状态，记Xn=3,健康与疾病,p21=0.65,p22=0.25,p23=0.1,p31=0,p32=0,p33=1,设投保时处于健康状态，预测a(n),n=1,2,不论初始状态如何，最终都要转到状态3；一旦a1(k)=a2(k)=0,a3(k)=1,则对于nk,a1(n)=0，a2(n)=0,a3(n)=1,即从状态3不会转移到其它状态.,状态与状态转移,马氏链的基本方程,基本方程,马氏链的两个重要类型,1.正则链从任一状态出发经有限次转移能以正概率到达另外任一状态(如例1).,w稳态概率,马氏链的两个重要类型,2.吸收链存在吸收状态（一旦到达就不会离开的状态i,pii=1）,且从任一非吸收状态出发经有限次转移能以正概率到达吸收状态(如例2).,有r个吸收状态的吸收链的转移概率阵标准形式,R有非零元素,yi从第i个非吸收状态出发，被某个吸收状态吸收前的平均转移次数.,11.2钢琴销售的存贮策略,钢琴销售量很小，商店的库存量不大以免积压资金.,一家商店根据经验估计，平均每周的钢琴需求为1架.,存贮策略：每周末检查库存量，仅当库存量为零时，才订购3架供下周销售；否则，不订购.,估计在这种策略下失去销售机会的可能性有多大，以及每周的平均销售量是多少.,背景与问题,问题分析,顾客的到来相互独立，需求量近似服从波松分布，其参数由需求均值为每周1架确定，由此计算需求概率.,存贮策略是周末库存量为零时订购3架周末的库存量可能是0,1,2,3，周初的库存量可能是1,2,3.,用马氏链描述不同需求导致的周初库存状态的变化.,动态过程中每周销售量不同，失去销售机会（需求超过库存）的概率不同.,可按稳态情况（时间充分长以后）计算失去销售机会的概率和每周的平均销售量.,模型假设,钢琴每周需求量服从波松分布，平均每周1架.,存贮策略：当周末库存量为零时，订购3架，周初到货；否则，不订购.,以每周初的库存量作为状态变量，状态转移具有无后效性.,在稳态情况下计算失去销售机会的概率和每周的平均销售量,作为该存贮策略的评价指标.,模型建立,Dn第n周需求量，均值为1的波松分布,Sn第n周初库存量(状态变量),状态转移规律,状态转移阵,模型建立,状态概率,马氏链的基本方程,已知初始状态，可预测第n周初库存量Sn=i的概率,n,状态概率,第n周失去销售机会的概率,n充分大时,模型求解,从长期看，失去销售机会的可能性大约10%。,1.估计失去销售机会的可能性,存贮策略的评价指标,模型求解,第n周平均售量,从长期看，每周的平均销售量为0.857(架),n充分大时,思考：为什么每周的平均销售量略小于平均需求量?,2.估计每周的平均销售量,存贮策略的评价指标,每周平均需求量1架,敏感性分析,当平均需求在每周1(架)附近波动时，最终结果有多大变化。,设Dn服从均值的波松分布,状态转移阵,第n周(n充分大)失去销售机会的概率,当平均需求(=1.0)增长(或减少)10%时，,失去销售机会的概率P将增长(或减少)约15%。,钢琴销售的存贮策略,存贮策略(周末库存为0则订购3架,否则不订购)已定,计算两个指标(失去销售的概率和每周平均销售量).,给出其它存贮策略(如周末库存为0或1则订购使下周初库存为3架,否则不订购),讨论这两个指标(习题1).,动态随机存贮策略是马氏链的典型应用.,关键是在无后效性的前提下恰当地定义系统的状态变量(本例是每周初的库存量).,11.3基因遗传,背景,生物的外部表征由内部相应的基因决定.,基因分优势基因d和劣势基因r两种.,每种外部表征由两个基因决定,每个基因可以是d,r中的任一个.形成3种基因类型：dd优种D,dr混种H,rr劣种R.,基因类型为优种和混种,外部表征呈优势；基因类型为劣种,外部表征呈劣势.,生物繁殖时后代随机地（等概率地）继承父、母的各一个基因，形成它的两个基因.父母的基因类型决定后代基因类型的概率.,完全优势基因遗传,父母基因类型决定后代各种基因类型的概率,3种基因类型：dd优种D,dr混种H,rr劣种R,完全优势基因遗传,P(DDH)=P(dddd,dr)=P(ddd)P(ddr),P(RHH)=P(rrdr,dr)=P(rdr)P(rdr),=11/2=1/2,=1/21/2=1/4,随机繁殖,设群体中雄性、雌性的比例相等，基因类型的分布相同（记作D:H:R）,每一雄性个体以D:H:R的概率与一雌性个体交配，其后代随机地继承它们的各一个基因,设初始一代基因类型比例D:H:R=a:2b:c（a+2b+c=1),记p=a+b,q=b+c,则群体中优势基因和劣势基因比例d:r=p:q(p+q=1),假设,建模,状态Xn=1,2,3第n代的一个体属于D,H,R,状态概率ai(n)第n代的一个体属于状态i(=1,2,3)的概率.,讨论基因类型的演变情况,基因比例d:r=p:q,转移概率矩阵,状态转移概率,随机繁殖,马氏链模型,自然界中通常p=q=1/2,稳态分布D:H:R=1/4:1/2:1/4,基因类型为D和H,优势表征绿色，基因类型为R,劣势表征黄色。,解释“豆科植物的茎，绿色:黄色=3:1”,随机繁殖,近亲繁殖,在一对父母的大量后代中,雄雌随机配对繁殖，讨论一系列后代的基因类型的演变过程。,状态定义为配对的基因类型组合,Xn=1,2,3,4,5,6配对基因组合为DD,RR,DH,DR,HH,HR,状态转移概率,马氏链模型,I,0,R,Q,状态1(DD),2(RR)是吸收态，马氏链是吸收链不论初始如何，经若干代近亲繁殖，将全变为优种或劣种.,计算从任一非吸收态出发，平均经过几代被吸收态吸收。,纯种(优种和劣种)的某些品质不如混种，近亲繁殖下大约56代就需重新选种.,近亲繁殖,11.4等级结构,社会系统中需要适当且稳定的等级结构.,描述等级结构的演变过程，预测未来的结构.,确定为达到某个理想结构应采取的策略.,引起等级结构变化的因素：,系统内部等级间的转移：提升和降级.,系统内外的交流：调入和退出(退休、调离等).,用马氏链模型描述确定性的转移问题(将转移比例视为概率),基本模型,a(t)等级结构,等级i=1,2,k（如助教、讲师、教授）,数量分布n(t)=(n1(t),n2(t),nk(t)ni(t)t年属于等级i的人数，t=0,1,比例分布a(t)=(a1(t),a2(t),ak(t),转移矩阵Q=pijkk,pij是每年从i转至j的比例,基本模型,基本模型,基本模型,基本模型,等级结构a(t)状态概率,P转移概率矩阵,用调入比例进行稳定控制,问题：给定Q,哪些等级结构可以用合适的调入比例保持不变,用调入比例进行稳定控制,a*,稳定域B,可行域A,例大学教师(助教、讲师、教授)等级i=1,2,3，已知每年转移比例,用调入比例进行稳定控制,研究稳定域B的结构,用调入比例进行稳定控制,稳定域B是k维空间中以si为顶点的凸多面体,研究稳定域B的结构,用调入比例进行稳定控制,例,S1,稳定域B是以si为顶点的三角形,用调入比例进行动态调节,问题：给定Q和初始结构a(0),求一系列的调入比例r,使尽快达到或接近理想结构,逐步法：对于Q和a(0),求r使a(1)尽量接近a*,再将a(1)作为新的a(0),继续下去。,模型,例,用调入比例进行动态调节,求r使a(1)尽量接近a*,r(t),a(t)的计算结果,a(7)已接近a*,观察r(t)的特点,用调入比例进行动态调节,等级结构,等级结构的演变、预测和控制在社会系统中有广泛应用.,讨论总人数和内部转移比例不变情况下,用调入比例控制级结构的变化.,建立等级结构演变过程的基本方程,预测未来结构.,讨论各种推广情况：总人数按照一定比例增长；调入比例有界；调入比例固定而用内部转移比例控制级结构的变化.,11.5资金流通,背景,各地区之间资金每年按一定比例相互流通.,各地区每年有资金流出并不再回来.,银行计划每年向各地区投放或收回一定资金,使各地区的资金分布趋向稳定.,建立模型描述各地区资金分布的变化规律.,讨论什么情况下分布趋向稳定.,确定银行应投放或收回多少资金.,问题,问题分析,资金流通,与“等级结构”进行类比,等级结构,地区间的资金流通,等级间的成员转移,资金流出地区,成员退出系统,银行向地区投放资金,从外部向系统调入成员,银行投放资金可为负值（收回资金）,调入成员数量不能为负值,各地区资金总和每年变化,系统总人数每年不变,相似点,不同点,基本模型,资金分布c(t)=(c1(t),c2(t),ck(t)，ci(t)第t年地区i的资金，t=0,1,2,，i=1,2,k,资金投放d=(d1,dk),di每年向地区i投放的资金（负值表示收回资金）,转移矩阵Q=pijkk,pij每年资金从地区i转至j的比例,基本模型,k个地区的资金看作系统的k个状态,并增加状态0表示资金退出系统（吸收状态）.,资金在k+1个状态间的转移矩阵,用马氏链模型描述,若存在稳定分布c()=c*,需检查对任意t,i,c(t)0.,计算,例3个地区资金转移比例矩阵为,要达到稳定分布c*=(12,6,3),求银行每年向各地区投放的资金d.,若资金的初始分布c(0)=(9,3,6),资金流通,若资金初始分布c(0)=(3,3,3),能达到稳定分布c*吗?,计算,向地区1投放6,地区2投放2,从地区3收回4.,对任意t,i,c(t)0?,不能达到稳定分布c*,需要有效的检查方法!(参看P354356),资金流通,例若资金初始分布c(0)=(3,3,3),能达到稳定分布c*吗?,(同前),对于初始分布c(0)=(9,3,6),对任意t,i,c(t)0?,