马氏链模型习题

马氏链模型习题,范萌萌,2018.7.14,马氏链模型,系统在每个时期所处的状态是随机的,.,从一时期到下时期的状态按一定概率转移,.,下时期状态只取决于本时期状态和转移概率,.,已知现在，将来与过去无关（无后效性）,描述一类重要的,随机,动态,系统,(,过程,),的模型,.,马氏链,(Markov Chain),时间、状态均为离散的随机转移过程,具有无后效性的，时间、状态均为离散的随机转移,过程，通常用,马氏链（,Markov Chain,）模型,描述。,马氏链模型在经济、社会、生态、遗传等许多领域,有广泛应用，不仅可以解决随即转移过程，还可以,处理一些确定性系统的状态转移问题。,马氏链的基本方程,基本方程,马氏链的两个重要类型,1.,正则链,从任一状态出发经有限次转移能以正概率到达另外任一状态,(,如例,1).,w,稳态概率,马氏链的两个重要类型,2.,吸收链,存在吸收状态（一旦到达就不会离开的状态,i,p,ii,=1,）,且,从任一非吸收状态出发经有限次转移能以正概率到达吸收状态,(,如例,2).,有,r,个吸收状态的吸收链的转移概率阵标准形式,R,有非零元素,y,i,从第,i,个非吸收状态出发，被某个吸收状态吸收前的平均转移次数,.,信息传播问题,一条消息在,等人中传播，传播,的方式是,传给,传给,如此继续下去，每次传播都是由,传给,每次传播消息的失真率为,即,将消息传给,时，传错的概率为,这样经过长时间传播第,n,个人得知消息时，消息,的真实程度如何？,习题,1,第,n,个人知道消息可能是真，也可能是假，有两种状态，记为,表示消息假；,表示消息真；,用,表示第,个人处于状态,的概率，,即状态概率为,由题意，状态转移概率矩阵为,求解,习题,2,若顾客的购买是无记忆的，即已知现在顾客购买的情况，未来顾客的购买情况不受过去购买历史的影响，而只与现在购买情况有关。现在市场上供应,A,、,B,、,C,三个不同厂家生产的,50,克袋装味精。若已知第一次顾客购买三个厂味精的概率依次为,0.2,、,0.4,、,0.4,，又知道一般顾客的购买倾向由下表给出。（,1,）求顾客第四次购买各家味精的概率。（,2,）从长期看这三家厂商的市场占有率分别是多少？,习题,2,习题,2,习题,3,甲、乙两人进行比赛，设每局比赛中甲胜的概率是,p,，乙胜的概率是,q,，和局的概率是,r,，（）。设每局比赛后，胜者记“,+1”,分，负者记“,1”,分，和局不记分。当两人中有一人获得,2,分结束比赛。以,表示比赛至第,n,局时甲获得的分数。,（,1,）写出状态空间；,（,3,）问在甲获得,1,分的情况下，再赛二局可以结束比赛的概率是多少？,解,（,1,）,记甲获得“负,2,分”为状态,1,，获得“负,1,分”为状态,2,，获得“,0,分”为状态,3,，获得“正,1,分”为状态,4,，获得“正,2,分”为状态,5,，则状态空间为,一步转移概率矩阵,（,2,）二步转移概率矩阵,（,3,）,从而结束比赛的概率；,从而结束比赛的概率。,所以题中所求概率为,习题,4,智力竞赛问题 甲、乙两队进行智力竞赛。竞赛规则规定：竞赛开始时，甲、乙两队各记,2,分，在抢答问题时，如果甲队赢得,1,分，那么甲队的总分将增加,1,分，同时乙队总分将减少,1,分。当甲（或乙）队总分达到,4,分时，竞赛结束，甲（或乙）获胜。根据队员的智力水平，知道甲队赢得,1,分的概率为,p,，失去,1,分的概率为,1-p,，,求,（,1,）甲队获胜的概率是多少；,（,3,）甲队获得,1,、,2,、,3,分的平均次数是多少？,（,2,）竞赛从开始到结束，分数转移的平均次数是多少？,解,（,1,）,解,（,1,）,解,（,1,）,分析,习题,5,赌徒输光问题,赌徒甲有资本,a,元，赌徒乙有资本,b,元，两人进行赌博，每赌一局输者给赢者,1,元，没有和局，直赌至两人中有一人输光为止。设在每一局中，甲获胜的概率为,p,，乙获胜的概率为 ，求甲输光的概率。,这个问题实质上是带有两个吸收壁的随机游动。从甲的角度看，他初始时刻处于,a,，每次移动一格，向右移（即赢,1,元）的概率为,p,，向左移（即输,1,元）的概率为,q,。如果一旦到达,0,（即甲输光）或,a,+,b,（即乙输光）这个游动就停止。这时的状态空间为,0,，,1,，,2,，,，,c,，,c=a,+,b,，。现在的问题是求质点从,a,出发到达,0,状态先于到达,c,状态的概率。,考虑质点从,j,出发移动一步后的情况,解,同理,根据全概率公式有,这一方程实质上是一差分方程，它的边界条件是,首页,于是,设,则可得到两个相邻差分间的递推关系,于是,欲求,先求,需讨论,r,当,而,两式相比,故,当,而,因此,故,用同样的方法可以求得乙先输光的概率,由以上计算结果可知,服务网站问题,习题,6,问题分析及符号说明,问题分析,服务请求要么被拒绝或者接受，要么到达某个工作站等待处理,建模目标,分析服务请求被接受或者拒绝的概率,用随机变量,表示第,n,个阶段的状况,服务请求被拒绝,服务请求被接受,转移概率矩阵为：,可以计算为：,空气污染问题,有,k,个城市 ，每一时刻,t=0,1,2,的空气中污染物浓度 ，从,t,到,t+1,，空气,中污染物扩散到 去的比例是 ，有,扩散到,k,个城市之外的那部分污染物永远不再回来。,在每个时刻各城市的污染源都排出一定的污染物，,记 排出的为 。,按照环境管理条例要求，,对充分大的,t,必须 。,习题,7,试建立马氏链模型，在已知 和 的条件下,确定 的限制范围，满足管理条例的要求。,设,k,=3,由以下矩阵给出,求 的限制范围。,基本模型,污染物浓度,c,(,t,)=(,c,1,(,t,),c,2,(,t,),c,k,(,t,),，,c,i,(,t,),第,t,年地区,i,的污染物浓度，,t,=0,1,2,，,i,=1,2,k,转移矩阵,Q,=,p,ij,k,k,p,ij,每年污染物从地区,i,转至,j,的比例,Q,表示污染物扩散比例，为排放浓度。,