《马尔可夫过程》PPT课件.ppt

1,马尔可夫预测,马尔可夫链的基本概念马尔可夫预测方法及应用,马尔可夫预测是应用随机过程中马尔可夫链的理论和方法，研究分析有关现象的变化规律并借此对未来进行预测的一种方法。,2,6.1马尔可夫链的基本概念,3,一、马尔可夫链,6.1马尔可夫链的基本概念,4,马尔可夫过程指满足无后效性的随机过程,一、马尔可夫链,6.1马尔可夫链的基本概念,5,马尔可夫过程指满足无后效性的随机过程,定义1参数集,（随机变量）,随机过程,一、马尔可夫链,6.1马尔可夫链的基本概念,6,马尔可夫过程指满足无后效性的随机过程,定义1参数集,（随机变量）,随机过程,无后效性指将来取什么值只与现在的取值有关，而与过去取什么值无关。,一、马尔可夫链,6.1马尔可夫链的基本概念,7,马尔可夫过程指满足无后效性的随机过程,定义1参数集,（随机变量）,随机过程,无后效性指将来取什么值只与现在的取值有关，而与过去取什么值无关。,定义2如若T为离散集（设），同时的取值也是离散的，则称为离散型随机过程。,一、马尔可夫链,6.1马尔可夫链的基本概念,8,设有一离散型随机过程，它所有可能处于的状态的集合为：S=1，2，N，称其为状态空间。,9,则称离散型随机过程为马尔可夫链。,设有一离散型随机过程，它所有可能处于的状态的集合为：S=1，2，N，称其为状态空间。,若对任意，恒有：,10,二、状态转移概率矩阵,11,二、状态转移概率矩阵,当系统由一种状态变为另一种状态时，称为状态转移。,12,二、状态转移概率矩阵,当系统由一种状态变为另一种状态时，称为状态转移。,定义3一步状态转移概率,13,几个概念：,14,几个概念：,概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。,15,几个概念：,概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。,16,几个概念：,概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。,概率向量,17,几个概念：,概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。,概率矩阵由概率向量作为行向量所构成的方阵称为概率矩阵。,概率向量,18,概率矩阵的性质：如果A、B皆是概率矩阵，则AB也是概率矩阵；如果A是概率矩阵，则A的任意次幂也是概率矩阵。,19,概率矩阵的性质：如果A、B皆是概率矩阵，则AB也是概率矩阵；如果A是概率矩阵，则A的任意次幂也是概率矩阵。,一步状态转移概率矩阵,与n无关,假设：,（齐次性）,20,例1设味精销售情况分为畅销和滞销两种，1代表畅销，2代表滞销。以表示第n个季度的味精销售状态，则可取1或2的值。若未来的味精市场状态只与现在的市场状态有关，与以前的市场状态无关，则味精的市场销售状态构成一个马尔可夫链。,21,例1设味精销售情况分为畅销和滞销两种，1代表畅销，2代表滞销。以表示第n个季度的味精销售状态，则可取1或2的值。若未来的味精市场状态只与现在的市场状态有关，与以前的市场状态无关，则味精的市场销售状态构成一个马尔可夫链。,设,则状态转移概率矩阵：,22,1,2,0.6,0.5,0.4,0.5,23,k步状态转移概率,称为k步状态转移概率，为k步状态转移概率矩阵，,24,马尔可夫链中任何k步状态转移概率都可由1步状态转移概率求出。,25,马尔可夫链中任何k步状态转移概率都可由1步状态转移概率求出。,全概率公式,26,马尔可夫链中任何k步状态转移概率都可由1步状态转移概率求出。,P一步状态转移概率矩阵,k步状态转移概率矩阵,全概率公式,27,例2设一步状态转移概率矩阵为,则两步状态转移概率矩阵为,28,例2设一步状态转移概率矩阵为,则两步状态转移概率矩阵为,29,初始状态概率向量,30,初始状态概率向量,记为过程的开始时刻，,则称,为初始状态概率向量。,31,如果已知齐次马尔可夫链的状态转移概率矩阵以及初始状态概率向量，则任一时刻的状态概率分布可以确定。,初始状态概率向量,记为过程的开始时刻，,则称,为初始状态概率向量。,32,其中：,33,例3考察一台机床的运行状态。机床的运行存在正常和故障两种状态。S=1,2。机床在运行中出现故障：12；处于故障中的机床经维修，恢复到正常状态：21。,34,例3考察一台机床的运行状态。机床的运行存在正常和故障两种状态。S=1,2。机床在运行中出现故障：12；处于故障中的机床经维修，恢复到正常状态：21。,以一个月为单位，经观察统计，知其从某个月份到下月份，机床出现故障的概率为0.3。在这一段时间内，故障机床经维修恢复到正常状态的概率为0.9。,1,2,0.9,0.3,35,36,含义？,37,含义？,如已知初始概率向量P(0)：,0.1,0.9,0.3,0.7,38,含义？,如已知初始概率向量P(0)：,0.1,0.9,0.3,0.7,39,40,41,42,43,44,45,P(1)=(0.740.26),46,问题：当k不断增大时，的变化趋势如何？,P(1)=(0.740.26),47,三、平稳分布与稳态分布,48,三、平稳分布与稳态分布,1.平稳分布,49,三、平稳分布与稳态分布,1.平稳分布,如为一状态概率向量，P为状态转移概率矩阵。若,则称X为马尔可夫链的一个平稳分布。,50,1.平稳分布,如为一状态概率向量，P为状态转移概率矩阵。若,则称X为马尔可夫链的一个平稳分布。,若随机过程某时刻的状态概率向量为平稳分布，则称过程处于平衡状态。,一旦过程处于平衡状态，则过程经过一步或多步状态转移之后，其状态概率分布保持不变，即，过程一旦处于平衡状态后将永远处于平衡状态。,三、平稳分布与稳态分布,51,2.稳态分布,问题：对于系统的状态P(m)，当m趋于无穷时，是否存在极限？,52,2.稳态分布,问题：对于系统的状态P(m)，当m趋于无穷时，是否存在极限？,若存在，设其极限为，,53,2.稳态分布,问题：对于系统的状态P(m)，当m趋于无穷时，是否存在极限？,若存在，设其极限为，,54,2.稳态分布,问题：对于系统的状态P(m)，当m趋于无穷时，是否存在极限？,若存在，设其极限为，,55,则称为稳态分布。,定义对于概率向量，如对任意的，均有,56,则称为稳态分布。,定义对于概率向量，如对任意的，均有,此时，不管初始状态概率向量如何，均有,这也是称为稳态分布的理由。,57,设存在稳态分布，则由于下式恒成立,58,设存在稳态分布，则由于下式恒成立,令，得,59,设存在稳态分布，则由于下式恒成立,令，得,即，有限状态马尔可夫链的稳态分布如存在，那么它也是平稳分布。,问题系统是否存在稳态分布？什么条件？,60,1.对非周期的马尔可夫链，稳态分布必存在。,两个结论：,2.对不可约非周期的马尔可夫链，稳态分布和平稳分布相同且均唯一。,61,6.2马尔可夫预测方法及应用,一、市场占有率预测,62,一、市场占有率预测,例4公司A、B、C产品销售额的市场占有率分别为50%，30%，20%。由于C公司实行了改善销售与服务方针的经营管理决策，使其产品销售额逐期稳定上升，而A公司却下降。通过市场调查发现三个公司间的顾客流动情况如表所示。其中产品销售周期是季度。问题：按照目前的趋势发展下去，A公司的产品销售额或客户转移的影响将严重到何种程度？更全面的，三个公司的产品销售额的占有率将如何变化？,6.2马尔可夫预测方法及应用,63,64,65,66,未来各期的市场占有率：,67,未来各期的市场占有率：,68,未来各期的市场占有率：,69,未来各期的市场占有率：,C保销政策。C的市场份额不断增大。是否可以持续下去？,70,稳态市场占有率,71,稳态市场占有率,72,稳态市场占有率,解得,73,74,上述结果对A厂不利。A厂制定两套方案：,75,上述结果对A厂不利。A厂制定两套方案：,甲方案保留策略，拉住老顾客。,76,上述结果对A厂不利。A厂制定两套方案：,甲方案保留策略，拉住老顾客。,77,新的平衡状态下、三公司的市场占有率分别为31.6，26.3，42.1，公司的市场占有率从17.65提高到31.6。,78,新的平衡状态下、三公司的市场占有率分别为31.6，26.3，42.1，公司的市场占有率从17.65提高到31.6。,乙方案争取策略，挖客户。,79,新的平衡状态下、三公司的市场占有率分别为31.6，26.3，42.1，公司的市场占有率从17.65提高到31.6。,乙方案争取策略，挖客户。,在新的平衡状态下，、三家公司的市场占有率分别为33.3，22.2，44.5。,80,二、期望利润预测,81,二、期望利润预测,设是状态空间为的齐次马氏链，其转移矩阵为。设r(i)表示某周期系统处于状态i时获得的报酬。称如此的马尔可夫链是具有报酬的。r(i)0时称为盈利，报酬，收益等；r(i)0时称为亏损等。,82,1有限时段期望总报酬,83,记表示初始状态为i的条件下，到第k步状态转移前所获得的期望总报酬(k1，iS)：,1有限时段期望总报酬,84,记表示初始状态为i的条件下，到第k步状态转移前所获得的期望总报酬(k1，iS)：,1有限时段期望总报酬,85,记,86,记,有,87,记,有,88,例5某商品每月市场状况有畅销和滞销两种。如果产品畅销则获利50万元；滞销将亏损30万元。已知状态转移概率矩阵如下：,试问：如当前月份该产品畅销，则第四月前所获得的期望总利润为多少？,89,解：由题意知,90,解：由题意知,91,结果为：如当前月份该产品畅销，第四月前所获得的期望总利润为67.5万。,解：由题意知,92,2无限时段单位时间平均报酬,93,对iS，定义初始状态为i的无限时段单位时间平均报酬为：,2无限时段单位时间平均报酬,94,对iS，定义初始状态为i的无限时段单位时间平均报酬为：,记,2无限时段单位时间平均报酬,95,对iS，定义初始状态为i的无限时段单位时间平均报酬为：,记,则,2无限时段单位时间平均报酬,96,可以证明：,97,可以证明：,即，无限时段单位时间平均报酬与初始状态无关，均为,98,3无限时段期望折扣总报酬,99,考虑资金的时间价值,3无限时段期望折扣总报酬,100,如将钱存于银行，年息为，则与有如下关系：,考虑资金的时间价值,3无限时段期望折扣总报酬,，称为折扣因子。,101,对有报酬的马氏链，定义从状态i出发的无限时段期望折扣总报酬为,102,对有报酬的马氏链，定义从状态i出发的无限时段期望折扣总报酬为,于是，,103,对有报酬的马氏链，定义从状态i出发的无限时段期望折扣总报酬为,于是，,记,则,104,称为具有报酬的马氏链的三种目标函数。利用其中的任一个目标函数，可以讨论不同策略的优劣。,例6最佳维修策略的选择。研究一化工企业对循环泵进行季度维修的过程。每次检查中，把泵按其外壳及叶轮的腐蚀程度定为五种状态中的一种。这五种状态是：状态1：优秀状态，无任何故障或缺陷；状态2：良好状态，稍有腐蚀；状态3：及格状态，轻度腐蚀；状态4：可用状态，大面积腐蚀；状态5：不可运行状态，腐蚀严重。,105,该公司可采用的维修策略有以下几种：单状态策略：泵处于状态5时才进行修理，每次修理费用为500元。两状态策略：泵处于状态4和5时进行修理，处于状态4时的修理费用每次为250元,处于状态5时的每次修理费用为500元。三状态策略：泵处于状态3,4,5时进行修理，处于状态3时的每次修理费用为200元,处于状态4和5时的修理费用同前。目前，该公司采用的维修策略为“单状态”策略。假定不管处于何种状态，只要进行修理，泵的状态都将恢复为状态1。已知在不进行任何修理时的状态转移概率，如下表所示。,106,问题：确定哪个策略的费用最低。目标为长期运行单位时间平均报酬。,107,需知r和P.,不维修时的状态转移概率矩阵：,108,单状态策略下：,109,单状态策略下：,解得：,110,单状态策略下：,解得：,从而,111,两状态策略下：,112,两状态策略下：,113,两状态策略下：,解得：,114,两状态策略下：,解得：,从而,115,三状态策略下：,116,三状态策略下：,117,三状态策略下：,解得：,118,三状态策略下：,解得：,从而,119,单状态策略下：,两状态策略下：,三状态策略下：,因此，两状态策略为最优策略，平均每周期的费用为90.50元。,