第10讲-序贯决策分析01

,*,Copyright,2009 All Rights Reserved,信息管理学院,Copyright,2009 All Rights Reserved,信息管理学院,*,Email,：,联系电话：,7,决策理论与方法,1,多阶段决策,序贯决策,马尔可夫决策,第,10,讲：序贯决策分析,2,在经济管理活动中，由于某些问题的特殊性，,需要将活动过程分为若干个相互联系的阶段，在它的每一个阶段都需要做出决策，,从而使整个过程达到最好的活动效果。,当各个阶段决策确定后，就组成了一个决策系列，决定了整个过程的一条活动路线。,把一个问题看作是一个,前后关联的具有链状结构的多阶段过程,就成为多阶段决策过程。,多阶段决策问题,1,、多阶段决策,3,决策者需要做出时间上有先后之别的多次决策；,前一次决策的选择将直接影响到后一次决策，后一次决策的状态取决于前一次决策的结果；,决策者关心的是多次决策的总结果，而不是各次决策的即时后果,(,全程最优,),。,多阶段决策问题的特点,1,、多阶段决策,4,解决多阶段问题的主要方法：,决策树方法,动态规划方法,多阶段决策分析的步骤：,根据具体问题适当划分阶段；,确定各阶段的状态变量，寻找多阶段之间的联系；,由后到前用逆序法进行决策分析,多阶段决策方法,1,、多阶段决策,5,某公司考虑是否花费,4000,元钱从某科研机构购买某项技术，然后产销新产品，如果买技术，可以进行大批,(,a,1,),、中批,(,a,2,),或小批生产,(,a,3,),，可能出现的市场情况也分为畅销、一般和滞销三种情况。其收益矩阵如表,6-1,所示。,应用举例,1,、多阶段决策,6,为了更准确地了解市场，在正式投产前可先生产少量产品试销。由于要增添少量生产设备等原因，试销费需要,600,元。由于试销前未做广告，顾客对产品不太了解，加之试销销量较小，试销结果很不准确。假设试销结果分为产品受欢迎,(H,1,),、一般,(H,2,),和不受欢迎,(H,3,),三种，其准确度如表,6-2,。,1,、多阶段决策,7,如不买此项技术，把这笔费用用在其他方面，在同样的时期可获利,8000,元。那么，该公司应该如何决策？,（,1,）是否买技术？,（,2,）如果买技术，是否采取试销办法？,（,3,）如果不试销，应大批生产、中批生产还是小批生产？如果试销，又应该如何根据试销结果决定其行动？,8,1,、多阶段决策,9,6-3,试销结果下的后验概率,1,、多阶段决策,10,11,有些决策问题，在决策后又产生一些新情况，需要进行新决策，接着又有一些新情况，又需要进行新决策。这样决策、新情况、决策,，就构成一个系列，成为系贯决策。,多阶段决策的阶段数是确定的，序贯决策的阶段数是不确定的，它依赖于执行决策过程中所出现的状况。,决策方法：决策树,2,、序贯决策,12,产品检验问题：如果进行第一次抽样后，除选择检验还是不检验之外，还可以根据前面抽样的结果，考虑是否在进行一次容量为,1,的抽样。第二次抽样完成后，还可以考虑容量为,1,的第三次抽样，,-,如果继续下去，该抽样问题形成一个决策系列。,决策终止原则：只要有一个非经抽样的行动的损益值增加值大于进行抽样的费用时，决策序列终止。,2,、序贯决策,13,例,6,3,设某石油勘探队，在一片估计能出油的荒田钻探，可以先做地震试验，然后决定钻井与否。或者不做地震试验，只凭经验决定钻井与否。做地震试验的费用为每次,30000,元，钻井费用为,10000,元。若钻井后出油，这井队可收入,40000,元；若不出油就没有任何收入。各种情况下出油的概率已估计出，并标在图,6,2,上。问钻井队的决策者如何做出决策使收入的期望为最大。,2,、序贯决策,14,2,、序贯决策,15,例,6,4,设决策者的效用曲线如图,6,5,所示。试以最大效用期望值为决策准则，对上例进行决策。,2,、序贯决策,16,2,、序贯决策,17,某工厂的产品每,1000,件装成一箱出售。每箱中产品的次品率有,0.01,、,0.40,、,0.90,三种可能，其概率分别是,0.2,、,0.60,、,0.20,。,现在的问题是：出厂前是否要对产品进行严格检验，将次品挑出。可以选择的行动有两个：整箱检验，检验费为每箱,100,元；整箱不检验，但如果顾客在使用中发现次品，每件次品除调换为合格品外还要赔偿,0.25,元损失费。,为了更好地做出决定可以先从一箱中随机抽取,1,件作为样本检验它。然后根据这件产品是否次品再决定该箱是否要检验，抽样成本为,4.20,元，那么该厂应该如何决策。,这里要决策的问题是：是否抽检？如果不抽检，是否进行整箱检验,?,如果抽检，应如何根据抽检结果决定行动？,2,、序贯决策,18,预测在本质上就是利用预测对象的历史数据去推知预测对象的未来。,在经济管理现象中存在一种“无后效性”，即“系统在每一时刻的状态仅仅取决于前一时刻的状态，而与其过去的历史无关。”,如：池塘里有三张荷叶，编号为,1,，,2,，,3,，假设有一只青蛙随机地在荷叶上跳来跳去，在初始时刻，它在,2,号荷叶上。在时刻，它有可能跳到,1,号或者,3,号荷叶上，也有可能原地不动。,马尔可夫决策问题,3,、马尔可夫决策,19,把青蛙某时刻所在的荷叶称为青蛙所处的状态，青蛙在未来处于什么状态，只与它现在所处的状态无关，与它以前所处的状态无关。这种性质就是所谓的“无后效性”，即马尔可夫,(Markov),性。,对于某些情况，知道预测对象的当前状态，希望由此推知预测对象的今后状态，如果这样的对象在状态转移过程中满足马尔可夫性，则可以利用随机过程,(stochastic process),的有关理论进行预测。这种预测技术不需要太多的历史数据和资料，只需要预测对象最近和当前的资料。,3,、马尔可夫决策,20,所谓马尔可夫链，就是一种随机时间系列，它在将来取什么值只与它现在的取值有关，而与它过去取什么值的历史情况无关，即无后效性。,具备这个性质的离散性随机过程，称为马尔可夫链。,马尔可夫链与转移概率矩阵,3,、马尔可夫决策,21,随机过程 ，如果对任意 都存在,则称 具有马尔可夫性。,3,、马尔可夫决策,22,3,、马尔可夫决策,23,有些经济现象本身就满足马尔可夫性。,比如，考察产品的销售情况时，产品销售从畅销转而滞销或者从滞销转而畅销等显然只与其当前状态有关；某产品的市场占有率发生变化，即进行状态转移时，也只与当前状态有关；,机器设备从待修到正常工作或从正常工作到待修状态还是只与机器设备的当前状态有关等。当然也有很多经济现象不满足这种马尔可夫性。,在这种情况下，如能近似满足马尔可夫性，则也能采用这种预测方法。反之，就不能采用马尔可夫预测方法。,3,、马尔可夫决策,24,定义,2,：状态转移概率,马尔可夫链的概率特性取决于条件概率,在概率论中，条件概率,表达了由状态,B,向状态,A,转移的概率，简称为状态转移概率。,的含义是，某系统在时刻,m,处于状态,E,i,的条件下，时刻,m+k,处于状态,E,j,的概率。,3,、马尔可夫决策,25,某地区有,A,、,B,、,C,三家食品厂生产同一食品，有,10000,个用户,(,或购货点,),，假设在研究期间无新用户加入也无老用户退出，只有用户的转移。已知,2007,年,5,月份有,5000,户是,A,厂的顾客，,4000,户是,B,厂的顾客，,1000,户是,C,厂的顾客。,6,月份，,A,厂有,4000,户原来的顾客，上月的顾客有,500,户转到,B,厂，,50,户转到,C,厂；,B,厂有,3000,户原来的顾客，上月的顾客有,200,户转到,A,厂，,800,户转到,C,厂；,C,厂有,800,户原来的顾客，上月的顾客有,100,户转到,A,厂，,100,户转到,B,厂。试计算其状态转移概率。,3,、马尔可夫决策,26,3,、马尔可夫决策,27,3,、马尔可夫决策,28,将考察对象从一个状态转移到另一个状态的转移概率按行组成一个矩阵，称此矩阵为状态转移概率矩阵。其中称,为一步转移概率矩阵。,3,、马尔可夫决策,29,一步转移概率矩阵具有性质：,3,、马尔可夫决策,30,k,步转移概率矩阵：,k,步转移概率矩阵,的性质,：,3,、马尔可夫决策,31,状态转移概率矩阵,3,、马尔可夫决策,32,例题：某经济系统有三种状态,(,比如畅销、一般、滞销,),。系统状态转移情况见表,6.2,。试求系统,2,步转移概率矩阵。,3,、马尔可夫决策,3,、马尔可夫决策,33,例题：某经济系统有三种状态,(,比如畅销、一般、滞销,),。系统状态转移情况见表,6.2,。试求系统,2,步转移概率矩阵。,3,、马尔可夫决策,34,例,6,5,某企业为使技术人员具有多方面经验，实行技术人员在技术部门、生产部门的轮换工作制度。轮换办法采取随机形式，每半年轮换一次。初始状态，即技术人员开始是在某部门工作概率用 表示，,j=1,2,3;,表示处于第,i,个部门的技术人员在半年后（一步）转移到第,j,个部门的概率。,已知,如果某人开始在工程技术部门工作（部门,1,），则经过,2,次转移后他在生产部门工作（部门,2,）的概率是多少？,3,、马尔可夫决策,35,例,6,6,某生产商标为,的产品的厂商为了与另外两个生产同类产品,和,的厂家竞争，有三种可供选择的措施：措施,1,为发放有奖债券；措施,2,为开展广告宣传；措施,3,为优质售后服务。三种方案分别实施以后，经统计调查可知，该类商品的市场占有率的转移矩阵分别是,已知三种商标的商品的月总销售量为,1000,万件，每件可获利,1,元。另外，三种措施的成本费分别为,150,万，,40,万，,30,万。从长远利益考虑，生产商标为,的产品的厂商应该采取何种措施？,3,、马尔可夫决策,36,我国出口某种设备，在国际市场的销售状况有两种：畅销和滞销。畅销时每年可获利,100,万元，滞销时每年仅获利,30,万元。以一年为一个时期，如果不采用广告措施或采取广告措施，状态的转移矩阵分另如表,6,5,，表,6,6,所示。,确定上一年为畅销状态，每年的广告费为,15,万元。为了保证以后三年的利润最在化，是否应该采用广告措施？,表,6,5,不采取广告措施,表,6,6,不采取广告措施,3,、马尔可夫决策,37,38,我国出口某种设备，在国际市场的销售状况有两种：畅销和滞销。畅销时每年可获利,100,万元，滞销时每年仅获利,30,万元。以一年为一个时期，如果不采用广告措施或采取广告措施，状态的转移矩阵分另如表,6,5,，表,6,6,所示。,如果每年是否采取广告措施可根据上一年经营状况决定，那么，应该怎么决策？,表,6,5,不采取广告措施,表,6,6,不采取广告措施,3,、马尔可夫决策,38,1.,某企业今年时亏损单位。新上任的厂长准备从明年开始采取改革方案,A,或,B,。以一年为一个时期，方案,A,（表,6,10,）和方案,B,（表,6,11,）的转移矩阵分别为,概率,盈,亏,盈,0.8,0.2,亏,0.4,0.6,表,6,10,方案,A,概率,盈,亏,盈,0.7,0.3,亏,0.8,0.2,表,6,11,方案,B,该厂为了以最大的概率在第,3,年实现盈利，厂长应该采取哪种方案？假定在三年内所采取的方案不变。,作业,39,2.,某企业的某种商品的销售状态只分为畅销和滞销两种。每个时期的利润只与本时期及前一时期所处的状态有关，如表,6,12,所示。,利 润,畅 销,滞 销,畅销,200,20,滞销,100,60,表,6,12,各种销售状态的利润,40,已知目前时期的前一时期为滞销。现有两个策略,A,、,B,，其转移矩阵分别如表,6,13,及表,6,14,所示。,概 率,畅 销,滞 销,畅销,0.8,0.2,滞销,0.4,0.6,表,6,13,策略,A,概 率,畅销,滞销,畅销,0.7,0.3,滞销,0.5,0.5,表,6,14,策略,B,策略费用不计。,试问：在下列各种情况下，为使利润最大化，该公司该如何决策？,（,1,）只经营,2,年，各年策略相同。