序贯决策ppt课件

序贯决策分析 1 多阶段决策2 序贯决策3 马尔可夫决策 1 在经济管理活动中 由于某些问题的特殊性 需要将活动过程分为若干个相互联系的阶段 在它的每一个阶段都需要做出决策 从而使整个过程达到最好的活动效果 当各个阶段决策确定后 就组成了一个决策系列 决定了整个过程的一条活动路线 把一个问题看作是一个前后关联的具有链状结构的多阶段过程就成为多阶段决策过程 1 多阶段决策 1 1多阶段决策问题 2 多阶段决策的特点 决策者需要做出时间上有先后之别的多次决策 前一次决策的选择将直接影响到后一次决策 后一次决策的状态取决于前一次决策的结果 决策者关系的是多次决策的总结果 而不是各次决策的即时后果 全程最优 1 1多阶段决策问题 1 多阶段决策 3 解决多阶段问题的主要方法 决策树方法 动态规划方法 1 2多阶段决策方法 多阶段决策分析的步骤 根据具体问题适当划分阶段 确定各阶段的状态变量 寻找多阶段之间的联系 由后到前用逆序法进行决策分析 1 多阶段决策 4 有关活动方案的决策方法 决策树法构成 三点两枝 决策点 代表最后的方案选择状态点 代表方案将会遇到的不同状态结果点 代表每一种状态所得到的结果方案枝 由决策点引出的线段 连接决策点和状态点 每一线段代表一个方案 概率枝 由状态点引出的线段 连接状态点和结果点 每一线段代表一种状态 5 1 2 3 4 6 某厂为适应市场的需要 准备扩大生产能力 有两种方案可供选择 第一方案是建大厂 第二方案是先建小厂 后考虑扩建 如建大厂 需投资700万元 在市场销路好时 每年收益210万元 销路差时 每年亏损40万元 在第二方案中 先建小厂 如销路好 3年后进行扩建 建小厂的投资为300万元 在市场销路好时 每年收益90万元 销路差时 每年收益60万元 如果3年后扩建 扩建投资为400万元 收益情况同第一方案一致 未来市场销路好的概率为0 7 销路差的概率为0 3 如果前3年销路好 则后7年销路好的概率为0 9 销路差的概率为0 1 无论选用何种方案 使用期均为10年 试做决策分析 例题分析 7 这是一个多阶段的决策问题 考虑采用期望收益最大为标准选择最优方案 第一步 画出决策树图 1 4 5 7 8 9 6 2 3 60 60 90 40 210 40 210 40 建大厂 建小厂 销路好0 7 销路差0 3 销路好0 7 销路差0 3 销路好0 9 销路差0 1 扩建 不扩建 销路好0 9 销路差0 1 销路好0 9 销路差0 1 3年内 7年内 1227 5 1247 5 1295 280 895 420 895 609 8 第二步 从右向左计算各点的期望收益值 点4 210 0 9 7 40 0 1 7 1295 万元 点5 40 7 280 万元 点2 1295 0 7 210 0 7 3 280 0 3 40 0 3 3 1227 5 万元 点8 210 0 9 7 40 0 1 7 400 895 万元 点9 90 0 9 7 60 0 1 7 609 万元 点6是个决策点 比较点8和点9的期望收益 选择扩建 点6 895 万元 点7 60 7 420 万元 点3 895 0 7 210 0 7 3 420 0 3 60 0 3 3 1247 5 万元 9 第三步 进行决策 比较点2和点3的期望收益 点3期望收益值较大 可见 最优方案是先建小厂 如果销路好 3年以后再进行扩建 10 某公司考虑是否花费4000元钱从某科研机构购买某项技术 然后产销新产品 如果买技术 可以进行大批 a1 中批 a2 或小批生产 a3 可能出现的市场情况也分为畅销 一般和滞销三种情况 其收益矩阵如表1所示 1 3应用举例 1 多阶段决策 11 为了更准确地了解市场 在正式投产前可先生产少量产品试销 由于要增添少量生产设备等原因 试销费需要600元 由于试销前未做广告 顾客对产品不太了解 加之试销销量较小 试销结果很不准确 假设试销结果分为产品受欢迎 H1 一般 H2 和不受欢迎 H3 三种 其准确度如表2 1 多阶段决策 1 3应用举例 12 如不买此项技术 把这笔费用用在其他方面 在同样的时期可获利8000元 那么 该公司应该如何决策 1 是否买技术 2 如果买技术 是否采取试销办法 3 如果不试销 应大批生产 中批生产还是小批生产 如果试销 又应该如何根据试销结果决定其行动 1 3应用举例 13 1 多阶段决策 1 3应用举例 14 1 多阶段决策 1 3应用举例 试销结果下的后验概率 15 某工厂现有10万元资金可供生产某种产品使用 生产过程有两个方案可供选择 方案1 每万元资金 每年可产生0 5万元的利润 年产量为2000吨 方案2 每万元资金 每年可产生0 2万元的利润 年产量为3000吨 每年可用一部分资金采取一种方案生产 另外一部分资金采取另一种方案进行生产 但一年内不变 假设前一年的利润可作为下一年的资金在两个方案间再行分配 但一个方案前一年的资金不得在下一年向另一方案转移 那么 为使四年内的总产量最高 该厂在这四年中应该如何分配资金 连续情形的决策分析应用举例 16 有些决策问题 在进行决策后又产生一些新情况 需要进行新的决策 接着又有一些新的情况 有需要进行新的决策 这样决策 新情况 决策 就构成一个系列 成为系贯决策 多阶段决策的阶段数是确定的 序贯决策的阶段数是不确定的 它依赖于执行决策过程中所出现的状况 决策方法 决策树 2 序列决策 17 例设有某石油勘探队 在一片估计能出油的荒田钻探 可以先做地震试验 然后决定钻井与否 或者不做地震试验 只凭经验决定钻井与否 做地震试验的费用每次30000元 钻井费用为10000元 若钻井后出油 这井队可收入40000元 若不出油就没有任何收入 各种情况下出油的概率已估计出 并标在图上 问钻井队的决策者如何做出决策使收入的期望值为最大 18 图原决策树 19 3 1马尔可夫决策问题决策问题采取的行动已经确定 但将这个行动付诸实践的过程又分为几个时期 在不同的时期 系统可以处在不同的状态 而这些状态发生的概率又可受前面时期实际所处状态的影响 其中一种最简单 最基本的情形 是每一时期状态参数的概率分布只与这一时期的前一时期实际所处的状态有关 而与更早的状态无关 这就是所谓的马尔可夫链 利用马氏过程分析系统当前状态并预测未来状态的决策方法 称为马尔可夫决策 3 马尔可夫决策 20 预测在本质上就是利用预测对象的历史数据去推知预测对象的未来 在经济管理现象中存在一种 无后效性 即 系统在每一时刻的状态仅仅取决于前一时刻的状态 而与其过去的历史无关 例如 池塘里有三张荷叶 编号为1 2 3 假设有一只青蛙随机地在荷叶上跳来跳去 在初始时刻 它在2号荷叶上 在时刻 它有可能跳到1号或者3号荷叶上 也有可能原地不动 3 马尔可夫决策 3 1马尔可夫决策问题 21 把青蛙某个时刻所在的荷叶成为青蛙所处的状态 这样 青蛙在未来处于什么状态 只与它现在所处的状态无关 与它以前所处的状态无关 这种性质就是所谓的 无后效性 即马尔可夫 Markov 性 对于某些情况 知道预测对象的当前状态 希望由此推知预测对象的今后状态 如果这样的对象在状态转移过程中满足马尔可夫性 则可以利用随机过程 stochasticprocess 的有关理论进行预测 这种预测技术不需要太多的历史数据和资料 只需要预测对象最近和当前的资料 3 马尔可夫决策 3 1马尔可夫决策问题 3 马尔可夫决策 22 所谓马尔可夫链 就是一种随机时间系列 它在将来取什么值只与它现在的取值有关 而与它过去取什么值的历史情况无关 即无后效性 具备这个性质的离散性随机过程 称为马尔可夫链 下面介绍几个有关的基本概念 3 马尔可夫决策 3 2马尔可夫链与转移概率矩阵 3 马尔可夫决策 23 定义1 设随机时间系列满足条件每个随机变量Xn只取非负整数值 对任意的非负整数 3马尔可夫决策 3 2马尔可夫链与转移概率矩阵 3 马尔可夫决策 24 随机过程如果对任意都存在则称具有马尔可夫性 25 有些经济现象本身就满足马尔可夫性 比如 考察产品的销售情况时 产品销售从畅销转而滞销或者从滞销转而畅销等显然只与其当前状态有关 某产品的市场占有率发生变化 即进行状态转移时 也只与当前状态有关 机器设备从待修到正常工作或从正常工作到待修状态还是只与机器设备的当前状态有关等 当然也有很多经济现象不满足这种马尔可夫性 在这种情况下 如能近似满足马尔可夫性 则也能采用这种预测方法 反之 就不能采用马尔可夫预测方法 3 马尔可夫决策 3 2马尔可夫链与转移概率矩阵 26 定义 如果随机过程满足下述性质 则称是一个有限状态的马尔可夫链 Markov 1 具有有限种状态 2 具有马尔可夫性 3 转移概率具有平稳性 27 定义2 状态转移概率 3 2马尔可夫链与转移概率矩阵 马尔可夫链的概率特性取决于条件概率 在概率论中 条件概率 表达了由状态B向状态A转移的概率 简称为状态转移概率 的含义是 某系统在时刻m处于状态Ei的条件下 时刻m k处于状态Ej的概率 3 马尔可夫决策 28 定义2状态转移概率 3 2马尔可夫链与转移概率矩阵 3 马尔可夫决策 29 阴天 晴天 下雨 晴天阴天下雨晴天0 500 250 25阴天0 3750 250 375下雨0 250 1250 625 30 例题 3 2马尔可夫链与转移概率矩阵 某地区有A B C三家食品厂生产同一食品 有10000个用户 或购货点 假设在研究期间无新用户加入也无老用户退出 只有用户的转移 已知2007年5月份有5000户是A厂的顾客 4000户是B厂的顾客 1000户是C厂的顾客 6月份 A厂有4000户原来的顾客 上月的顾客有500户转到B厂 50户转到C厂 B厂有3000户原来的顾客 上月的顾客有200户转到A厂 800户转到C厂 C厂有800户原来的顾客 上月的顾客有100户转到A厂 100户转到B厂 试计算其状态转移概率 3 马尔可夫决策 31 3 2马尔可夫链与转移概率矩阵 3 马尔可夫决策 32 3 2马尔可夫链与转移概率矩阵 3 马尔可夫决策 33 状态转移概率矩阵 3 2马尔可夫链与转移概率矩阵 将考察对象从一个状态转移到另一个状态的转移概率按行组成一个矩阵 称此矩阵为状态转移概率矩阵 其中称 为一步转移概率矩阵 3 马尔可夫决策 34 一步转移概率矩阵具有性质 3 2马尔可夫链与转移概率矩阵 3 马尔可夫决策 35 k步转移概率矩阵 3 2马尔可夫链与转移概率矩阵 k步转移概率矩阵的性质 3 马尔可夫决策 36 状态转移概率矩阵 3 马尔可夫决策 37 例题 某经济系统有三种状态 比如畅销 一般 滞销 系统状态转移情况见下表 试求系统2步转移概率矩阵 3 2马尔可夫链与转移概率矩阵 3 马尔可夫决策 38 3 2马尔可夫链与转移概率矩阵 3 马尔可夫决策 39 3 3稳态概率称为稳态概率 且因此我们可以从n步转移矩阵的极限取得稳态概率分布 3 马尔可夫决策 40 此方程组为稳态方程P的这一特性在实用中有重要的价值 通常在市场预测中 所讨论的用户转移概率矩阵就属于标准概率矩阵 它可以通过几步转移达到稳定 平衡 状态 在这种情况下 各厂家的用户占有率不再发生变化 此时的 称为最终用户的占有率P向量 3 马尔可夫决策 41 马尔科夫决策方法 马尔科夫决策方法就是根据某些变量的现在状态及其变化趋向 来预测它在未来某一特定期间可能出现的状态 从而提供某种决策的依据 马尔科夫决策基本方法是用转移概率矩阵进行预测和决策 42 1 转移概率矩阵中的元素是根据近期市场或顾客的保留与得失流向资料确定的 2 下一期的概率只与上一期的预测结果有关 不取决于更早期的概率 3 利用转移概率矩阵进行决策 其最后结果取决于转移矩阵的组成 不取决于原始条件 即最初占有率 马尔科夫决策方法进行决策的特点 43 转移概率矩阵决策的应用步骤 1 建立转移概率矩阵 2 利用转移概率矩阵进行模拟预测 3 求出转移概率矩阵的平衡状态 即稳 定状态 4 应用转移概率矩阵进行决策 44 3 3马尔可夫应用实例例某生产商标为 的产品的厂商为了与另外两个生产同类产品 和 的厂家竞争 有三种可供选择的措施 1 发放有奖债券 2 开展广告宣传 3 优质售后服务 三种方案分别实施以后 经统计调查可知 该类商品的市场占有率的转移矩阵分别是 45 已知三种商标的商品的月总销售量为1000万件 每件可获利1元 另外 三种措施的成本费分别为150万 40万 30万 从长远利益考虑 生产商标为 的产品的厂商应该采取何种措施 46 习题 我国出口某种设备 在国际市场上的销售状况有两种 畅销和滞销 畅销每年可以获利100万元 滞销时每年仅获利30万元 以一年为一个时期 如果不采用广告推广产品或采取广告措施 状态的转移矩阵分别为如表1 表2所示 假定上一年处于畅销状态 每年的广告费为15万元 为了保证今后3年的利润最大化 是否应该采用广告措施 表1不采取广告措施 表2采取广告措施 47