《SAS和统计计算》PPT课件.ppt

1 第九章SAS和统计计算 2 3 4 5 6 7 8 9 10 11 事实上 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 例1 产生10个 0 1 上均匀分布随机数 dataa retainseed1seed2161321804 doi 1to5 x1 ranuni seed1 x2 ranuni seed2 output end procprint run 将ranuni改为normal产生标准正态分布随机数 29 OBSSEED1SEED2IX1X2116132180416132180410 436170 64888216132180416132180420 341380 42729316132180416132180430 432370 63834416132180416132180440 746900 89710516132180416132180450 136300 19031 30 用如下程序产生 0 1 上的10个随机数 结果更好 data retainseed1161321804 retainseed2135279821 doi 1to5 callranuni seed1 x1 callranuni seed2 x2 output end procprint run 31 OBSSEED1SEED2IX1X2193667431172419633310 436170 3372321393460745173388384420 648880 807403733112270120090801930 341380 55922491760751767468843540 427290 314185928513130164676230850 432370 76683 32 将callranuni seed1 x1 替换后可产生其它分布的随机数 callranbin seed1 n p x1 二项分布callranexp seed1 x1 均值1的指数分布callrangam seed1 a x1 a 0 b 1的伽马分布callrannor seed1 x1 标准正态分布callranpoi seed1 x1 泊松分布callrantbl seed1 p1 p2 pk x1 离散分布callrantri seed1 h x1 0 h 1 三角分布callrancau seed1 x1 柯西分布 33 在统计领域 主要有两大类计算问题 一类是极大似然估计的计算 另一类是Bayes计算 从计算方法来看 极大似然估计的计算类似Bayes的后验众数的计算 因此这里主要讨论Bayes计算 34 另一类算法总称为数据添加算法 它不是直接对复杂的后验分布进行极大化或进行模拟 而是在观测数据基础上加上一些 潜在数据 从而简化计算 并完成一系列简单的极大化或模拟 原理如下 设我们能观测到的数据是Y 关于Y的后验分布很复杂 难以直接进行各种统计计算 假定一些没有能观测到的潜在数据Z已知 如Y为某变量的截尾观测值 而Z为变量的真值 则可以得到一个关于 的添加后验分布 形式很简单 利用的简单性可进行各种统计计算 如极大化 抽样等 然后回过头来 再对Z的假定作检查和改进 如此进行 就将一个复杂的极大化或抽样问题转化为一系列简单的极大化或抽样 35 EM算法是一种迭代方法 它的每一次迭代由两步组成 E步 求期望 和M步 极大化 一般地 以表示 的基于观测数据的后验密度函数 称为观测后验分布 表示添加数据Z后得到的关于 的后验分布密度 添加后验分布 表示在给定 和观测数据Y下潜在数据Z的条件分布密度 目的是计算观测后验分布的众数 36 37 38 39 40 从初始值 0 5开始 经四次迭代 EM算法收敛到后验众数0 6268 41 其中是因变量的观测值组成的向量 假设数据出现丢失现象 即Y中的某些元素未观测到 为Y中已观测到的数据组成的向量 即Y 完全数据 Z 不完全数据 目的 在得到Z的情况下用极大似然准则估计回归函数 42 可以证明 在很宽的条件下 由EM算法产生的迭代序列收敛到的极值点 因此用EM算法可以求解 M步等价于求 使 43 44 45 46 47 参数 超参数 缺损数据 MarkovchainMontoCarlo MCMC方法 48 MCMC主要用于多变量非标准形式 且各变量间相互不独立时分布的模拟 49 50 51 52 53 54 55 56 3 若对某个m 认为此时的分布已是平稳分布 则对比m大很多的n 57 Gibbs抽样 最简单 应用最广泛的MCMC方法是Gibbs抽样 转移核的构造 58 具体步骤如下 59 60 61 62 63 64 65 66 67 68 69 Metropolis Hastings方法 一类比Gibbs抽样更早出现 也更一般化的MCMC方法是Metropolis Hastings方法 70 71 72 73 74 75 76 77 78 79 80 81 82 83