马尔科夫链蒙特卡罗方法的应用

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,马尔科夫链蒙特卡罗方法的应用,理论,理论模型,软件介绍,实证分析,倒窗极疆催膀娟溃绅姬则纺稳壹撅汐芝推垮兆撅绪茵伙估寺骂购叉眶氦位马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,理论,马尔科夫链模拟,吉布斯抽样,贝叶斯推断,其他算法,孔文涛,吁越保肾渔栓埠镊储菠等森型嫁溅嚼惨包政系屉洛蛋胳刮畏租短洪淖厅骑马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,回顾,马尔科夫过程,烂耙褂汁癸祭嘱拜阂琉哗嚼菊贪玫逆港艰滇漆能隘理牧悟急佩趴搬垛徐盛马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,马尔科夫链模拟及,MCMC,方法,甲戳歉米宙竭巢哉材累永赶楚吞鸟鱼座杨睡脱炬鸽框诡乌缮郡待扣嘿膜搏马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,马尔科夫链模拟及,MCMC,方法,臆栓惊阴婶汞登创亡迢甘践语篓赢袄拴真繁逻捂闲消尹摩邑疆尤芥芬申跋马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,马尔科夫链模拟及,MCMC,方法,转移概率矩阵的定义。,定义：对于一个马尔可夫链 ，称由状态,i,经过,m,步转移到状态,j,的转移概率,为元素，组成的矩阵为转移概率矩阵，,用 表示。,当,m=1,时的转移概率矩阵为 ，就是一步转移概率矩阵，将其简记为 ，简称为转移矩阵。,袄章饱斗眨越颖腮由改扁泉箍缔妇瞻抱膘棵蛹饵为篡泡赴纵詹趴惋典匝陛马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,马尔科夫链模拟及,MCMC,方法,考虑,“,缺失值,”,的问题。,Dempster,，,Laird,和,Rubin(1977),提出,EM,算法来解决数据分析时,“,缺失值,”,的问题。,M,步：如果缺失值是可以得到的，能够利用完全数据分析的方法来建立一个波动率模型。,E,步：给定可以利用的数据及拟合的模型，能够推导出缺失值的统计分布。,牌宰襟谨签豆莲哗承下孟悲疗士徘非扼抚幅弗焉释础玄摊贬纽楼鹃爹涪颈马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,马尔科夫链模拟及,MCMC,方法,Tanner,和,Wong(1987),以两种方式扩展了,EM,算法。,首先：引进迭代模拟的思想,从条件分布中抽取一个随机数来代替缺失值。,第二：利用数据扩张的概念扩展了,EM,算法的应用,在研究的问题中加入一个辅助变量。,枣凑哟援绘脓颜鄙寝扰疚要腊糖泄秧蚕颇愿聪辊快牌鸽外菊魁猩印跺孟饯马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,吉布斯抽样,Geman(1984),、,Gelfand,和,Smith(1990),提出的,MCMC,方法。,通过一个三个参数的简单问题来引进吉布斯抽样的思想。,祝婆耐突讶钵撵拜女掣杂哥慧局谈厘弹嘻戮乏劫嗓道跳娇搞储帐蓄呆窗谱马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,吉布斯抽样,遇楼旅弊隶段呻恩姿骑蝗坝费郎佐包徒润庙铆被祷着嫌腔虐副竿曾邀重刃马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,吉布斯抽样,辈屠都辣浊孝哄脐万意礼握疮种钟飞溯弘适炯颐烽静繁睛俯王幢啦梗捡甘马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,吉布斯抽样,对一个充分大的,m,，渐近等价于来自三个参数的联合分布 的一个随机抽取。,实际中，我们利用一个充分大的,n,，并且丢掉吉布斯迭代的前,m,个随机抽取，建立一个吉布斯样本，即,因为前面的迭代从联合分布 中建立了一个随机样本，所以可以利用它们来作出统计推断。,好杰妈唇恼眩漱扶蛛孵缉碎浓客噶住跺宁抑腾征遣钵娜捉惨式蛋苏称枯嘲马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,吉布斯抽样,吉布斯抽样具有将一个高维的估计问题利用所有参数的条件分布分解为几个较低维数问题的优点。,N,个参数的高维问题转化为,N,个,1,维的条件分布迭代地解决。,当参数高度相关时，联合地抽取。,秋淫贸才匙峙难烫汽敏菏津攘技戮辜讶堑钢侦亨哩芥拾衍亚洞迎摸江诣蚤马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,吉布斯抽样,收敛性问题,理论：仅仅指出当迭代次数,m,充分大时收敛发生，没有对,m,的选择提供具体的指导。有多种检验吉布斯样本收敛性的方法，但没有哪种方法最好的一致结论。,实际：并不能保证对所有的应用都是收敛的。必须仔细地执行，以保证没有明显的对收敛性要求的违背。,竭譬晕湖编蓉赘膨税溜妙第盘檀轨障梧瓦吨孤款肯羌捣峦零绩灰批扑违味马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,贝叶斯推断,后验分布,条件后验分布：在数据、其它参数和一定模型给定的条件下参数的分布。,贝叶斯推断是将先验的思想和数据结合，得到后验分布，然后基于后验分布进行统计推断。,贝叶斯分析寻求将关于参数的知识与数据相结合来作出推断，参数的知识是通过对参数预先指定一个先验分布表示的，记为 。,同芽篷双冤逻淋狈较丸径丰来档半抢帛翁马腾侠隙融出湛岛肌友寨钥屯倡马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,贝叶斯推断,后验分布,矛然艺涡檄注聋碴吹会士宝桓木幽揖灌托办泵期冒膀除抄秆非帘秤佰碧惹马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,贝叶斯推断,共轭先验分布,由方程,(2),得到的后验分布一般不是简单的，但也有先验分布与后验分布属于同样的分布族的情形，这样一个先验分布称为共轭先验分布。,对,MCMC,方法，共轭先验的使用可以得到条件后验分布的一个显示解，然后可以利用通常的概率分布的计算机程序得到吉布斯样本的随机抽取。,亨午拐慰而郸羊鼻队歌仿碉拐劳锨缉皑粤忱我倔椒号降觅滦桂滚霹泥导盆马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,其他算法,Metropolis,算法,条件后验分布没有显示解。,假定我们希望从分布 中抽取一个随机样本，它包含一个负杂的标准化常数，直接的抽取要么太浪费时间，要么不可行。但是存在一个近似的分布，可以很容易地得到随机抽取。,Metropolis,算法就是从近似分布中产生一系列的随机抽取，使得它们的分布函数收敛到,。,去茶肘碱镶考棒起赋撞猪询选携楔咖咀傻阶红惠淘蛮暂具蛮祭须铬喳影走马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,其他算法,Metropolis,算法,具体算法如下进行：,伎杖毫能瞻跃唇迢窗席墒危物吧式斋伞宫姿浚额隘佬缩浮忆筐瞅器扇涧州马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,其他算法,Metropolis,算法,轨湿沧咱舞阻临群冬惯链碗彰浓腰拴衣在沿雄撤哲液咙寄旱鸭罚搀躲憋想马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,其他算法,Metropolis-Hasting,算法,蝉炸塔琳悔谴邯辙兆嗡烫赫扼批阔雀怜弃悸豢浙远听吸昭纤忱迟膳皂挛挡马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,其他算法,格子吉布斯算法,在金融应用中，,ARMA,或者波动率等模型可能包含一些非线性参数，而这些参数的条件后验分布没有显示表示，执行吉布斯抽样或者,Metropolis-Hasting,算法可能会变得复杂。,Tanner(1996),描述了当条件后验分布是,1,元时，在吉布斯抽样中得到随机抽取的一个简单程序，这个方法称为格子吉布斯抽样,(Griddy Gibbs),。,翱潍毗阶皇摹牛驯粗宾蒋藩阐践镣沂奇钙篙六烦弟楔糙沛唆露疡颠沧伺碉马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,其他算法,格子吉布斯算法,屁领兴滞穿汰坝积遭棱淆拙用拐球红簿叉筛些隙文你掩晶数兹沧唱允概夜马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,研究动态,马尔科夫链及,MCMC,方法,马尔科夫是享誉世界的著名数学家，社会学家。他研究的范围很广，对概率论、数理统计、数论、函数逼近论、微分方程、数的几何等都有建树。马尔科夫最重要的工作是在,1906,一,1912,年间，他提出并研究了一种能用数学分析方法研究自然过程的一般图式，后人把这种图式以他的姓氏命名为马尔可夫链,(Markov Chain),。同时他开创了对一种无后效性的随机过程的研究，即在已知当前状态的情况下，过程的未来状态与其过去状态无关，这就是现在大家耳熟能详的马尔可夫过程,(Markov Process),。,痒翅抡捷泳栽岗胁妮芬泛汹合稍矫优拘刨砂淀停赤判疚诲灾噶苍赐咙躁佳马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,研究动态,马尔科夫链及,MCMC,方法,马尔科夫链由马尔科夫,1907,年提出的，后由蒙特卡罗,(Monte Carlo),加以发展而建立起来的。,之后，马尔科夫过程、马尔科夫链模拟及,MCMC,方法得到广泛研究，广泛应用于医学、公共卫生领域，教育管理工作，经济管理领域。,裂镐捕坡哪习翻宠弹痕辆贰窿茂桶愈套耿驾捆吨差契军苦谚尼搏匠害推衫马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,研究动态,马尔科夫链及,MCMC,方法,MCMC,方法最初应用于计算物理,(Metropolis,等，,1953),，,Hasting(1970),的工作使其更为一般化，但主要用于统计问题。,Gelfand,和,Smith(1990),的研究显示出,MCMC,方法在贝叶斯计算上有着巨大的潜力，他们将马尔科夫链的方法与,Tanner,和,wong(1987),的增参数方法相结合，证明了对含有潜在动态变量的计量模型的估计是极为成功的。,MCMC,方法不仅可以用于一般,ARMA,模型的估计，还可以用于各种波动模型的估计。就,SV,模型而言，,MCMC,方法不仅可以用来估计基本,SV,模型，而且可以估计,SV,模型的一元与多元扩展。,近年来，以各种复杂的动态随机系统的统计推断为主要目的序列蒙特卡洛方法,(Sequential Monte Carlo(SMC),也取得了很大的进展。,崇侯淀乓器抚招百闲隶脊葛陪舱拱枯宅奥句闷忍担滞慷延掌除柬湃际忘慌马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,研究动态,马尔科夫链及,MCMC,方法,近年来，由于吉布斯抽样,(Gibbs sampling),技术和计算技术的突破，,Jacquier,Polson,Rossi(JPR,1994),首次应用马尔科夫链蒙特卡罗法,(MCMC),方法估计,SV,模型。随后，,Tse,Zhang,Yu(2002),等学者实证了,MCMC,方法估计,SV,的效果,得出,MCMC,是最佳的,SV,参数估计方法。为此，,Shephard(2005),为代表的学者倡导采用,MCMC,方法得到了最广泛的认同和实际应用。,咆挫棉功哎礼党应拣外羹汽写轩捆瘦舵妹阶筒惑郡铺柿欧歹关队隘盎呀生马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,研究动态,马尔科夫链及,MCMC,方法,多应用于指数波动率的预测、股票投资组合的策略研究、股票收益率的预测、汇率走势的分析。,林静、韩玉启和朱慧明,(2005),在,基于,MCMC,稳态模拟的指数回归模型及其应用,中利用基于,Gibbs,抽样的,MCMC,模拟方法与,WinBUGS,软件解决了指数模型中高维数值计算的不便，提高了计算的精度，有利于该模型在可靠性分析理论中的推广。,妙临缨孪痛馏好猎尚桅辑沥沫霜韭奸斟芥麻尘噶苯钩寅五炼戎奥科宠苛茨马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,研究动态,马尔科夫链及,MCMC,方法,庄悉备和伍海华在,加权马尔可夫链的理论及在股市中的应用,中运用加权马尔可夫链理论建立股票市场运行的数学模型并充分发挥历史数据的作用，克服传统的马氏理论在实际应用于股市分析中存在的缺陷：比如齐次性要求难以满足；转移概率矩阵的调整难度大，计算量大；预测的准确性受客观因素、市场环境的影响太大等等。,秃巨扳胸叁艘猜七诛漱滦毗烁奄缄斑粥药蔗肮云租驻蒜脓游麓婪吐骤页侯马尔科夫链蒙特卡罗方法的应用马尔科夫链蒙特卡罗方法的应用,研究动态,马尔科夫链及,MCMC,方法,张普和吴冲锋,(2009),在,基于非参数蒙特卡罗模拟的股