贝叶斯统计ch5贝叶斯决策课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,1,2,第五章 贝叶斯决策,第一节 贝叶斯决策问题,第二节 后验风险决策,第三节 常用损失函数下的贝叶斯估计,第四节 抽样信息期望值,第五节 最佳样本量的确定,第六节 二行动线性决策问题的,EVPI,3,第一节 贝叶斯决策问题,一、决策问题分类,(1),仅使用先验信息的决策问题称为无数据,(,或无样本信息,),的决策问题,;,(2),仅使用抽样信息的决策问题称为统计决策问题,;,(3),先验信息和抽样信息都使用的决策问题称为贝叶斯决策问题,.,4,二、贝叶斯决策问题,先验信息和抽样信息都用的决策问题称为贝叶斯决策问题。若以下条件已知，则我们认为一个贝叶斯决策问题给定了。,(4),定义在 上的二元函数 称为损失函数,5,三、,贝叶斯决策的优缺点,1.,优点主要表现在,:,(1),贝叶斯决策充分利用各种信息,使决策结果更加科学化,;,(2),能对调查结果的可能性加以数量化的评价,;,(3),贝叶斯决策巧妙地将调查结果和先验知识有机地结合起来,;,(4),贝叶斯决策过程可以不断地使用,使决策结果逐步完善,.,2.,缺点,:,(1),贝叶斯决策所需要的数据多，分析计算也比较复杂,如果,解决的问题比较复杂时,这个矛盾就更加突出,;,(2),在决策的过程中，有些数据必须要使用主观概率,有些人,不是很相信,这也妨碍了贝叶斯决策方法的推广和使用,.,O,6,第二节 后验风险决策,1.,后验风险函数,我们把损失函数 对后验分布 的,期望称为后验风险,记,即,后验风险就是用后验分布计算的平均损失.,11,7,2.决策函数,定义,5.1,在给定的贝叶斯决策问题中,从样本空间,到行动集,A,上的一个映照 称为该决策问题的一个决策函数,表示所有从样本空间,到,A,上的决策函数组成的类,称为决策函数类.,在贝叶斯决策中我们面临的是决策函数类,D,要在,D,中选择决策函数 ,使其风险最小.,例题分析,8,3.后验风险准则,定义 在给定的贝叶斯决策问题中 是其决策函数类,则称,为决策函数 的后验风险.假如在决策函数类中存在这样的决策函数 ,它在,D,中有最小的风险,即,则称 为后验风险准则下的最优决策函数,或称贝叶斯决策,或贝叶斯解,或,贝叶斯估计,。,注,:(1),定义中的条件,:,给定的贝叶斯决策问题,(2),定义中的先验分布允许是广义的,.,9,例,1,设 是来自正态分布,N(,1,),的一个样本。又设参数,的先验分布为共轭先验分布,N(0,2,),其中,2,已知,.,而损失函数为,0-1,损失函数试求参数,的贝叶斯估计。,解,:,分三步求解,:,(1),求参数,的后验分布,(2),对于任意一个决策函数 计算后验风险函数,:,(3),求出使得上述风险函数达到最小时的决策函数,:,10,例,2,在市场占有率,的估计问题中，已知损失函数为：药厂厂长对市场占有率,无任何先验信息，另外在市场调查中，在,n,个购买止痛剂的顾客中有,x,人买了新药，试在后验风险准则下对,作出贝叶斯估计。,解,:(1),求参数,的后验分布,:,结果为,Be(x+1,n-x+1),(2),计算风险函数,(3),求最优行动使上述风险函数达到最小,.,令,:,则得,:,(4),数值计算,:,11,例,3,如何判断一个样本是来自密度函数为,p,0,(x),的总体还是来自密度函数为,p,1,(x),的总体。,解,:,两个假设,:,问题,:,接受,H,0,还是,H,1,?,(1),把假设检验问题转化为贝叶斯决策问题,:,参数空间,=0,1,行动空间,A=0,1,先验分布,:P(,=0)=,0,P(,=1)=,1,损失函数,:,决策正确无损失,决策错误的损失为,1.,则,(2),求后验分布,:,(3),计算每个行动下的后验风险,:,R(a=0|x)=P(,=1|x),R(a=1|x)=P(,=0|x),(4),找出最佳行动,即确定拒绝域,.,12,1.,平方损失函数下的贝叶斯估计,定理,5.1,在平方损失函数 下,的贝叶斯估计为后验均值,即,Pr,在平方损失函数下,任何一个决策函数 的后验风险为,第三节 常用损失函数下的贝叶斯估计,13,定理,5.2,在加权平方损失函数 下,的贝叶斯估计为,:,其中,(,),为参数空间,上的正值函数,.,定理,5.3,在参数向量 的场合下,对多元二次损失函数,Q,为正定阵,的贝叶斯估计为后验均值向量,:,14,例,4,设 是来自泊松分布的一个样本,.,若,的先验分布用其共轭先验分布,G(,),即其中参数,与,已知,.,求平方损失函数下,的贝叶斯估计,.,解,:,解题过程分为以下三步,:,(1),根据题意求出,的后验分布,(2),写出后验均值,(3),结论,:,由定理,5.1,知,的贝叶斯估计为,:,15,例,5,设 是来自均匀分布,U(0,),的一个样本,.,又设,的先验分布为,Pareto,分布,.,在损失函数分别为绝对值损失函数和平方损失函数下求,的贝叶斯估计,.,解题步骤,:,第一步,:,求,的后验分布,:,第二步,:,在绝对值损失函数,下,的贝叶斯估计,:,恰为后,验分布的中位数,.,第三步,:,平方损失函数下,的贝叶斯估计,:,Pareto,分布的分布函数,:,密度函数为,:,期望,:,方差,:,中位数,:,16,例,6,贝叶斯决策在可靠性统计中的应用,问题的描述,:,假设某产品的寿命,T,服从指数分,布,其分布函数为,:,把指定时间,t,0,后该产品才失效的概率,称为产品在,t,0,时刻的可靠度。在平方损失函数下,怎样估计可靠度,R(t,0,),？,17,2.,线性损失函数下的贝叶斯估计,证明,:(1),证明的思路,:,设,m,为,(,|,x,),的中位数,要证,明定理成立,即要证,:,都有,即,当,m,时,2,-(m+,),m,的情形,此时,:,因此,(3),同理可证,m,的情形。,18,定理,5.5,在线性损失函数,:,下,的贝叶斯估计,n,(x),为后验分布,(,|,x,),的 分位数,.,证明,:(1),计算任一决策函数,=,(x),的后验风险,:,(3),结论,:,的贝叶斯估计是后验分布的 分位数,.,例,9(p191,例题,5.13),自学,(2),求,R(,|x),的驻点,:,令,19,3.,有限个行动问题的假设检验,(1),一般问题,:,设,A=a,1,a,2,a,r,在,a,i,下的损失为,L(,a,i,),如何从这些行动当中选择一个最优行动,?(,使后验期望损失 达到最小的行动,),(2),特例,:r=2,的情形,即,二个行动的假设检验,问题,(3),特例,:r=3,的情形,(,三个行动的假设检验问题,),(,儿童智商检验的实例,P193),20,二个行动的假设检验问题,1.,问题的描述,:,有两个假设,:,两个行动,:a,0,:,表示接受,H,0,的行动,a,1,:,表示接受,H,1,的行动,.,决策方法,:,如果,则认为,a,0,为最优行动,;,如果,则认为,a,1,为最优行动,.,2.,损失函数的确定,:,确定原则,:,决策正确无损失,决策错误损失,k,i,个单位,.,则得到损失矩阵,:,21,3.,计算每个行动的后验期望损失：假设后验分布已经求出,则,4.,按照后验风险准则,确定最优行动,:,如果,即,:,则,应选择,a,1,拒绝,a,0,.,如果,即,:,则,应选择,a,0,拒绝,a,1,.,5.,确定拒绝域,:,若,则,则由上一步可算得,:,即拒绝域,22,第四节 抽样信息期望值,一、基本概念,1.,完全信息：对需要作决策的问题，假如决策者所获得,的信息足以肯定那一个状态即将发生，则该信息就称为,(,该,状态的,),完全信息。,2.,完全信息期望值,(EVPI),：设某决策问题有,n,种状态,1,2,n,且各种状态的先验概率,(,i,),已知,又有,m,种行,动,a,1,a,2,a,m,。设,Q,ij,为出现,i,采取行动,a,j,的收益，,a,为,使 取得最大时的行动，则称,为完全信息期望值，记为,EVPI,。,23,3.,先验,EVPI,：在一个决策问题中,(,),是状态集,=,上,的先验分布。,a,是先验期望准则下的最优行动，则在,a,下,的损失函数,L(,a),的先验期望 称为完全信息先,验期望值，记为先验,EVPI,。,4.,两者的关系,:,5.,例题,:,对给定,的,Q,或,L,怎样计算,EVPI,和先验,EVPI,？,如：,24,二、抽样信息期望值,1.,定义：在一个贝叶斯决策问题中,a,是先验期望准则下的最优行动，是后验风险准则下的最优决策函数。则先验,EVPI,与后验,EVPI,期望值的差称为抽样信息期望值，记为：,2.,计算一个,EVSI,的基本步骤：,第一步：计算先验,EVPI,；,第二步：计算,的后验分布；,第三步：计算每个行动的后验期望损失 ；,第四步：确定最优决策函数；,第五步：计算后验,EVPI,；,第六步：计算后验,EVPI,的期望值；,第七步：计算抽样信息期望值。,25,案例分析,甲厂的某一零件由乙厂生产，每批,1000,只，其次品率,的概率分布如下表所示：,甲厂在整机装配时，如发现零件是次品，必须更换，每换一,只，乙厂赔偿,2.20,元的损失费，但也可以在送装前采取全,部检查的办法，使每批零件的次品率降为,1%,，但乙厂必须,支付每只,0.10,元的检查费。乙厂面临如下两种选择：,a,1,:,一批中一件都不检查,a,2,:,一批中每件都检查,若乙厂厂长想从每批中任取三只零件进行抽查，根据不合格,品个数来决定是采取行动,a,1,还是行动,a,2,，并想知道这样能,否带来更大的收益？,0.02 0.05 0.10,(,),0.45 0.39 0.16,26,分析过程,一、计算先验,EVPI,：,支付函数：,由此的支付矩阵和损失矩阵：,计算每个行动下的先验期望损失：,由此得在先验期望准则下，,a1,是最优行动，,则：先验,EVPI=15.68,27,2.,计算的后验分布,3.,计算各行动的后验期望损失,x,0 1 2 3,m(x),0.8745 0.1176 0.0076 0.0002,x,0 1 2 3,1,=0.02,0.4843 0.2202 0.0658 0.0028,2,=0.05,0.3824 0.4490 0.3684 0.0190,3,=0.10,0.1333 0.3308 0.5658 0.9782,x,0 1 2 3,13.0634 32.4148 55.4484 95.8636,42.3642 22.5636 9.5532 0.4464,28,4.,确定最优决策函数：,5.,计算后验,EVPI,：,x=0,时，后验,EVPI=13.0634,x=1,时，后验,EVPI=22.5636,x=2,时，后验,EVPI=9.5532,x=3,时，后验,EVPI=0.4494,6.,计算后验,EVPI,的期望值,:,7.,计算抽样信息期望值：,EVSI=15.68-14.15,思考：该厂长所确定的抽取三件产品检查，是否是最好？,29,第五节 最佳样本量的确定,一、抽样净益,1.,抽样成本,:,抽样费用称为抽样成本,记为,其中,C,f,是固定成本,C,v,是可变成本,.,2.,抽样净益,:,从抽样信息期望值中扣除抽样成本所剩下的净收益,.,记为,ENGS,即,二、最佳样本量及其上界,1.,最佳样本量,:,使得抽样净益达到最大的样本量,n*,称为最佳样本量即,2.,上界的确定,:,30,三、最佳样本量的求法,31,第六节 二行动线性决策问题的,EVPI,一、正态分布下二行动线性决策问题的先验,EVPI,二、贝塔分布下二行动线性决策问题的先验,EVPI,三、伽玛分布下二行动线性决策问题的先验,EVPI,32,案例分析,某厂的产品每,100,件装成一箱运交顾客,.,在向顾客交货,前面临如下二中