6统计决策与贝叶斯估计

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,参数估计,9/16/2024,第,67,页,1、,统计决策,一、统计决策的三个要素,1 样本空间和分布族,设总体,X,的分布函数为,F,(,x;,),是未知参数，若,设,X,1, , X,n,是来自总体,X,的一个样本，则样本所有可能值组成的集合称为样本空间，记为,X,2 决策空间（判决空间）,对于任何参数估计，每一个具体的估计值，就是一个回答，称为一个决策，一个统计问题中可能选取的全部决策组成的集合称为决策空间，一个决策空间至少应有两个决策。,3 损失函数,统计决策的一个基本假定是，每采取一个决策，必然有一定的后果，统计决策是将不同决策以数量的形式表示出来,常见的损失函数有以下几种,（1）线性损失函数,绝对损失函数,（2）平方损失函数,（3）凸损失函数,（4）多元二次损失函数,二、统计决策函数及风险函数,1 统计决策函数,定义3.1 ：定义在样本空间上,X,，取值于决策空间,A,内的函数,d,(,x,)，称为统计决策函数，简称决策函数,决策函数就是一个行动方案，如果用表达式处理，,d,(,x,)=,d,(,x,1,x,2,x,n,)本质上就是一个统计量,2 风险函数,决策函数,d,(,X,)，完全取决于样本，损失函数,L,(,d,) 也是样本,X,的函数,当样本取不同的值,x,时,，,决策,d,(,X,) 可能不同，所以损失函数值,L,(,d,) 也不同，不能判断决策的好坏，一般从总体上来评价、比较决策函数，取平均损失，就是风险函数,定义3.2 设样本空间，分布族分别为,X,，,F,*，决策空间为,A,，损失函数为,L,(,d,),d,(,X,)为决策函数,为决策函数,d,(,X,)的风险函数，,R,(,d,),表示采取决策,d,(,X,)所蒙受的平均损失（,L,(,d,)的数学期望）,优良性准则,定义3.3 设,d,1,d,2,是统计问题中的两个决策函数，若其风险函数满足不等式,则称决策函数,d,1,优于,d,2,定义3.4 设,D,=,d,(,X,)是一切定义在样本空间,X 上，,取值于决策空间,A 上,的决策函数全体，若存在一个决策函数,d,*,(,X,)，使对任意一个,d,(,X,)都有,则称,d,*,(,X,)为一致最小风险决策函数，或一致最优决策函数,问题总结,1 风险函数是二元函数，极值往往不存在或不唯一,2 在某个区间内的逐点比较不现实（麻烦）,3 对应不同参数的，同一决策函数，风险值不相等,4 由统计规律的特性决定不能点点比较,5 必须由一个整体指标来代替点点比较,2.,贝叶斯估计,1)统计推断的基础,经典学派,的观点：,统计推断是根据样本信息对总体分布或总体的特征数进行推断，这里用到两种信息：,总体信息,和,样本信息,；,贝叶斯学派,的观点：除了上述两种信息以外，统计推断还应该使用第三种信息：,先验信息,。,（1）,总体信息:,总体分布提供的信息。,（2）,样本信息:,抽取样本所得观测值提供的信息。,（3）,先验信息:,人们在试验之前对要做的问题在经,验上和资料上总是有所了解的，这些信息对,统计推断是有益的。先验信息即是抽样（试,验）之前有关统计问题的一些信息。一般说,来，先验信息来源于经验和历史资料。先验,信息在日常生活和工作中是很重要的。,基于上述三种信息进行统计推断的统计学称为,贝叶斯统计学。,它与经典统计学的差别就在于是否利用先验信息。贝叶斯统计在重视使用总体信息和样本信息的同时，还注意先验信息的收集、挖掘和加工，使它数量化，形成先验分布，参加到统计推断中来，以提高统计推断的质量。忽视先验信息的利用，有时是一种浪费，有时还会导出不合理的结论。,贝叶斯学派的基本观点：,任一未知量,都可看作随机变量，,可用一个概率分布去描述，这个分布称为先验分布；,在获得样本之后，总体分布、样本与先验分布通过贝叶斯公式结合起来得到一个关于未知量,新的分布,后验分布,；任何关于,的统计推断都应该基于,的后验分布进行。,2)先验分布,利用先验信息的前提,（1）参数是随机的，但有一定的分布规律,（2）参数是某一常数，但无法知道,目标：充分利用参数的先验信息对未知参数作出更准确的估计。,贝叶斯方法就是把未知参数视为具有已知分布的随机变量，将先验信息数字化并利用的一种方法，一般先验分布记为,(,),3)贝叶斯公式的密度函数形式(后验分布）,设总体,X,的分布密度函数,P,(,x,;,),在贝叶斯统计中记为,P,(,x,|,),，,它表示在随机变量,取某个给定值时总体的,条件概率密度函数；,P,(,x,;,)=,P,(,x,|,),根据参数,的先验信息确定,先验分布,(,),；,样本,x,1, x,2,x,n,的,联合条件分布密度函数,为,这个分布综合了总体信息和样本信息,；,0,是未知的，它是按先验分布,(,),产生的。为把先验信息综合进去，不能只考虑,0,，,对,的其它值发生的可能性也要加以考虑，故要用,(,),进行综合。这样一来，样本,x,1,x,n,和参数,的,联合分布为,:,f,(,x,1, x,2,x,n,) =,q,(,x,1, x,2,x,n,),(,),，,简记为,f,(,x,) =,q,(,x,),(,),这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了；,在有了样本观察值,x,1, x,2,x,n,之后，则应依据,f,(,x,),对,作出推断。由于,f,(,x,) =,h,(,x,1,x,2,x,n,),m,(,x,1,x,2,x,n,),，,其中,m,(,x,1,x,2,x,n,),是,x,1, x,2,x,n,的边际概率函数，它与,无关。因此能用来对,作出推断的仅是条件分布,h,(,x,1, x,2,x,n,),，,它的计算公式是,这个条件分布称为,的,后验分布，,它集中了总体、样本和先验中有关,的一切信息。,后验分布,h,(,x,1, x,2, x,n,),的计算公式就是用密度函数表示的贝叶斯公式。它是用总体和样本对先验分布,(,),作调整的结果，贝叶斯统计的一切推断都基于后验分布进行。,4）共轭先验分布,定义：设总体,X,的分布密度为,p,(,x,|,),F,*,为,的一个分布族，,(,),为,的任意一个先验分布，,(,),F,*,若对样本的任意观测值,x,的后验分布,h,(, |x,),仍在,F,*,内，称,F,*,为关于分布密度,p,(,x,|,),的共轭先验分布族，简称共轭族。,计算共轭先验分布的方法,当给定样本的分布（似然函数）,q,(,x,|,),和,先验分布,(,),；,由贝叶斯公式得,h,(,x|,) =,(,),q,(,x,)/,m,(,x,),由于,m,(,x,)不依赖于, 改写为,h,(,x|,),(,),q,(,x,),上式不是正常的密度函数,是,h,(,x|,) 的主要部分,称为,h,(,x|,) 的核,例,8,X,1, X,2, X,n,来自正态分布,N,(,2,),的一个样本，其中,已知，求方差,2,的共轭先验分布,例,9,X,1, X,2, X,n,来自二项分布,B,(,N,),的一个样本，求,的共轭先验分布,计算共轭先验分布的方法,1.,h,(, |x,)=,(,),q,(,x,|,) /,m,(,x,),m,(,x,)不依赖于,先求出,q,(,x,|,),再选取与,q,(,x,|,)具有相同形式的分布作为先验分布，就是共轭分布,2.,当参数,存在适当的统计量时，设,X,的分布密度为,p,(,x,|,),T,(,X,)是,的充分统计量,再由定理3.1，求得共轭先验分布族,定理3.1设,f,(,)为任一固定的函数,满足,若后验分布,h,(,x,),与,(,),属于同一个分布族，则称该分布族是,的,共轭先验分布(族)。,二项分布,b,(,n,),中的成功概率,的共轭先验分布是贝塔分布,Be,(,a,b,),；,泊松分布,P,(,),中的均值,的共轭先验分布是伽玛,分布,(,),；,指数分布中均值的倒数的共轭先验分布是伽玛分布,(,),；,在方差已知时，正态均值,的共轭先验分布是正态分布,N,(,2,),;,在均值已知时，正态方差,2,的共轭先验分布是倒伽玛分布,I,(,),。,5）贝叶斯风险,定义：,称为决策函数,d,(,X,)在给定先验分布,(,)下,的贝叶斯风险，简称,d,(,X,)的贝叶斯风险,相当于随机损失函数求两次期望，一次对,后验分布，一次对,X,的边缘分布,6) 贝叶斯点估计,定义：,设总体,X,的分布函数,F,(,x,),中参数,为随机变量，,(,),为,的先验分布，若在决策函数类,D,中存在一个决策函数,d*,(,X,)，使得对决策函数类,D,中的任一决策函数,d,(,X,)，均有,则称为,d*,(,X,)参数,的贝叶斯估计量,定理3.2,设,的先验分布为,(,),，损失函数为,L,(, ,d,),=(, -d,),2,则,的贝叶斯估计是,其中,h,(, |x),为参数,的后验密度,。,定理3.33.7，给出了各种损失函数下的贝叶斯估计，不证,定理3.3,设,的先验分布为,(,),，取损失函数为加权平方损失函数,则,的贝叶斯估计为,定理3.4,设,(,1,2,p,),T,的先验分布为,(,),，损失函数为,则,的贝叶斯估计为,定义：,设,d,=,d,(,x,)为任一决策函数，损失函数为,L,(, ,d,),，则,L,(, ,d,),对后验分布,h,(, |x,),的数学期望称为后验风险，记作,若存在一个决策函数,d,*(,x,)使得,则,d,*(,x,)称为在后验风险准则下的最优决策函数,定理3.5,对给定的统计决策问题（包括先验分布）和决策函数类,D,当满足,则贝叶斯决策函数,d,*(,x,)与贝叶斯后验型决策函数,d,*(,x,)等价,定理3.6,设的先验分布为,(,),，损失函数为绝对值损失,则,的贝叶斯估计,d*,(,x,),为后验分布,h,(,|,x,),的中位数,定理3.7,设,的先验分布为,(,),，在线性损失函数,下, 则,的贝叶斯估计,d*,(,x,),为后验分布,h,(,|,x,),的,k,1,/(,k,0,+,k,1,)上侧分位数,常用贝叶斯估计,基于后验分布,h,(,x,),的贝叶斯估计，常用如下三种：,用后验分布的密度函数最大值作为,的点估计，称为最大后验估计；,用后验分布的中位数作为,的点估计，称为后验中位数估计；,用后验分布的均值作为,的点估计，称为后验期望估计。用得最多的是后验期望估计，简称为贝叶斯估计，记为 。,求贝叶斯估计的一般步骤,1. 根据总体,X,的分布，求得条件概率,q,(,x,|,),2. 在已知,的先验分布,(,),下，求得,x,与,的联合分布密度,f,(,x,)=,(,),q,(,x,|,),3. 求得,X,的边缘分布,m,(,x,),4. 计算,h,(, |x,)=,(,),q,(,x,|,) /,m,(,x,),5. 求数学期望,6. 求得贝叶斯风险（如果需要的话）,例3.11 设总体,X,B,(1,p,)，其中参数,p,未知，且服从0,1上的均匀分布，损失函数取二次损失函数,L,(, ,d,),=(, -d,),2,，求参数,p,的贝叶斯估计及贝叶斯风险,若在试验前对事件,A,没有什么了解，对其发生的概率,也没有任何信息。贝叶斯本人建议采用“同等无知”的原则使用区间,（0,1）,上的均匀分布,U,(0,1),作为,的先验分布，因为取,（0,1）,上的每一点的机会均等。贝叶斯的这个建议被后人称为贝叶斯假设。,某些场合，贝叶斯估计要比极大似然估计更合理一点。比如: “抽检3个全是合格品”与“抽检10个全是合格品”，后者的质量比前者更信得过。这种差别在不合格品率的极大似然估计中反映不出来（,两,者都为0），而用贝叶斯估计,两,者分别是 0.2 和 0.83。,由此可以看到，在这些极端情况下，贝叶斯估计比极大似然估计更符合人们的理念。,例设总体,XN,(,1),，其中,未知，假定,N,(0,1),，对于给定的损失函数,L,(,d,),=(,-d,),2,，求,的,贝叶斯估计量,例,3.15,X,1, X,2, X,n,来自正态分布,N,(,0,2,),的一个样本，其中,0,2,已知，,未知，假设,的先验分布为正态分布,N,(,2,),，其中先验均值,和先验方差,2,均已知，试求,的贝叶斯估计。,解：,样本,x,的联合分布和,的先验分布分别为,由此可以写出,x,与,的联合分布,其中 ，,若记,则有,注意到,A,B,C,均与,无关，样本的边际密度函数,应用贝叶斯公式即可得到后验分布,这说明在样本给定后，,的后验分布为,N,(,B,/,A,1/,A,),，即, |x ,N,(,B,/,A,1/,A,),后验均值即为其贝叶斯估计：,它是样本均值 与先验均值,的加权平均。,贝叶斯估计的误差,贝叶斯区间估计,两种区间估计的区别,1）构造一个统计量，并求得其概率分布,2）利用参数的后验分布,区间估计求解步骤,前面同贝叶斯点估计；,求得后验分布后按置信度，分开单侧、双侧查表，得出置信上下界。,注意：贝叶斯区间估计的置信区间较短；,贝叶斯点估计不再要求无偏性。,例,3.15,x,1, x,2, x,n,来自正态分布,N,(,0,2,),的一个样本，其中,0,2,已知，,未知，假设,的先验分布为正态分布,N,(,2,),，其中先验均值,和先验方差,2,均已知，试求,的贝叶斯区间估计。,解：由贝叶斯点估计知,例3.16 对某一儿童做智力测验,x,=115，设结果为,X,N,(,100),为智商，,根据经验,N,(100,225),，求该儿童智商的0.95贝叶斯置信区间,解：由上题结论知，,的后验分布服从正态分布,最大最小估计（极大极小）minmax,定义：设,D,是决策函数的集合，若有,d*,(,x,)=,d*,(,x,1,x,2,x,n,),d*,D，,使得对任意一个决策函数,d,(,x,1,x,2,x,n,) ，总有,则称,d*,为最大最小决策函数，当上界能取到时可记为,解题步骤,（1）对,D,中所有决策函数求最大风险,（2）在所有最大风险值中选取最小值,此最小值所对应的决策函数就是最大最小决策函数。,例设总体,X,服从两点分布，试求,p,的极大极小估计量，其中,L,(,p,d,),d,=0.25,d,=0.5,P,1=0.25,1,4,P,2=0.5,3,2,解：决策空间为,A,=0.25,0.5，选取容量为1的子样，,x,只能取0,1,a,只能取0.25，0.5，则决策函数,d,(,x,)有四个：,d,x a,d,1(,x,),d,2(,x,),d,3(,x,),d,4(,x,),0,0.25,0.5,0.25,0.5,1,0.25,0.5,0.5,0.25,风险函数,R,(,p,d,),min(max,R,(,pi,dj,)=5/2,则极大极小估计为,R,(,p,d,)计算举例,例：地质学家把地层状态分为0，1两种，并把当地无石油记为,0,，,有石油记为,1，,分布规律如下表, x,0,1,0,（无油）,0.6,0.4,1,（有油）,0.3,0.7,决策空间为,A,=,a,1,a,2,a,3，其中,a,1为钻探石油，,a,2为出卖土地，,a,3为开发旅游。,损失函数,L,(,a,),取下表, a,a,1,a,2,a,3,0,（无油）,12,1,6,1,（有油）,0,10,5,决策函数,d,(,x,)取下表(取,n,=1)（9个决策函数）,x,1,d,1,d,2,d,3,d,4,d,5,d,6,d,7,d,8,d,9,0,a,1,a,1,a,1,a,2,a,2,a,2,a,3,a,3,a,3,1,a,1,a,2,a,3,a,1,a,2,a,3,a,1,a,2,a,3,风险函数,R,(,i,d,j),及最大值表,d,i(,x,1,),d,1,d,2,d,3,d,4,d,5,d,6,d,7,d,8,d,9,R,(,0,d,i),12,7.6,9.6,5.4,1,3,8.4,4,6,R,(,1,d,i),0,7,3.5,3,10,6.5,1.5,8.5,5,max,R,(,d,i),12,7.6,9.6,5.4,10,6.5,8.4,8.5,6,可知：min(max,R,(,d,i)=5.4，,其对应的决策函数为,d,4，所以,d,4是这个统计决策问题的最大最小决策函数。,d,4 为 ：,d,4(0)=,a,2,d,4(1)=,a,1,即当地质学家的结论是无油时出卖土地，有油时钻探石油。,R,(,d,)计算举例,定理3.8 给定一个统计决策问题，如果存在某个先验分布下的贝叶斯决策函数的风险函数是一个常数，那么该决策函数必定是这个统计问题的一个最大最小决策函数。,若给定的统计决策问题是参数的点估计，在定理条件下，相应的决策函数必为参数的最大最小估计量,例3.18 设总体,X,B,(1,p,)，,p,未知，服从分布,损失函数为,L,(, ,d,),=(, -d,),2,，参数,p,的贝叶斯估计,为,p,的最大最小估计,定理3.9 给定一个贝叶斯决策问题，设,k,(,):,k,1,为参数空间,上的先验分布列，,d,k,:,k,1,和,R,B,(,d,k,):,k,1,分别为相应的贝叶斯估计列和贝叶斯风险列，若,d,0,是,的一个估计，且风险函数满足，,则,d,0,为,的最大最小估计,定理3.10 给定一个贝叶斯决策问题，若,d,0,是,的一个估计，其风险函数,R,(, ,d,0,)在参数空间,上为常数,，且,k,(,):,k,1,为先验分布列，使得相应的贝叶斯估计列,d,k,:,k,1,的贝叶斯风险满足,则,d,0,为,的最大最小估计,例,3.19,x,1, x,2, x,n,来自正态分布,N,(,1,),的一个样本，设,的先验分布,N,(,0,2,),，其中,2,已知，在0-1损失函数下,的贝叶斯为估计,证明样本均值是,的最大最小估计,证明：由例3.15知,的贝叶斯为估计为,