一元非参数回归-(非参数统计)课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,参数回归与非参数回归的优缺点比较：,参数回归：,优点：,(1).,模型形式简单明确，仅由一些参数表达,(2).,在经济中，模型的参数具有一般都具有明确的经济含义,(3).,当模型参数假设成立，统计推断的精度较高，能经受实际检验,(4).,模型能够进行外推运算,(5).,模型可以用于小样本的统计推断,缺点：,(1).,回归函数的形式预先假定,(2).,模型限制较多：一般要求样本满足某种分布要求，随机误差满足,正态假设，解释变量间独立，解释变量与随机误差不相关，等,(3),需要对模型的参数进行严格的检验推断，步骤较多,(4).,模型泛化能力弱，缺乏稳健性，当模型假设不成立，拟合效果,不好，需要修正或者甚至更换模型,非参数回归：,优点：,(1),回归函数形式自由，受约束少，对数据的分布一般不做任何要求,(2),适应能力强，稳健性高，回归模型完全由数据驱动,(3),模型的精度高,;(4),对于非线性、非齐次问题，有非常好的效果,缺点,：,(1),不能进行外推运算,(2),估计的收敛速度慢,(3),一般只有在大样本的情况下才能得到很好的效果，,而小样本的效果较差,(4),高维诅咒,光滑参数的选取一般较复杂,非参数回归,方法,样条光滑,正交回归,核回归：,N-W,估计、,P-C,估计、,G-M,估计,（,9.1,）,局部多项式回归：线性、多项式,（,9.2,）,光滑样条：光滑样条、,B,样条,近邻回归：,k-NN,、,k,近邻核、对称近邻（,9.4,）,正交级数光滑（,9.5,）,稳健回归：,LOWESS,、,L,光滑、,R,光滑、,M,光滑,-,（,9.3,）,局部回归,Fourier,级数光滑,wavelet,光滑,处理高维的非参数方法：多元局部回归、薄片样条、,可加模型、投影寻踪、,回归树、张量积，等,3,核函数,K,：函数,K(.),满足,:,常见的核函数：,Parzen,核：,Gaussian,核：,Epanechnikov,核：,tricube,核：,为示性函数,4,回归模型：,(1),模型为随机设计模型,样本观测,(X i, Yi)iid,(2),模型为固定设计模型,Xi,为,R,中,n,个试验点列,i=1,2,n,Yi,为固定,Xi,的,n,次独立观测，,i=1,2,n,m(x),为为一未知函数，用一些方法来拟合,定义：线性光滑,(linear smoother),5,光滑参数的选取,风险,(,均方误差,),(mean squared error , MSE),理想的情况是希望选择合适的光滑参数,h,，使得通过样本数据拟合的回归曲线能够最好的逼近真实的回归曲线,(,即达到风险最小,),，这里真实回归函数,m(x),一般,是未知的。,可能会想到用平均残差平方和来估计风险,R(h),但是这并不是一个好的估计，会导致过拟合（欠光滑），原因在于两次利用了数据，一次估计函数，一次估计风险。我们选择的函数估计就是使得残差平方和达到最小，因此它倾向于低估了风险。,是,的估计，,h,是光滑参数，称为带宽或窗宽,6,光滑参数,的选取,缺一交叉验证方法,(leave-one-out cross validation , CV),这里 是略去第,i,个数据点后得到的函数估计,交叉验证的直观意义：,因此：,7,光滑参数,的选取,定理：若 那么缺一交叉验证得分,能够写成：,这里 是光滑矩阵,L,的第,i,个对角线元素,广义交叉验证,(generalized cross-validation,GCV),其中： 为有效自由度,8,光滑参数,的选取,其他标准,(1),直接插入法,(Direct Plug-In , DPI),相关文献可以参考：,Wolfgang H,rdle(1994),，,Applied Nonparametric Regression,，,Berlin,Jeffrey D.Hart (1997), Nonparametric Smoothing and Lack-of-Fit Tests,，,Springer Series in Statistics,李竹渝、鲁万波、龚金国,(2007),，经济、金融计量学中的非参数估计技术，科学出版社，北京,吴喜之译,(2008),，现代非参数统计，科学出版社，北京,(2),罚函数法,(penalizing function),(3),单边交叉验证,(One Sided Cross Validation,，,OSCV),(4),拇指规则,(Rule Of Thumb),9,9.1.,核回归（核光滑）模型,N-W,估计是一种简单的加权平均估计，可以写成线性光滑：,局部回归,由,Nadaraya(1964),和,Watson(1964),分别提出，,（,1,）,N-W,估计,形式：,其中：,为核函数， 为带宽或窗宽,10,局部回归,(2),G-M,估计,由,Gasser and Mller(1979),提出，形式如下,:,其中,写成线性光滑的形式,:,11,局部回归,核估计存在边界效应，边界点的估计偏差较大,以,N-W,估计为例，如下图,12,局部回归,一般，核函数的选取并不是很重要，重要的是带宽的选取,13,局部回归,一般，核函数的选取并不是很重要，重要的是带宽的选取,14,局部回归,一般，核函数的选取并不是很重要，重要的是带宽的选取,可以看到：拟合曲线的光滑度受到光滑参数,h,变化的影响,15,局部回归,核估计的渐近方差核渐近偏差,核估计,渐近偏差,渐近方差,N-W,估计,G-M,估计,其中，,h,为光滑参数，,f,为,X,的密度函数，且,16,局部回归,9.2.,局部多项式回归,多项式的回归模型,其中 可由最小二乘法估计,即,局部多项式回归：对,m(x),在,u,处进行,p,阶泰勒展开，略去,p,阶高阶无穷小量，得到,m(x),在,u,处的一个,p,阶多项式近似，即,此时，,x,应该靠近,u,，且,17,局部回归,通过最小二乘来估计系数,注意：是在,x,的一个邻域内进行多项式估计，因此，最小二乘应该与,x,的邻域有关,局部加权平方和：,使上述问题最小化，可以得到系数的局部多项式的最小二乘估计,可以很容易得到，取,p=0,时为局部常数估计，即,N-W,核估计,取,p=1,，为局部线性估计,18,局部回归,写成矩阵形式：,使上式最小化，可以得到系数的估计,其中,19,局部回归,得到加权最小二乘估计,当,p=1,时（局部线性估计）的渐近偏差和渐近方差,其中,可以看到局部线性回归的渐近方差和,N-W,估计相同，而渐近偏差却比,N-W,回归小，说明局部线性多项式可以减少边界效应，局部线性估计由于,N-W,估计,20,局部回归,局部多项式光滑可以很好的减少边界效应,21,局部回归,检验函数,(Doppler,函数,),22,局部回归,使用,GCV,选取最优带宽,h=0.017,，权函数为,tricube,核函数,23,局部回归,使用,GCV,选取最优带宽,h=0.017,，,权函数为,tricube,核函数,24,局部回归,9.4.,近邻光滑,(1),k-NN,回归,(k-nearest neighbor regression),其中,=,i,:,x,i,是离,x,最近的,k,个观测值之一,K-NN,估计的渐近偏差和渐近方差：,对于随机设计模型，近邻估计写成线性光滑器的形式,权函数：,25,局部回归,(1),k-NN,回归,(k-nearest neighbor regression),26,局部回归,(1),k-NN,回归,(k-nearest neighbor regression),27,局部回归,(2),k-,近邻核回归,K,近邻核估计的权重,其中,R,为,x,i,中,离,x,最近的第,k,个距离，,K,为核函数,渐近偏差和渐近方差：,28,局部回归,(2),k-,近邻核回归,29,局部回归,(2),k-,近邻核回归,30,局部回归,9.3.,稳健光滑,(1),局部加权描点光滑,(Locally Weighted Scatter plot Smoothing, LOWESS),Step1,:,在,x,的邻域内，用一个多项式进行拟合，求出系数,j,其中,w,i,(x,k),为,k-NN,权,Step2,:,根据残差 计算尺度估计 ，,定义稳健权重,Step3,:,用新的权重,重复,Step1,、,Step2,，直到第,N,次结束,31,(1),局部加权描点光滑,( LOWESS),局部回归,32,(1),局部加权描点光滑,( LOWESS),局部回归,33,