非参数统计--一元非参数回归课件

添加标题,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,第九章 一元非参数回归,一元非线性回归模型,:,给定一组观测值,(,x,i,y,i,),，,i,=1,2,n,概 述,可以采用多项式回归,.,概 述,9.1 核回归光滑模型,局部加权最小二乘估计,:,如果取核函数,9.1 核回归光滑模型,利用核密度估计的基本思想，估计,y,i,的权重。,加权平均核,h,n,小,y,i,的权重小,反之,则越大。,9.1 核回归曲线,Nadaraya-Watson,核估计为：,Gasser-Muller,核估计为：,9.1 核回归曲线,Nadaraya-Watson,核估计为：,以鲑鱼和鲈鱼为例，绘制核回归曲线如下。,M1-function(x,h)sum(y1:260*exp(-0.5*(xx1:260-x)/h)2)/sum(exp(-0.5*(xx1:260-x)/h)2),x-seq(min(xx),max(y),length=50),z=rep(0,50),for(i in 1:50)zi-M1(xi,0.2),plot(xx,y),lines(x,z),核回归估计范例,h=0.2,h=0.8,9.2 局部线性回归,主要避免边界估计不精确,.,在,x,的邻域用线性函数取代,y,i,的平均,.,特别,如果,K(.),是,-1,1,上的均匀分布,则,9.2 局部多项式回归,在局部线性函数回归的基础上,确定,的矩阵表达式,:,9.3 Lowess稳健回归,异常点可能导致线性回归模型最小二乘估计发生偏差,改进局部线性拟合方法来降低异常点对估计的影响,.,基本思想,:,首先局部线性回归拟合,其次对权数进行平滑,.,算法步骤,:,9.4 k-近邻回归,与,k-,近邻核密度估计类似，基本思想是用距离,x,最近的,k,个样本点处,y,i,的值来估计当前点的取值,并确定权值,.,一,.k-,近邻估计,特点：比核密度回归简单。,9.4 k-近邻回归,knearhg-function(A,x,k),na-nrow(A),or-1:na,dis-NULL,for(i in 1:na),dis-c(dis,(abs(x-Ai,1),ra-rank(dis),find.k-orrak+1,knearhg-sum(Afind.k,2)/k,return(knearhg),9.4 k-近邻回归,k=3,k=10,9.4 k-近邻回归,二,.k-,近邻核估计,9.4 k-近邻回归,knearm-function(A,x,k),na-nrow(A),or-1:na,dis-NULL,for(i in 1:na),dis-c(dis,(abs(x-Ai,1),ra-rank(dis),find.k-orrak+1,R-max(abs(x-Afind.k,1),knearm-sum(A,21:260*exp(-0.5*(A,11:260-x)/R)2)/sum(exp(-0.5*(A,11:260-x)/R)2),return(knearm),9.4 k-近邻回归,k=5,k=2,9.4 k-近邻回归,k=15,9.5 正交序列回归,前面讲的三种情况回归是局部的思想,.,预测只能是局部的,全局估计法效果比较好的是正交多项式回归,.,正交基的概念,:,9.5 正交序列回归,回归模型近似为,:,进行最小二乘估计,:,9.5 正交序列回归,区间,-1,1,上的,Legendre,多项式正交基,:,9.5 正交序列回归,例,9.7,对摩托车数据采用,Legendre,多项式正交基建立回归模型,效果图如下,.,注意,:,对解释变量施行变换,:,9.5 正交序列回归,