CY非参数回归介绍

非参数回归简介一、参数回归与非参数回归的特点无论是线性回归还是非线性回归,其回归函数形式都是已知的,只是其中参数待定，因此可称为参数回归。参数回归的最大长处是回归成果可以外延，但其缺陷也不可忽视,就是回归形式一旦固定,就比较呆板,往往拟合效果较差。另一类回归，非参数回归，则与参数回归正好相反。它的回归函数形式是不拟定的,其成果外延困难,但拟合效果却比较好。参数回归与非参数回归的优缺陷比较：参数回归：长处： (1）.模型形式简朴明确,仅由某些参数体现(g： y=a+bxe, a,b为待估参数) ().在经济中,模型的参数一般都具有明确的经济含义 (3).当模型参数假设成立,记录推断的精度较高,能经受实际检查 (4）.模型可以进行外推运算 （5).模型可以用于小样本的记录推断缺陷：(1).回归函数的形式预先假定 ()模型限制较多：一般规定样本满足某种分布规定,随机误差满足正态假设,解释变量间独立，解释变量与随机误差不有关,等 （3).需要对模型的参数进行严格的检查推断，环节较多 （）.模型泛化能力弱，缺少稳健性，当模型假设不成立,拟合效果不好，需要修正或者甚至更换模型非参数回归：长处； (1).回归函数形式自由,受约束少,对数据的分布一般不做任何规定 (2）适应能力强，稳健性高,回归模型完全由数据驱动 （3).模型的精度高(4).对于非线性、非齐次问题,有非常好的效果缺陷:(1）.不能进行外推运算 （2).估计的收敛速度慢 ()一般只有在大样本的状况下才干得到较好的效果,而小样本的效果较差 ().高维诅咒， 光滑参数的选用一般较复杂二、非参数回归的措施简介非参数回归措施样条光滑正交回归核回归：N-W估计、P-C估计、G-M估计局部多项式回归：线性、多项式 光滑样条：光滑样条、B样条近邻回归：k-NN、k近邻核、对称近邻正交级数光滑局部回归Fourier级数光滑wavelet光滑解决高维的非参数措施：多元局部回归、薄片样条、可加模型、投影寻踪、回归树、张量积等。回归模型：设为被解释变量，X为解释变量,当X为维随机变量时,为的互相独立观测样本。非参数回归模型如下： (1)其中为互相独立同分布随机变量,满足盼望，方差。是未知的函数,目的是要把估计出来。易知,。权函数措施非参数回归的基本措施有核函数法,近来邻函数法，局部多项式措施、样条函数法,小波函数法。这些措施尽管来源不同样，数学形式相距甚远，但都可以视为有关Yi的线性组合的某种权函数。也就是说,回归函数的估计总可以表为下述形式: （2)其中W（X)称为权函数。这个体现式表白,总是i的线性组合,一种Yi相应一种Wi。但是Wi与i倒没有相应关系,Wi如何生成，也许不仅与i有关,并且也许与全体的Xi或部分的有关，要视具体函数而定,因此W(X)写得更细一点应当是Wi(x;X，,n)。这个权函数形式实际也涉及了线性回归。如果，则，也是Yi的线性组合。在一般实际问题中，权函数都满足下述条件：（3) 下面我们结合具体回归函数看权函数的具体形式。 1核函数法（N-W估计) 选定Rd空间上的核函数K，一般取概率密度。令 (4)显然。此时回归函数就是 （5)核函数估计的基本性质：定理设模型(1）中的的NW核函数估计为(2)式，且满足如下条件： (A) (A2）(A3) (A) 则对每一,的持续点，以及，有2.近邻权函数估计 近邻权估计不同于核估计的构建，核估计是在某固定邻域内所相应的解释变量的局部加权平均,估计的好坏重要在于核函数及光滑参数的选用。由核估计的定义懂得,核估计的边界点的偏差将不小于内点处的偏差。也就是说,核估计存在边界效应问题。而近邻权估计是用最接近的个观测值所相应的个解释变量的加权平均值。由核函数的选择不同,分为近邻均匀权估计与近邻核权估计。非参数模型(1）的近邻均匀权估计为 其中令,为正整数，.显然决定了权的大小及参与平均的的多少，事实上类似于N-W估计中的光滑参数,较大时，会提高近邻均匀权估计的光滑度。3局部多项式估计局部多项式估计使用局部广义最小二乘的思想，依托局部多项式逼近.设在处的阶导数存在,为邻域内的任一点,则的Tlor展开式为 ()因此,可以视为待估参数,令,则(6）式可写为 （7）这里为的观测样本。 。由WLS解上式得于是在()，(7)中:当取遍的样本点时，可以得到整个曲线的估计。LPE估计的重要长处为：可以同步用于当X为随机或者固定设计的形式,并同步给出所有阶的估计。更重要的是不必修正边界。不难发现，N回归估计（)是（7）局部多项式估计的特例。事实上,当时,若令,则 此时即为NW估计（亦称局部常数估计)，同理可考察。对于样条光滑估计、傅里叶级数光滑估计、小波估计等估计措施由于时间因素这里不做简介了。 光滑参数的选用光滑参数（即窗宽）过小，随机误差所产生的噪音得不到排除,是没故意义的估计,过大，会得到过度光滑的曲线,因此对窗宽的选择是衡量核估计精度的重要因素。有关窗宽的选择有三种措施:直接插入法、交错鉴定法、惩罚函数法,其中交错鉴定法是选择窗宽的一种常用措施,其基本思路是最小化下面的“交叉核算”目的函数： (8)其中，是剔除后由余下个样本数据估计出来的核回归估计量,是一种权函数。最优窗宽的交叉核算估计量定义为最小化上面的目的函数,即: 一般状况下，实际中根据经验选用窗宽的时候也比较多。 三、非参数回归的现实应用例子: 数据选用98年月至月的居民消费价格指数（PI)和货币供应量M0,数据来源自中国人民银行网站及中经网。模型中因变量为CI,解释变量为M0，我们先用线性回归模型进行估计,再用非参数回归措施中的局部多项式估计措施, 对上面的各个模型的估计成果进行比较以拟定最合适的模型。如下成果均使用R软件编程实现。线性回归的成果如下： simteSd. Eror vlue r（t|) (Itercept) 9.87e+013.756e-01 262.1 2-6 *m 137504 305 9.89 2e6 *MultipleR-squed：.36， Adstd R-squared:0.3628图1 CPI与M0线性回归成果从图1我们可以看出,虽然我们能得到CPI与M之间的直线关系，但是直观上看诸多点距离直线的距离较大，也就是估计的误差比较大。用这种一元回归得到的预测也不一定精确。 图2为原则差的Q图,可以看出残差并不是服从正态分布。用线性回归模型做两者关系的拟合并不抱负。图2 线性回归残差Q图局部多项式回归拟合成果如下:图 3局部多项式拟合成果图4为窗宽h放大四倍后的图形:图4 窗宽放大四倍后的拟合成果从图,图4可以看出用非参数措施得到的拟合图像精确度较高,经计算，求得参数回归估计的MSE为4.29762,而非参数回归估计的MSE仅为 ，也支持上述结论。四、结论从上述工作中我们可以看出LPE回归的拟合值与观测值基本一致，估计精度高。从图中我们可以看出通货膨胀率与货币供应量并不完全是正有关关系。我们可以看到在达到3000亿前,CPI基本上是随着M0的增长而成上涨趋势,而从M达到30000亿起，也就是年初起至8月，CPI浮现了较大幅度的下降，这与金融危机的影响是密不可分的。从9月至6月，PI缓慢上涨。月至今随着国家控制物价的力度越来越大,PI并没有随着M的进一步扩大而上涨而是逐渐回归到较低的数值。参照文献：【1】叶阿忠.非参数和半参数计量经济模型理论.北京;科学出版社,【2】李竹渝等.经济、金融计量学中的非参数估计技术M 北京;科学出版社,【3】古佳.非参数回归模型的研究与应用.附1:R程序ibrry(Kernmoot)m0=san(xt）ci=cn（cpi.txt）pl(,cpi)#非参数局部多项式回归拟合()h=pill(m0，cpi)#直接插入法选用光滑参数it=locpoly(0,pi，bandwidth=h,gridsi171）line（fit，ld=2)附2:时间0供应量(亿元)季节调节后cp季节调节后时间M供应量（亿元)季节调节后cpi季节调节后时间M0供应量(亿元）季节调节后cp季节调节后19801 1030.16010 14989.30.167 2160.1181016319800296.099.8841115.9899.7470 2938601.2198031058.610.8512 1530749.239 4.61100.8899804 0205.356940112.998.94510 2698801.231980510447.60599.502 15683161100.1611 055.67101.4619806 1368.688803 15715.949.771223446.01.4110 10583.912.5114 1581.842987520 2491.7581.319908 106253964205 15976398.8632 3101.911091990 115.408.74806 9123991503 27.7710.7199110853.0669873876375308.94204 2415.19601.21911 09.29.729068.65.25 247.111.1981218755898.70091356.576499.640 24696.5301.29901 1108.98610 1678.047399.1967 248430100.8419902 120657498.211 1676802799.40308 2263.582101.25993 143.098.121808939945986.679101.419990 1125.2617320 18110.167910.370 2518.2301.41905 1139.6797.9220 1886.78100.4112623331299906 1598.4297.9703 17322.547710.612 267.035102611997 1186.4898.50204 7405.58210.001235.5102.19998 1798.205 17865.27710.4 972102.8909 122.97499.401796.949100.237686.4370319910566.199.207 11392213504 27853.64103.19911 1248399.548 183101600705 260.915103.41999 30.408877091850.2201.19 844.03414.3401 13592.029.6691089.249801.37 28564105.902 3045400.73186.7621031608971581106.503 133.61499.12 9220.2693.9 2932.385106190 36974699.821 901601.0217.3116.405 131.5210.1702 172.9102.311 2987371106.910 1839.4940.540 1954.31303.0212 26.3706.3407 138.5100.804 184999103.81 3961.04717.308 1392.5110.295987.430514.50 378.46110.729 1979810.2406 .611104.91 37756708210 14060.29.9090720334.8653105.14 307.108.5311419.250129 2069.333415.150531413.1310.7212 1423.910.2709 06825801105.24063168.03107.07114434701.1102797.9304.3507 320.8106.30 140.22100.011 270.829129608 32235759104.94 1497.84100.912201.38710209 3972.6104604 14190110.901071.428101.5103967713.905 159.293101.71021344.9725104.11 25967412.306 14808.311013703 21507.7102.71123354.559101.0907 81.4101.3704 216280101.80 345.38101.08 1500170.9405 2107.1911017 3343.638.370 157.048100.106 2177.989101503 3455.2398.07时间M0供应量（亿元)季节调节后cpi季节调节后时间0供应量(亿元）季节调节后pi季节调节后时间M0供应量（亿元）季节调节后ci季节调节后04 343971298.51904 3943.85102.840 473.58210553900.1598.6305 40159.6103.140546311575510 35287.70882906 4095.580.90 668.58106.403573.632981607 4124.2103.287 4711151610 945.4398.8708 11.03113508 449.90.28037280299.1919 42283.843.8 762549106837081.069411432634.281 483058015.3817529.810511369.410.911480.114104.012 37493.5681.812 43736.67104612 49720467104.110 316.111.63148673.6814.930104.795104.4040907.6712.71024512.931092 4221.61103.273 392075802.40 4526.110543050011.81.2吉林大学商学院,金门之家讨论班 总结人:曹阳邮箱: