非线性回归分析江南大学张荷观

,单击此处编辑母版标题样式,第三章 非线性回归分析,讨论直接对,非线性回归模型的回归分析方法,即非线性回归模型的参数估计、假设检验和预测方法。,第一节 非线性回归模型,一、简非线性模型简介,非线性回归模型在经济学研究中有着广泛的应用。有一些非线,性回归模型可以通过直接代换或间接代换转化为线性回归模型,但也有一些非线性回归模型却无法通过代换转化为线性回归模型。,消费函数模型,其中,x,是居民收入,y,是居民,消费。,(3-1),式为一元非,线性回归模型,(,当已知 时成为一元,线性回归模型,),并且,无法通过代换转化为线性回归模型。,(3-1),设,消费函数模型,生产函数模型,柯布,道格拉斯,生产函数模型,其中,L,和,K,分别是劳力投入和资金投入,y,是产出。由于误差项是可加的,从而也不能,通过代换转化为线性回归模型。,对于联立方程模型,只要其中有一个方程是,不能,通过代换转化为线性,那么这个联立方程模型就是非线性的。,(3-2),二、非线性模型的建立和假设,单方程非线性回归模型的一般形式为,其中 是模型的,k,个解释变量,是模型的,p,个未知参数,f,是一个非线性函数,是模型的误差项。,关于,误差项的假设,也是满足独立、等方差、不相关和零均值,也可以进一步假设误差项服从正态分布。,(3-3),第二节 非线性回归模型的参数估计,一、非线性计量经济分析的基本思路,建立非线性计量经济模型的基本思路与建立线性计量经济模型是相似的,也是根据经济理论或实际数据建立初步模型,然后估计模型中的未知参数,通过对模型的检验,最后确定模型。,非线性计量经济分析仍以回归分析为核心,也称为非线性回归分析。,最小二乘估计,非线性回归分析的参数估计有两种基本方法,:,最大似然估计和最小二乘估计,这里介绍最小二乘估计。,若把最小二乘估计记为,那么 应使残差平方和达到最小,即,(3-4),由于,回归函数,f,是 的非线性函数,一般无法对正规方程组通过解析的方法求解,而必须用某种搜索法或迭代算法获得参数的最小二乘估计。,二、搜索法,1.,直接搜索法,直接搜索法是把参数的所有可能取值都代入,S,使,S,达到最小的取值即为参数的估计值。,直接搜索法原理简单,但只适用参数个数少,且参数的可能取值也少,(,或对参数估计的精度要求不高,),的情况。,2.,格点搜索法,格点搜索法的效率高于直接搜索法。格点搜索法不是是把参数的所有可能取值都代入,S,而是按一定规律把部分,取值代入,S,。,例,1,设只有一个,参数,的可能取值为区间 。先把区间,10,等分,然后分别把,代入,S,设 使,S,最小,再把新区间,10,等分,重复上述方法,使,参数的可能取值范围不断减小,直到满足精度要求或收敛标准,即得参数的最小二乘估计。,上述算法表明,当,S,存在唯一最小值时,格点搜索法才是有效的。,例,2,设有二个,参数,的可能取值为图,31,的矩形。先把矩形等分为,10,行,10,列,然后分别把所有的可能取值代入,S,设,使,S,最小。再以 相邻的,4,个小矩形作为参数新,的可能取值范围,重上述方法,使,参数的可能取值范围不断减小,直到满足要求,即得参数的最小二乘估计。,直接搜索法和格点搜索法都是低效的,在实际工作中很少采用。,三、高斯,牛顿,(,Gauss - Newton,),法,高斯,牛顿法是一种常用的迭代法。,非线性回归模型不能通过变换转化为线性回归模型,但可以利用泰勒展开式转化为线性回归模型。设非线性回归模型,记,高斯,牛顿法的具体方法如下。,(1),先取参数的一组初值,根据,泰勒级数并只取线性项,得,其中 为 和,泰勒展开式的高阶项之和。整理得,(3-6),最小二乘估计,令,对给定的初始值,和 都是确定的。则得,线性回归模型,(3-7),从而,由上式可求得 的最小二乘估计 。,(2),把 作为新的初始值,再次利用,泰勒展开式,可得到一组新的估计,。,重复上述方法,直到,参数估计值收敛或满足要求的精度,最后所得的估计 就是参数的估计值。,高斯,牛顿法的另一种思路,根据,最小二乘估计的定义,最小二乘估计 应使残差平方和,达到最小。求解正规方程组的困难在于,f,不是 的线性函,数,从而可对,f,采用一阶,泰勒展开式近似。这与直接对,f,采用一阶,泰勒展开式近似是相同的。,四、牛顿,拉夫森,(,Newton ,Raphson,),法,牛顿,拉夫森法可以看作是高斯,牛顿法的改进。牛顿,拉夫森法不是作非线性函数,f,的线性近似,而是直接对残差平方和,S,取最小的,一阶条件作一阶,泰勒展开式近似。,一个,参数时,的牛顿,拉夫森法,设只有一个,参数的非线性回归模型,是 的估计值。残差平方和 取最小的一阶条件,取初始值,对 采用,一阶,泰勒展开近似,(3-9),由于,从而,整理得,(3-11),则上式作为,的近似估计值,并可,作为新的初始值。重复上述上述方法,直到,参数估计值收敛或满足要求的精度。,(3-10),多元非线性回归模型的牛顿,拉夫森法,取初始值,对 采用,一阶,泰勒展开近似得,其中 是 在 处的二阶导数矩阵。,由于,于是,即,(3-12),设,参数向量,估计量向量,残差平方和 取最小的一阶条件,(3-13),则上式作为,的近似估计值,并可,作为新的初始值。重复上述上述方法,直到,参数估计值收敛或满足要求的精度。,五、迭代算法的初始值和收敛性,高斯,牛顿法和牛顿,拉夫森法都是迭代算法,从而都有,初始值的选择和,迭代收敛性问题,。,(,一,),初始值,问题,(1),对给定的,非线性回归模型,初始值,越接近真值,迭代速度则越快。,(2),当残差平方和不满足整体唯一最优解的条件时,不同的,初始值可能会有不,同的结果,(,不,同的局部最优解,),。,通常,初始值应尽量,接近真值。但,初始值的选择并没有一般的法则,而只有一些经验方法。,(1),利用参数的经济意义,一般的,经济计量模型,的参数都有明确的经济意义,这些参数的通常取值范围可以作为选择初始值的参考。例如,柯布,道格拉斯,生产函数模型,根据 和 与 的经济意义,可由实际数据选择初始值。,(2),模型函数及其导函数在特定点的性状,根据解释变量的某些,特定值,也可为,选择初始值提供帮助。例如,函数,( ),由于,时,时,根据这些,特定值,也有助于,选择初始值。,(,3),变换模型及其分析,对于回归模型,由于,(3-15),(3-16),即,根据,一元线性回归,求出 和 的估计,从而得 和 的估计,并可把它们作为,初始值。,(4),降维法,对于回归模型,令,则,(3-17),成为,一元线性回归模型,(3-17),(3-18),并在,的条件下求得 的估计 。则可取,作为,初始值。,避免失误的方法,由于初始值的选择并没有一般的法则,通常可用几组不同的初始值分别进行,迭代计算,这是,避免失误的一种重要方法。当从不同的初始值得到不同的估计值时,可能是采用的,算,法有问题,也可能是,回归模型,的问题。,(,二,),收敛性和收敛标准,理论上,参数估计值,b,应使,即满足残差平方和最小的,一阶条件。但由于计算中的误差和实际的运算次数,收敛不是以 为标准。对给定的,判断收敛和停止迭代的常用标准有以下,3,种。,(1),若残差平方和趋于稳定,即 时可停止迭代。,(2),若参数估计值趋于稳定,即 时可停止迭代。,(3),若近似满足残差平方和最小的,一阶条件,即 时可停止迭代。,在实际工作中这几个标准可替换,但无明显优劣,一般可同时使用。,第三节 非线性回归评价和假设捡验,与线性回归分析一样,非线性回归分析在建立回归方程后进行评价和捡验。主要有回归方程拟合度的评价,以及回归方程和回归系数的显著性捡验等。非线性回归的最小二乘估计不是,BLUE,但一般条件下是一致估计。,一、决定系数,决定系数和调整决定系数为,(3-19),(3-20),可作为样本数据与,回归模型的拟合优度,即所选非线性回归模型的合理程度。,二、,t,捡验和,F,捡验,采用,高斯,牛顿法进行参数估计时,根据泰勒级数把非线性回归模型线性化。从而,对于非线性回归模型的回归系数和回归方程显著性捡验也可转为对线性回归模型的捡验,即对最后一次线性近似作捡验。但是,这时的统计量只是近似地服从相应的分布。,三、参数显著性的,F,捡验,对于非线性回归模型,也可以直接作显著性捡验。对回归系数的一般捡验,也可转为对线性回归模型的捡验,(3-21),近似服从,是全模型,(,未受约束的回归模型,),的残差平方和,而 是约简型,(,满足约束的回归模型,),的残差平方和,g,是约束条件的个数。当 时在,水平上拒绝原假设。,四、似然比捡验,(,likelihood ratio test,),统计量,设误差项服从均值为,0,的正态分布,则对数,似然函数为,(3-23),(3-24),其中,e,是残差向量。从而,似然比统计量,对于大样本,近似服从 。从而当 时在 水平上拒绝原假设。,非线性回归检验的方法还有沃尔德捡验和拉格朗日乘数捡验等,这些方法本质上都相似。,(3-25),第四节 非线性回归分析的预测,非线性回归分析与线性回归分析一样,可利用回归方程作预测。若解释变量取值为,则,y,的预测为,但非线性回归不能给出一般的区间预测公式,通常只能采用各种近似方法,从而在实际工作中很少使用区间预测。,第五节 非线性回归参数估计示例,设消费函数,模型,(3-28),其中,C,是消费,y,是总收入,是三个,参数。当 时上式成为线性回归模型,而只有当 时才是非线性回归模型。所以,该模型是否为线性可归结为检验 是否成立。,样本数据列于表,3-1,。,表,3-1,消费函数的相关,数据,高斯,牛顿法估计参数,采用高斯,牛顿法估计未和参数。记参数的初始值为,由于,根据一阶,泰勒级数展开式,(3-29),整理得,(3-30),高斯,牛顿法,记,则,(3-30),为,这是二元,线性回归模型。,首先由,一元,线性回归模型,求得,于是取,由二元,线性回归模型,(3-30),迭代求解,迭代,5,次的结果如下。,(3-30),一元线性回归分析表,5,次迭代的结果,计算表,二元线性回归分析表,t,捡验,根据二元,线性回归分析表,可作如下近似的,t,捡验,由于,从而可认为应采用,非线性回归模型。,SPSS,非线性回归分析的主要步骤,对非线性回归模型，,SPSS,可以直接通过迭代完成分析。,(1),输入数据,(2),依次单击,Analyze, Regression Nonlinear,(3),非线性回归分析的主对话框,把被解释变量移到,“,Dependent,”,栏内,在,“,Model Expression,”,栏内输入,回归方程的具体表达式。,(4),设置参数初始值,单击,“,Parameter,”,，,设置参数初始值。,(5),单击,“,OK ”,，开始进行统计分析,(6),非线性回归基本信息,迭代过程共进行,38,步，在残差平方和的变化小于,0.00000001,时停止迭代。,基本信息,(7),非线性回归分析表,