SPSS在非线性回归分剖析课件

*,*,单击此处编辑母版文本样式,第二级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,单击此处编辑母版标题样式,*,*,单击此处编辑母版文本样式,第二级,单击此处编辑母版标题样式,*,SPSS,在非线性回归分析中的应用,8.4 SPSS,在非线性回归分析中的应用,8.4.1,非线性回归分析的基本原理,非线性回归分析是探讨因变量和一组自变量之间的非线性相关模型的统计方法。线性回归模型要求变量之间必须是线性关系，曲线估计只能处理能够通过变量变换化为线性关系的非线性问题，因此这些方法都有一定的局限性。相反的，非线性回归可以估计因变量和自变量之间具有任意关系的模型，用户根据自身需要可随意设定估计方程的具体形式。因此，本方法在实际应用中有很大的实用价值,。,8.4 SPSS,在非线性回归分析中的应用,非线性回归模型一般可以表示为如下形式：,其中 为期望函数,该模型的结构和线性回归模型非常相似，所不同的是期望函数可能为任意形式，甚至在有的情况下没有显式关系式，回归方程中参数的估计是通过迭代方法获得的。,8.4 SPSS,在非线性回归分析中的应用,8.4.2,非线性回归分析的,SPSS,操作详解,Step01,：打开对话框,选择菜单栏中的,【Analyze,（分析）,】【Regression,（回归）,】【Nonlinear,（非线性）,】,命令，弹出,【Nonlinear Regression,（非线性回归）,】,对话框，这是非线性回归的主操作窗口。,8.4 SPSS,在非线性回归分析中的应用,Step02,：选择因变量,在,【Nonlinear Regression,（非线性回归）,】,对话框左侧的候选变量列表框中选择一个变量，将其添加至,【Dependent,（自变量）,】,列表框中，即选择该变量作为非线性回归分析的因变量。,Step03,：设置参数变量和初始值,单击,【Parameters,（参数）,】,按钮，将打开如下图所示的对话框，该对话框用于设置参数的初始值。,8.4 SPSS,在非线性回归分析中的应用,【,Name,（名称）,】,文本框：用于输入参数名称。,【Starting Value,（初始值）,】,文本框：用于输入参数的初始值。,当输入完参数名和初始值后，单击,【Add】,按钮，则定义的变量及其初始值将显示在下方的参数框中，参数的初始值可根据给定模型中参数定义范围情况而定。如果需要修改已经定义的参数变量，则先将其选中，然后在,【Name,（名称）,】,和,【Starting Value,（初始值）,】,文本框里进行修改，完成后点击,【Change】,按钮确认修改。如果要删除已经定义的参数变量，先用将其选中，然后点击,【Remove】,按钮删除。如果勾选,【Use starting values from previous analysis,（使用上一分析的起始值）,】,复选框，表示使用前一次分析确定的初始值；当算法的收敛速度减慢时，可选择它继续进行搜索。完成后单击,【Continue】,按钮返回主程序窗口。,8.4 SPSS,在非线性回归分析中的应用,Step04,：输入回归方程,在,【Model Expression,（模型表达式）,】,文本框中输入需要拟合的方程式，该方程中包含自变量、参数变量和常数等。自变量从左侧的候选变量列表框中选择，参数变量从左侧的,【Parameters,（参数）,】,列表框里选入。同时，拟合方程模型中的函数可以从,【Function,（函数组）,】,列表框里选入；方程模型的运算符号可以用鼠标从窗口“数字符号”显示区中点击输入。,Step05,：迭代条件选择,单击,【Loss】,按钮，将打开如下图所示的对话框。该对话框用来选择损失函数来确定参数的迭代算法。,8.4 SPSS,在非线性回归分析中的应用,Sum of squared residuals,：系统默认项，基于残差平方和最小化的迭代算法。,User-defined loss function,：自定义选项，设置其他统计量为迭代条件。在下面文本输入框中输入相应的统计量的表达式，这里称为损失函数。,左侧的候选变量列表框中，“,RESID_”,代表所选变量的残差；“,PRED_”,代表预测值。可以从左下角的,【Parameters,（参数）,】,列表框中选择已定义的参数进入损失函数。,8.4 SPSS,在非线性回归分析中的应用,Step06,：参数取值范围选择,单击,【Constraints】,按钮，将打开如下图所示的对话框。该对话框用来设置回归方程中参数的取值范围。,Unconstrained,：无约束条件，系统默认项。,Define parameter constraint,：可对选定的参数变量设置取值范围。参数的取值范围用不等式“,=,，,=”,来定义。例如这里限制参数“,b”,的迭代范围是“,b=5”,。,8.4 SPSS,在非线性回归分析中的应用,Step07,：选择预测值和残差等输出,单击,【Save】,按钮，弹出如下图所示的对话框。它表示要保存到数据文件中的统计量。,Predicted Values,：输出回归模型的预测值。,Residuals,：输出回归模型的残差。,Derivatives,：模型各个参数的一阶导数值。,Loss function values,：损失函数值。,8.4 SPSS,在非线性回归分析中的应用,Step08,：迭代方法选择,单击,【Options】,按钮，弹出如下图所示的对话框。它用于选择各类迭代算法。,8.4 SPSS,在非线性回归分析中的应用,Bootstrap estimates of standard error,：采用样本重复,法计算,标准误。样本重复法需要顺序二次规划算法的支持。当选中该项时，,SPSS,将自动选中,【Sequential quadratic Programming,（序列二次编程）,】,项。,【Estimation Method】,框中列出了参数的两种估计方法：,Sequential Quadratic Programming,：顺序二次规划算法。该方法要求输入的参数如下。,“,Maximum”,：最大迭代步数。,“,Step Iimit”,：最大步长。,“,Optimality”,：目标函数的迭代误差限。,“,Function precision”,：函数精度，应比目标函数的迭代误差限小。,“,Infinite step size”,：当一次迭代中参数值的变化大于设置值，则迭代停止。,Levenberg-Marquardt,：系统缺省设置，列文博格,-,麦夸尔迭代法。该法要求输入的参数如下。,“,Maximum iterations”,：最大迭代步数。,“,Sum-of-squares convergence”,：在一步迭代中目标函数残差平方和的变化比例小于设置的值时，迭代停止。,“,Parameter convergence”,：在一步迭代中参数的变化比例小于设置值时，迭代停止。,Step09,：单击,【OK】,按钮，结束操作，,SPSS,软件自动输出结果。,8.4 SPSS,在非线性回归分析中的应用,8.4.3,实例分析：股票价格的预测,1.,实例内容,假定数据文件,8-4,中是三个公司股票在,15,个月期间的股市收盘价。一家投资公司希望建立一个回归模型用股票,B,和股票,C,的价格来预测股票,A,的价格。请建立回归模型分析。,8.3 SPSS,在曲线拟合中的应用,8.4 SPSS在非线性回归分析中的应用,2.,实例操作,本案例要利用股票,B,和股票,C,的价格来预测股票,A,的价格，因此选择股票,B,和股票,C,为自变量，股票,A,为因变量来建立回归方程：,其中，,y,、,x1,和,x2,分别表示股票,A,、股票,B,和股票,C,的价格。,8.4 SPSS在非线性回归分析中的应用,接着利用散点矩阵图来判断三个变量之间的关系。散点矩阵图,8-29,分为,9,个子图，它们分别描述了三只股票中两两股票价格之间的变化。可以看到，股票,A,的价格和其他两只股票的价格都存在显著线性关系，这是否表示只需要建立一个二元线性模型即可呢？观察自变量股票,B,和股票,C,之间散点图看到，这两只股票的价格也存在显著的影响关系，这说明了这两个因变量之间可能存在交叉影响。于是，建立如下非线性回归方程：,8.4 SPSS在非线性回归分析中的应用,8.4 SPSS在非线性回归分析中的应用,3,实例结果及分析,（,1,）迭代过程表,表,8-17,是回归方程参数估计的迭代过程记录。这里只进行了两次迭代就达到了精度要求。观察残差平方和“,Residual Sum of Squares”,的变化，可见随着迭代的进行，残差变得越来越小。但这一过程不是无限进行下去的，当进行了两步迭代后，残差以及各参数的估计值均稳定下去了，模型达到收敛标准。,8.4 SPSS在非线性回归分析中的应用,（,2,）参数估计值,表,8-18,列出了回归模型中四个参数的迭代估计值、标准误差和,95%,的置信区间。于是，得到股票,A,关于股票,B,和,C,的预测回归模型为：,可以看到，股票,B,和股票,C,都和股票,A,的价格变动方向相同，而且股票,B,对股票,A,的影响更大。股票,B,、,C,的交互项会影响股票,A,下跌，但这种影响不太明显。,8.4 SPSS在非线性回归分析中的应用,8.4 SPSS在非线性回归分析中的应用,（,3,）参数的相关系数矩阵,表,8-19,是模型中四个估计参数的相关系数矩阵。对于较复杂的模型，参数间的相关系数可用来辅助进行模型的改进，本案例无太多价值。,8.4 SPSS在非线性回归分析中的应用,（,4,）方差分析表,表,8-20,是非线性回归分析的方差分析表。,Uncorrected Total,为未修正的总误差平方和，其值等于,23368.000,，自由度等于,15,；它被分解成回归平方和,23274.913,和残差平方和,93.087,，自由度分别是,4,和,11,。,Corrected Total,是经修正的总误差平方和，其值等于,474.933,，自由度是,14,；表的最后一列是均方。,表,8-20,最后一行公式：,R2=1-,残差平方和,/,修正平方和,=0.804,，这个结果说明了这个非线性回归模型的拟合效果，总体来看还是不错的。,8.4 SPSS在非线性回归分析中的应用,8.4 SPSS在非线性回归分析中的应用,（,5,）线性回归和非线性回归的股票预测图,图,8-35,显示了原始数据、线性回归模型、非线性回归模型三者的比较。其中，“股票,A”,是实际曲线，“,Predicted Values”,是本案例建立的非线性回归方程的预测曲线，“,Unstandardized Predicted Values”,是不考虑股票,B,、,C,交互项的二元线性模型的预测曲线。可以明显看到，非线性回归的预测效果要好于二元线性回归的预测效果，说明了这里我们引入股票,B,、,C,交互项的合理性。,8.4 SPSS在非线性回归分析中的应用,