多元相关与回归分析课件

多元相关与回归分析课件第 10 章 多元线性回归10.1 多元线性回归模型多元线性回归模型 10.2 回归方程的拟合优度回归方程的拟合优度10.3 显著性检验显著性检验10.4 多重共线性多重共线性10.5 非线性回归非线性回归多元相关与回归分析课件学习目标1.回归模型、回归方程、估计的回归方程回归模型、回归方程、估计的回归方程2.回归方程的拟合优度回归方程的拟合优度回归方程的显著性检验回归方程的显著性检验利用回归方程进行估计和预测利用回归方程进行估计和预测非线性回归非线性回归3.用用 SPSS 进行回归分析进行回归分析多元相关与回归分析课件10.1 多元线性回归模型10.1.1 多元回归模型与回归方程多元回归模型与回归方程10.1.2 估计的多元回归方程估计的多元回归方程10.1.3 参数的最小二乘估计参数的最小二乘估计多元相关与回归分析课件多元回归模型与回归方程多元相关与回归分析课件多元回归模型(multiple regression model)一个因变量与两个及两个以上自变量的回归描述因变量 y 如何依赖于自变量 x1，x2，xk 和误差项 的方程，称为多元回归模型涉及 k 个自变量的多元回归模型可表示为kkxxxy22110多元相关与回归分析课件多元回归模型(基本假定)误差项是一个期望值为0的随机变量，即E()=0对于自变量x1，x2，xk的所有值，的方差 2都相同误差项是一个服从正态分布的随机变量，即N(0,2)，且相互独立多元相关与回归分析课件多元回归方程(multiple regression equation)描述因变量 y 的平均值或期望值如何依赖于自变量 x1，x2，xk的方程多元线性回归方程的形式为 E(y)=0+1 x1+2 x2+k xk多元相关与回归分析课件二元回归方程的直观解释22110 xxy22110)(xxyE多元相关与回归分析课件估计的多元回归方程多元相关与回归分析课件估计的多元回归的方程估计的多元回归的方程(estimated multiple regression equation)(estimated multiple regression equation)用样本统计量 估计回归方程中的 参数 时得到的方程由最小二乘法求得一般形式为k,210k,210kkxxxy22110k,210k,210y 多元相关与回归分析课件参数的最小二乘估计多元相关与回归分析课件参数的最小二乘法最小niiniiikeyyQ1212210)(),()21(00000kiQQiii，k,210多元相关与回归分析课件参数的最小二乘法(例题分析)多元相关与回归分析课件10.2 10.2 回归方程的拟合优度回归方程的拟合优度10.2.1 多重判定系数多重判定系数10.2.2 估计标准误差估计标准误差多元相关与回归分析课件多重判定系数多元相关与回归分析课件多重判定系数(multiple coefficient of determination)回归平方和占总平方和的比例回归平方和占总平方和的比例计算公式为计算公式为因变量取值的变差中，能被估计的多元回归方程因变量取值的变差中，能被估计的多元回归方程所解释的比例所解释的比例 SSTSSESSTSSRyyyyRniinii112122多元相关与回归分析课件 在样本容量一定的条件下，不断向模型中在样本容量一定的条件下，不断向模型中增加自变量，即使新增的变量与增加自变量，即使新增的变量与Y Y不相关，不相关，模型的模型的R R2 2也可能上升，至少不会下降。也可能上升，至少不会下降。在实际应用中，研究人员更欢迎简单的模在实际应用中，研究人员更欢迎简单的模型，这样的模型更简单和易于解释。如果型，这样的模型更简单和易于解释。如果根据根据R R2 2来选择模型，显然会倾向于复杂的来选择模型，显然会倾向于复杂的模型。模型。更常用的指标是更常用的指标是“修正后的修正后的R Ra a2 2”。修正的判定系数修正的判定系数多元相关与回归分析课件修正多重判定系数(adjusted multiple coefficient of determination)用样本量n和自变量的个数k去修正R2得到 计算公式为避免增加自变量而高估 R2意义与 R2类似数值小于R2111122knnRRa多元相关与回归分析课件估计标准误差 Se对误差项的标准差 的一个估计值衡量多元回归方程的拟合优度计算公式为MSEknSSEknyySniiie1112多元相关与回归分析课件12.3 显著性检验12.3.1 线性关系检验线性关系检验12.3.2 回归系数检验和推断回归系数检验和推断多元相关与回归分析课件线性关系检验多元相关与回归分析课件线性关系检验检验因变量与所有自变量之间的线性关系是否显著也被称为总体的显著性总体的显著性检验检验方法是将回归均方(MSR)同残差均方(MSE)加以比较，应用应用 F 检验检验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系多元相关与回归分析课件线性关系检验提出假设提出假设H H0 0：1 1 2 2 k k=0 =0 线性关系不显著线性关系不显著H H1 1：1 1，2 2，k k至少有一个不等于至少有一个不等于0 0)1,()1()1(1212knkFknyykyyknSSEkSSRFniinii多元相关与回归分析课件回归系数检验和推断多元相关与回归分析课件回归系数检验和推断 回归方程显著，并不意味着每个解释变量对因回归方程显著，并不意味着每个解释变量对因变量变量Y Y的影响都重要的影响都重要,因此需要进行检验：因此需要进行检验：回归系数检验的必要性回归系数检验的必要性回归方程显著回归方程显著每个回归系数每个回归系数都显著都显著多元相关与回归分析课件回归系数的检验回归系数的检验(步骤步骤)提出假设H0：i=0 (自变量 xi 与 因变量 y 没有线性关系)H1：i 0 (自变量 xi 与 因变量 y有线性关系)计算检验的统计量 t)1(kntStii多元相关与回归分析课件回归系数的推断(置信区间)回归系数在(1-)%置信水平下的置信区间为 isknti2)1(2xxssiei多元相关与回归分析课件10.4 多重共线性10.4.1 多重共线性及其所产生的问题多重共线性及其所产生的问题10.4.2 多重共线性的判别多重共线性的判别10.4.3 多重共线性问题的处理多重共线性问题的处理多元相关与回归分析课件多重共线性及其产生的问题多重共线性及其产生的问题多元相关与回归分析课件多重共线性多重共线性回归模型中两个或两个以上的自变量彼此相关回归模型中两个或两个以上的自变量彼此相关多重共线性带来的问题有多重共线性带来的问题有t t检验值会减小、系数的显著性下降。检验值会减小、系数的显著性下降。对于一组存在高度多重共线性的自变量，很难对单对于一组存在高度多重共线性的自变量，很难对单个系数进行解释。个系数进行解释。有可能导致各回归系数的符号同我们的预期相反有可能导致各回归系数的符号同我们的预期相反 。多元相关与回归分析课件多重共线性的识别多重共线性的识别多元相关与回归分析课件多重共线性的识别多重共线性的识别检测多重共线性的最简单的一种办法是计算模型检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数中各对自变量之间的相关系数，并对各相关系数进行显著性检验进行显著性检验 若有一个或多个相关系数显著，就表示模型中所用若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性的自变量之间相关，存在着多重共线性如果出现下列情况，暗示存在多重共线性如果出现下列情况，暗示存在多重共线性 模型中各对自变量之间显著相关模型中各对自变量之间显著相关 当模型的线性关系检验当模型的线性关系检验(F F检验检验)显著时，几乎所有回显著时，几乎所有回归系数的归系数的t t检验却不显著检验却不显著 回归系数的正负号与预期的相反回归系数的正负号与预期的相反多元相关与回归分析课件多重共线性(例题分析)【例】【例】判别各自变量之间是否存在多重共线性贷款余额、应收贷款、贷款项目、固定资产投资额之间的相关矩阵贷款余额、应收贷款、贷款项目、固定资产投资额之间的相关矩阵多元相关与回归分析课件多重共线性(例题分析)【例】【例】判别各自变量之间是否存在多重共线性相关系数的检验统计量相关系数的检验统计量多元相关与回归分析课件多重共线性(例题分析)t (25-2)=2.0687，所有统计量，所有统计量t t (25-2)=2.0687，所以均拒绝原假设，说明这所以均拒绝原假设，说明这4个自变量两两之间都有显个自变量两两之间都有显著的相关关系著的相关关系由 表 中 的 结 果 可 知，回 归 模 型 的 线 性 关 系 显 著由 表 中 的 结 果 可 知，回 归 模 型 的 线 性 关 系 显 著(Significance-F1.03539E-06=0.05)。这也暗示了模型中存。这也暗示了模型中存在多重共线性在多重共线性固定资产投资额的回归系数为负号固定资产投资额的回归系数为负号(-0.029193)，与预，与预期的不一致期的不一致多元相关与回归分析课件多重共线性问题的处理多重共线性问题的处理多元相关与回归分析课件多重共线性(问题的处理)将一个或多个相关的自变量从模型中剔除，将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关使保留的自变量尽可能不相关如果要在模型中保留所有的自变量，则应如果要在模型中保留所有的自变量，则应 避免根据避免根据 t t 统计量对单个参数进行检验统计量对单个参数进行检验 对因变量值的推断对因变量值的推断(估计或预测估计或预测)的限定在自的限定在自变量样本值的范围内变量样本值的范围内多元相关与回归分析课件多元回归中的变量筛选多元回归中的变量筛选 在多元回归中，预先选定的自变量不一定都对在多元回归中，预先选定的自变量不一定都对Y Y有显著的影响。有一些统计方法可以帮助我们有显著的影响。有一些统计方法可以帮助我们从众多可能的自变量中筛选出重要的自变量。从众多可能的自变量中筛选出重要的自变量。SPSSSPSS软件提供了多种筛选自变量的方法：软件提供了多种筛选自变量的方法：“向前引入法（向前引入法（ForwardForward）”“向后剔除法（向后剔除法（BackwardBackward）”“逐步引入逐步引入剔除法（剔除法（StepwiseStepwise）”多元相关与回归分析课件变量选择过程在建立回归模型时，对自变量进行筛选在建立回归模型时，对自变量进行筛选选择自变量的原则是对统计量进行显著性检验选择自变量的原则是对统计量进行显著性检验将一个或一个以上的自变量引入到回归模型中时，是否使将一个或一个以上的自变量引入到回归模型中时，是否使得残差平方和得残差平方和(SSESSE)有显著的减少。如果增加一个自变量使有显著的减少。如果增加一个自变量使SSESSE的减少是显著的，则说明有必要将这个自变量引入回归的减少是显著的，则说明有必要将这个自变量引入回归模型，否则，就没有必要将这个自变量引入回归模型模型，否则，就没有必要将这个自变量引入回归模型确定引入自变量是否使确定引入自变量是否使SSESSE有显著减少的方法，就是使用有显著减少的方法，就是使用F F统计量的值作为一个标准，以此来确定是在模型中增加一统计量的值作为一个标准，以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变量个自变量，还是从模型中剔除一个自变量n变量选择的方法主要有：变量选择的方法主要有：逐步回归、向前选择、向后剔除逐步回归、向前选择、向后剔除多元相关与回归分析课件向前选择(forward selection)从模型中没有自变量开始从模型中没有自变量开始对对k k个自变量分别拟合对因变量的一元线性回归模个自变量分别拟合对因变量的一元线性回归模型，共有型，共有k k个，然后找出个，然后找出F F统计量的值最高的模型统计量的值最高的模型及其自变量，并将其首先引入模型及其自变量，并将其首先引入模型 分别拟合引入模型外的分别拟合引入模型外的k k-1-1个自变量的线性回归模个自变量的线性回归模型型 如此反复进行，直至模型外的自变量均无统计显如此反复进行，直至模型外的自变量均无统计显著性为止著性为止多元相关与回归分析课件向后剔除(backward elimination)先对因变量拟合包括所有先对因变量拟合包括所有k k个自变量的回归模型。然后考察个自变量的回归模型。然后考察p p(p p k k)个去掉一个自变量的模型个去掉一个自变量的模型(这些模型中每一个都有的这些模型中每一个都有的k k-1-1个自变量个自变量)，使模型的，使模型的SSESSE值减小最少的自变量被挑选出值减小最少的自变量被挑选出来并从模型中剔除来并从模型中剔除考察考察p-1p-1个再去掉一个自变量的模型个再去掉一个自变量的模型(这些模型中在每一个这些模型中在每一个都有都有k k-2-2个的自变量个的自变量)，使模型的，使模型的SSESSE值减小最少的自变量被值减小最少的自变量被挑选出来并从模型中剔除挑选出来并从模型中剔除如此反复进行，一直将自变量从模型中剔除，直至剔除一如此反复进行，一直将自变量从模型中剔除，直至剔除一个自变量不会使个自变量不会使SSESSE显著减小为止显著减小为止多元相关与回归分析课件逐步回归的思想逐步回归的思想 将变量逐一引入回归方程，先建立与将变量逐一引入回归方程，先建立与y y相关最密相关最密切的一元线性回归方程，然后再找出第二个变量，切的一元线性回归方程，然后再找出第二个变量，建立二元线性回归方程，建立二元线性回归方程，。在每一步中都要对引入变量的显著性作检验，仅在每一步中都要对引入变量的显著性作检验，仅当其显著时才引入，而每引入一个新变量后，对当其显著时才引入，而每引入一个新变量后，对前面已引进的变量又要逐一检验，一旦发现某变前面已引进的变量又要逐一检验，一旦发现某变量变得不显著了，就要将它剔除。量变得不显著了，就要将它剔除。这些步骤反复进行，直到引入的变量都是显著的这些步骤反复进行，直到引入的变量都是显著的而没有引入的变量都是不显著的时，就结束挑选而没有引入的变量都是不显著的时，就结束挑选变量的工作。变量的工作。可以设定引入和删除变量的条件。可以设定引入和删除变量的条件。多元相关与回归分析课件10.5 非线性回归非线性回归10.5.1 双曲线双曲线10.5.2 幂函数曲线幂函数曲线10.5.3 对数曲线对数曲线多元相关与回归分析课件非线性回归非线性回归1.1.因变量因变量 y y 与与 x x 之间不是线性关系之间不是线性关系2.2.可通过变量代换转换成线性关系可通过变量代换转换成线性关系用最小二乘法求出参数的估计值用最小二乘法求出参数的估计值3.3.并非所有的非线性模型都可以化为线性并非所有的非线性模型都可以化为线性模型模型多元相关与回归分析课件双曲线xxy基本形式：线性化方法令：y=1/y，x=1/x,则有y=+x图像多元相关与回归分析课件幂函数曲线基本形式：线性化方法两端取对数得：lg y=lg+lg x令：y=lgy，x=lg x，则y=lg+x图像xy 多元相关与回归分析课件对数曲线基本形式：线性化方法x=lnx,则有y=+x图像xyln多元相关与回归分析课件SPSS中可以进行的曲线回归包括：多元相关与回归分析课件曲线回归的计算机实现：SpssSpss：analyzeanalyzeregressioncurve estimation；EviewsEviews：quickquickestimate equation。多元相关与回归分析课件例题：我国我国1978200219782002年人均年人均GDPGDP数据（数据（19781978年年不变价），试建立人均不变价），试建立人均GDPGDP与时间之间的回归方与时间之间的回归方程程。多元相关与回归分析课件1 1、画出散点图、画出散点图多元相关与回归分析课件2 2、计算相关系数、计算相关系数CorrelationsCorrelations1.972*.99852*.98353*.000.000.00025252525.972*1.971*.921*.000.000.00025252525.999*.971*1.986*.000.000.00025252525.984*.921*.986*1.000.000.00025252525Pearson CorrelationSig.(2-tailed)NPearson CorrelationSig.(2-tailed)NPearson CorrelationSig.(2-tailed)NPearson CorrelationSig.(2-tailed)N元，78不变，人均年度序号年度序号二次方年度序号三次方元，78不变，人均年度序号年度序号二次方年度序号三次方Correlation is significant at the 0.01 level(2-tailed).*.多元相关与回归分析课件3 3、进行回归、进行回归M Mo od de el l S Su um mm ma ar ry y a an nd d P Pa ar ra am me et te er r E Es st ti im ma at te es sDependent Variable:元，78不变，人均.945398.132123.00026.87084.708.99720 3922.449222.000387.4904.571 3.082.99728 2566.953321.000368.93712.379 2.346.019EquationLinearQuadraticCubicR SquareFdf1df2Sig.Model SummaryConstantb1b2b3Parameter EstimatesThe independent variable is 年度序号.多元相关与回归分析课件3 3、进行回归、进行回归多元相关与回归分析课件4 4、精细比较、精细比较（1 1）二次曲线：决定系数）二次曲线：决定系数（2 2）三次曲线：决定系数）三次曲线：决定系数M M o o d d e e l l S S u u m m m m a a r r y y.999.997.99694935.415RR SquareAdjustedR SquareStd.Errorof theEstimateThe independent variable is 年度序号.M Mo od de el l S Su um mm ma ar ry y.999.997.99689235.746RR SquareAdjustedR SquareStd.Errorof theEstimateThe independent variable is 年度序号.多元相关与回归分析课件4 4、精细比较、精细比较（1 1）二次曲线：）二次曲线：F F检验检验（2 2）三次曲线：）三次曲线：F F检验检验A AN NO OV VA A983947424919737.1553922.449.00027593.530221254.251986706824RegressionResidualTotalSum ofSquaresdfMean SquareFSig.The independent variable is 年度序号.A AN NO OV VA A984023433280077.9432566.953.00026834.011211277.810986706824RegressionResidualTotalSum ofSquaresdfMean SquareFSig.The independent variable is 年度序号.多元相关与回归分析课件4 4、精细比较、精细比较（1 1）二次曲线：回归系数）二次曲线：回归系数（2 2）三次曲线：回归系数）三次曲线：回归系数CoefficientsCoefficients4.5714.089.0521.118.2763.082.153.94820.190.000387.49023.07016.796.000年度序号年度序号*2(Constant)BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.C Co oe ef ff fi ic ci ie en nt ts s12.37910.936.1421.132.2702.346.967.7212.425.024.019.024.141.771.449368.93733.48611.017.000年度序号年度序号*2年度序号*3(Constant)BStd.ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.多元相关与回归分析课件本章小结本章小结变量间关系的度量变量间关系的度量回归模型、回归方程与估计的回归方程回归模型、回归方程与估计的回归方程回归直线的拟合优度回归直线的拟合优度回归分析中的显著性检验回归分析中的显著性检验用用SPSS SPSS 进行回归分析进行回归分析多元相关与回归分析课件结结 束束