第四章 线性回归分析

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,数学建模简明教程,国家精品课程,第四章 线性回归分析,一、,引言,二、,回归分析方法,三、,软件实现,目录,下页,返回,上页,结束,2004,年全国数模竞赛的,B,题“电力市场的输电,某电网有,8,台发电机组，,6,条主要线路，表,1,和,表,2,中的方案,0,给出了各机组的当前出力和各线路,上对应的有功潮流值，方案,132,给出了围绕方案,0,的一些实验数据，试用这些数据确定各线路上,有功潮流关于各发电机组出力的近似表达式,.,阻塞管理”的第,1,个问题：,一、引言,目录,下页,返回,上页,结束,目录,下页,返回,上页,结束,对本问题，我们采用多元线性回归分析，效果很好,.,二、回归分析方法,例,如图,1,是,12,组儿子身高,和父亲身高,数据,关系的散布点，采用直线拟合的示意图,.,设,6,条线路上有功潮流为,，,8,台发电,，该问题一般函数表达式：,机组出力为,图,1,平面上散布点的直线拟合示意图,目录,下页,返回,上页,结束,上面的示例中自变量只有一个，属一元回归分析,.,如果自变量有多个，则属多元回归分析,.,如,4.1,中赛,就属多元回归分析,.,1,.,一元线性回归,模型：,目录,下页,返回,上页,结束,题，自变量是,8,台发电机组出力,作回归分析,其中,找一条最好的直线通过,个已知的观测点，实际,上就是寻找满足如下目标的直线参数,目标函数：,利用高等数学可求解参数,目录,下页,返回,上页,结束,对一组观测值,，满足：,其中各,相互独立且,记,则,有：,目录,下页,返回,上页,结束,则,另外一个问题就是对,的无偏估计问题,.,可以证明,的无偏估计为：,目录,下页,返回,上页,结束,这里,2,.,多元线性回归模型,模型：,个观测值,则满足,:,目录,下页,返回,上页,结束,是未知参数,.,设,是,的,其中各,相互独立，且,则方程组用矩阵表达为,假定矩阵,的秩等于,.,即列满秩,.,目录,下页,返回,上页,结束,令,则,解得,的无偏估计,当,时，就变成一元回归分析，其参数,的求解,及,的无偏估计与一元回归分析得到的结论是一致的,.,3,.,回归模型的假设检验,当完成回归模型中参数及回归偏差,的估计后，,还需要对模型进行评价,.,包括,:,目录,下页,返回,上页,结束,检验采用线性回归是否适合,每一个变量是否对因变量起作用,采用线性回归好坏程度的度量,3.1,回归方程的显著性检验,当原假设,成立时，说明回归方程不显著,.,当备选假设,成立时，说明回归方程显著,.,目录,下页,返回,上页,结束,至少有一个,目录,下页,返回,上页,结束,令,，考虑总离差平方和,称为剩余残差平方和,.,称为回归平方和,.,在,成立的条件下，可以证明,且,与,相互独立，则,统计量,的数值,目录,下页,返回,上页,结束,对给定显著水平,，可查表得,计算,回归方程不显著,.,3.2,回归系数的显著性检验,检验假设,用，在回归模型中可以去掉,.,目录,下页,返回,上页,结束,若,则拒绝,，即认为各系数不为,零，线性回归方程是显著的,.,否则接受,即认为线性,当原假设,成立时，说明自变量,对,不起作,当备选假设,成立时，说明自变量,对,有作,用，在回归模型中不能去掉,.,对角线上的第,j+1,个元素,的条件下，有,目录,下页,返回,上页,结束,可以证明，,，,是,的主对角,而,且,与,独立，则在,成立,认为,等于零,.,3.3,复相关系数,对一个因变量和一组自变量和之间线性相关程度，,复相关系数来度量,.,目录,下页,返回,上页,结束,对给定的显著水平,，查表得,计算,统计量,的数值,，若,则拒绝,，即,认为,显著不为零,.,若,则接受,，即,定义,变量,之间线性相关程度越强,.,调整的复相关系数,(,Adjust,),.,其,定义,如下,:,当,和,越接近,1.,表示因变量,与各自变量,之间线性相关程度越强,.,三、软件实现,解决线性回归问题的最常用软件有：,Matlab,，统计,软件,SPSS,和,SAS,.,目录,下页,返回,上页,结束,，当,越接近,1,，表示因变量,与各自,1.,SAS,8,求解过程,1).,启动,SAS,软件,鼠标点击,Solutions-,Analysis-Analyst,启动分析员,.,2).,在弹出的表中输入数据,结果如图,2,.,其中,132,行为,32,组试验数据（方案,0,未选，后面将作为,测试数据）,.,8,台机组的出力用,表示，,6,条,线路的潮流值用,表示,.,（由于数据较多，可,将数据拷贝到记事本中，然后由,SAS,直接读入更方便,.,）,目录,下页,返回,上页,结束,图,2,SAS,数据输入图,3).,鼠标点击,Statistics-Regression-Linear,在弹出对话框中,(,见图,3,),将左边文本框中将,8,个,自变,量,选入,Explanatory,框中,将因变量,选入,Dependent,框中,.,然后点击,OK,即可执行回归分析,.,图,3,SAS,线性回归对话框,目录,下页,返回,上页,结束,4).,SAS,进行回归分析结果见下面表,3,The REG Procedure,Model:MODEL1,Dependent Variable:Y1,Analysis of Variance,Source DF Sum of Squares Mean Square F Value Pr F,Model 8 60.73531 7.59191 5861.52|t|,Intercept 1 110.29651 0.44512 247.79 .0001,X1 1 0.08284 0.00084653 97.86 .0001,X2 1 0.04828 0.00191 25.21 .0001,X3 1 0.05297 0.00064256 82.44 .0001,X4 1 0.11993 0.00149 80.24 .0001,X5 1 -0.02544 0.00093315 -27.26 .0001,X6 1 0.12201 0.00126 96.45 .0001,X7 1 0.12158 0.00146 82.99 .0001,X8 1 -0.00123 0.00103 -1.19 0.2450,表,.3,SAS,回归分析结果表,目录,下页,返回,上页,结束,从表中可以得到,总离差平方和,=,60.76510,回归平方和,=,60.73531,残差平方和,=,0.02979,;,回归得到的均方误差,=,0.03599,复相关系数,=,0.9995,调整的复相关系数,=,0.9993,.,回归方程的系数在表中也可以完全得到,.,该回归,方程为：,目录,下页,返回,上页,结束,=,5861.52,而概率,故不管,取检验水平,或,都说明回归显著,.,SAS,8,可以同时完成了,6,个回归模型参数及各指标,的计算,.,上面只列出了,的回归计算,.,其他,5,个回归方程,的计算可同时得到，这里就不一一列出,.,2.,线性回归的,Matlab,实现,回归分析的求解在,Matlab,中可用函数,regress,实现,.,其使用格式为：,b,bint,r,rint,stats,=,regress,(,Y,X,alpha,),其中,Y,为列向量，表达因变量的取值，为,2,中的,(11),式；,X,为矩阵，代表自变量的取值，为,2,中的,(12),式,.,Alpha,为置信水平，缺省时取,0.05,.,目录,下页,返回,上页,结束,b,-,参数,的取值，为列向量,.,bint,-,参数,的置信,度为,(,1-alpha,),的置信区间,.,当置,信区间包含,0,时，说明该参数未通过,检验，可认,认为,0.,r,-,残差向量，取值为,Y-X.b,.,rint,-,残差的置信度为,(,1-alpha,),的置信区间,.,stats,-,回归方程的统计量,.,stats,(,1,),为复相关系数,stats,(2),为,F,值,stats,为,F,值对应的概率值,.,目录,下页,返回,上页,结束,参考文献,1,姜启源,谢金星,.,数学模型,(,第三版,).,北京：,高,等教育出版社,2003,.,2,薛定宇,陈阳泉,.,高等应用数学问题的,MATLAB,求解,.,北京：清华大学出版社,2004,.,3,田铮，肖华勇,.,随机数学基础,.,北京：高等教育,出版社,2005,.,目录,下页,返回,上页,结束,再见,目录,下页,返回,上页,结束,