线性回归分析(Eviews6).ppt

第二讲 第三章 线性回归分析 第一节 线性回归模型及其假设,1,研究经济问题 量化分析意识 量化分析手段 建立计量模型 用模型解释经济问题,2,上一讲重要概念：,研究某一经济现象，会面临两个问题： 一是一个变量的变化常常受其他多个经济变量的影响。为描述这些变量之间的关系，研究这些变量之间的变化规律，通常要建立计量经济模型，研究模型参数，进而利用计量经济模型进行预测。通常运用回归分析方法。 二是仅知道一个变量的历史数据，要研究它的变化规律，也要建立计量经济模型，研究模型参数，进而利用计量经济模型进行预测。通常运用时间序列分析方法,3,上一讲重要概念：,线性回归分析主要研究经济变量之间的线性因果关系。 以预先设定的线性回归模型为基础，而且设定的模型一般有经济理论根据。 回归分析关心的是根据解释变量的已知或给定值，考察被解释变量的总体均值 在给定解释变量Xi条件下被解释变量Yi的期望(平均值）轨迹称为总体回归线 相应的函数 称为（双变量）总体回归函数,4,回归函数（PRF）说明被解释变量Y的平均状态（总体条件期望）随解释变量X变化的规律 随机扰动项 总体回归模型,5,随机误差项主要包括下列因素的影响：,1）在解释变量中被忽略的因素的影响； 2）变量观测值的观测误差的影响； 3）模型关系的设定误差的影响； 4）其它随机因素的影响。,6,产生并设计随机误差项的主要原因： 1）理论的含糊性； 2）数据的欠缺； 3）节省原则。,样本回归函数（SRF）,记样本回归线的函数形式为： 称为样本回归函数,7,这里将样本回归线看成总体回归线的近似替代,8,则,注意：,回归分析的主要目的：根据样本回归函数SRF，估计总体回归函数PRF。,SRF 在某种规则下（古典假设） 是PRF的最好估计,9,10,总体回归模型n个随机方程的矩阵表达式为,模型的假设,线性回归模型必须满足一定的假设，主要包括： 1、变量Y和 之间存在线性随机函数关系 2、对应每组观测数据的误差项 都为零均值的随机变量；E( )=0 3、误差项 的方差为常数；Var( )= 4、对应不同观测数据的误差项不相关,11,5、解释变量 （k=1,K）是确定性变量而非随机变量。当存在多个解释变量（K1）时假设不同解释变量之间不存在线性关系，包括严格的线性关系和强的近似线性关系。 6、误差项 服从正态分布。,12,第二节 参数估计,设定线性回归模型的前提是相信变量关系确实存在。 根据数据求出参数的取值。 这就是线性回归模型的参数估计，是线性回归分析的核心工作。,13,一、参数的最小二乘估计,在模型假设成立的前提下，线性回归模型参数估计的主要方法有 最大似然估计、 矩估计 最小二乘估计 三种方法估计的结果基本一致。由于最小二乘法的要求比较简单，而且可以作更多的扩展，因此最小二乘法是线性回归模型参数估计的基本方法。,14,15,(一).一元线性回归模型,一元线性回归模型：只有一个解释变量,i=1,2,n,Y为被解释变量，X为解释变量，0与1为待估参数， 为随机干扰项,给定一组样本观测值（Xi, Yi）（i=1,2,n）要求样本回归函数Y=a+bX尽可能好地拟合这组值.对给定的Xi ,样本点纵坐标与回归直线纵坐标之间的偏差 ei= Yi-(a+bXi) 普通最小二乘法（Ordinary least squares, OLS）给出的判断标准是：二者之差的平方和,16,最小。,最小二乘估计的基本思路： 核心： 最小化,17,参数估计值,18,例3-2-1上海经济的消费规律研究,19,使用Eviews进行回归分析,1.打开Eviews 2.建立工作文件：File/New/Workfile 在Workfile Create(创建文件)对话框中 (1) Workfile Structure Type(数据结构类型)中选择Dated-reqular frequency(对通常时间序列数据都这样选),20,(2)Dated Specification框下,Frequency中选择Annual Start中填入1981 End中填入1998 (3)Names(Optional)框下 Wf中填入文件名 Page中填入p1或pi(也可不填) 点击OK,21,（3）输入和编辑数据,建立新序列：点击Objects/New Object 在Type of object下选择Seris(时间序列) 在Name for object下填入序列名 点击OK 在Workfile对话框下 双击序列x的图标，出现Series:x对话框 点击Edit+/- ，依次输入数据。,22,（4）.回归分析 Equation,(1)点击Object/New object/Equation/填入回归方程的名字； (2)在Equation specification框中输入 Y C X 可得到Eviews回归结果：,23,Eviews回归结果,Dependent Variable: Y Method: Least Squares Date: 03/02/08 Time: 10:13 Sample: 1981 1998 Included observations: 18 Variable Coefficient Std. Error t-Statistic Prob. C 144.6786 35.50781 4.074556 0.0009 X 0.789808 0.008022 98.45858 0.0000 R-squared 0.998352 Mean dependent var 2807.444 Adjusted R-squared 0.998249 S.D. dependent var 2333.000 S.E. of regression 97.61747 Akaike info criterion 12.10443 Sum squared resid 152466.7 Schwarz criterion 12.20336 Log likelihood -106.9399 F-statistic 9694.092 Durbin-Watson stat 1.082919 Prob(F-statistic) 0.000000,24,（5）.保存工作文件,点击File/Save as/盘符/文件名 6.加载工作文件 点击File/Open/Eviews workfile/盘符/文件名/打开,25,操作图示,26,27,28,29,30,31,32,33,34,Eviews回归结果,Dependent Variable: Y Method: Least Squares Date: 03/02/08 Time: 10:13 Sample: 1981 1998 Included observations: 18 Variable Coefficient Std. Error t-Statistic Prob. C 144.6786 35.50781 4.074556 0.0009 X 0.789808 0.008022 98.45858 0.0000 R-squared 0.998352 Mean dependent var 2807.444 Adjusted R-squared 0.998249 S.D. dependent var 2333.000 S.E. of regression 97.61747 Akaike info criterion 12.10443 Sum squared resid 152466.7 Schwarz criterion 12.20336 Log likelihood -106.9399 F-statistic 9694.092 Durbin-Watson stat 1.082919 Prob(F-statistic) 0.000000,35,例3-2-2(教材例3-1)Eviews计算结果,Dependent Variable: Y Method: Least Squares Date: 03/02/08 Time: 15:13 Sample: 1981 2002 Included observations: 22 Variable Coefficient Std. Error t-Statistic Prob. C 237.752952799707 68.3551736117468 3.4781998236173 0.00237181875731987 X 0.751088775963591 0.010396452398397 72.2447184079256 1.15963513340516e-25 R-squared 0.996182695679258 Mean dependent var 3975 Adjusted R-squared 0.995991830463221 S.D. dependent var 3310.25739180505 S.E. of regression 209.572746755865 Akaike info criterion 13.6145269063696 Sum squared resid 878414.723655962 Schwarz criterion 13.7137125839476 Log likelihood -147.759795970065 F-statistic 5219.29933784047 Durbin-Watson stat 1.28776506339404 Prob(F-statistic) 1.15963513340517e-25,36,(二)、多元线性回归模型,多元线性回归模型:表现在线性回归模型中的解释变量有多个。 一般表现形式：,37,i=1,2,n,其中:k为解释变量的数目，j称为回归参数（regression coefficient）。 习惯上：把常数项看成为一虚变量的系数，该虚变量的样本观测值始终取1。这样： 模型中解释变量的数目为（k+1）,38,也被称为总体回归函数的随机表达形式。它 的非随机表达式为:,方程表示：各变量X值固定时Y的平均响应。 j也被称为偏回归系数，表示在其他解释变量保持不变的情况下，Xj每变化1个单位时，Y的均值E(Y)的变化; 或者说j给出了Xj的单位变化对Y均值的“直接”或“净”（不含其他变量）影响。,39,样本回归函数：用来估计总体回归函数,其随机表示式:,ei称为残差或剩余项(residuals)，可看成是总体回归函数中随机扰动项i的近似替代。 样本回归函数的矩阵表达:,或,其中：,1、多元线性回归的普通最小二乘估计,对于随机抽取的n组观测值,40,如果样本函数的参数估计值已经得到，则有：,i=1,2n,根据最小二乘原理，参数估计值应该是下列方程组的解,其中,41,于是得到关于待估参数估计值的正规方程组：,42,正规方程组的矩阵形式,即,由于XX满秩，故有,43,正规方程组 的另一种写法,对于正规方程组,于是,或,(*)或（*）是多元线性回归模型正规方程组的另一种写法,(*),(*),44,样本回归函数的离差形式,i=1,2n,其矩阵形式为,其中 ：,在离差形式下，参数的最小二乘估计结果为,2、多元线性回归模型的参数估计实例,例3-2-3 经研究，发现家庭书刊消费水平Y(元/年)受家庭收入X(元/月)和户主受教育年数T(年)的影饷。现对某地区的家庭进行抽样调查，得样本数据如下，试估计家庭书刊消费水平同家庭收入、户主受教育年数之间的线性关系。,45,.,46,例3-2-2用Eviews计算结果,Dependent Variable: Y Method: Least Squares Date: 03/02/08 Time: 23:08 Sample: 1 18 Included observations: 18 Variable Coefficient Std. Error t-Statistic Prob. C -50.01638 49.46026 -1.011244 0.3279 X 0.086450 0.029363 2.944186 0.0101 T 52.37031 5.202167 10.06702 0.0000 R-squared 0.951235 Mean dependent var 755.1222 Adjusted R-squared0.944732 S.D. dependent var 258.7206 S.E. of regression 60.82273 Akaike info criterion 11.20482Sum squared resid 55491.07 Schwarz criterion 11.35321 Log likelihood -97.84334 F-statistic 146.297 Durbin-Watson stat 2.605783 Prob(F-statistic) 0.000000 回归方程为：Y=-50.0164+0.08645X+52.37031T,47,二、 最小二乘估计的性质,1、线性性 2、无偏性 3、最小方差性（有效性） 4、一致性,48,1、线性性,参数估计量可以表示为被解释变量观测值的线性组合。 证明只要把参数估计量表达式作适当的变形即可。,49,线性回归模型参数的最小二乘估计向量为 ： B = (XX)-1XY 各个参数的估计量为： =(XX)-1Xk+1Y,50,2、无偏性,最小二乘估计量是参数真实值的无偏估计。 无偏性意味着估计量以真实值为概率分布中心。这从概率分布的角度反映了最小二乘估计量与参数真实值之间的内在联系，利用该性质通过最小二乘估计量的概率分布推断参数真实值的情况和范围等。 同时具有线性性和无偏性的参数估计量称为“线性无偏估计”，具有比较重要的意义。,51,无偏性证明,E(B)= E(XX)-1XY = E(XX)-1X(X+) = E(XX)-1(XX+ X) = E+(XX)-1X =+(XX)-1XE() =,52,3、最小方差性,也称为“有效性”，即在模型参数所有的线性无偏估计量中，最小二乘估计量的方差最小。 证明的思想：设参数的任意其他线性无偏估计，证明它们的方差大于最小二乘估计。 无偏性和最小方差性说明最小二乘估计量是参数真实值的较好近似。,53,同时满足线性性、无偏性和最小方差性的参数估计量称为“最优线性无偏估计”（BLUE估计）。 在模型假设成立的前提下，线性回归参数的最小二乘估计是BLUE估计，这个结论也称为“高斯马尔可夫定理”。 BLUE估计是最小二乘估计最重要的小样本性质，是对最小二乘估计有效性和价值的有力支持。,54,4、一致估计,除上述小样本性质以外，最小二乘估计还有一种重要的大样本性质：当样本容量不断增大时，最小二乘估计量具有以参数真实值为极限（随机变量的概率极限）的“一致估计”性质。 一致估计说明在大样本的情况下最小二乘估计与参数真实值的近似程度会很高，是对最小二乘估计是进一步的支持。,55,思考题：,1.用 产生一组数据: 用OLS 能否建立回归方程？ 2.甲乙两人各自写出10个数，用OLS能否建立回归方程？能否由此判断二人有无心灵感应？,56,3.用计算器产生两组随机数据，用OLS能否建立回归方程？,4.OLS的实质是什么？ 6.古典假设的作用是什么？ 7.用OLS求得的回归方程有哪些不足？,57,