双变量回归模型：估计问题

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第三讲：,双变量回归模型：估计问题,1,主要内容：,普通最小二乘法,高斯-马尔可夫定理,拟合优度,2,3.1,普通最小二乘法,回归分析的主要目的,：根据样本回归函数,，估计总体回归函数 。,3,两组随机样本,X,800,1100,1400,1700,2000,2300,2600,2900,3200,3500,Y,561,638,913,1408,1408,1716,1969,2244,2552,2629,638,847,1045,1144,1364,1551,1749,2101,2178,2321,样本回归线如何确定,4,如何去估计样本回归线？,估计的方法：普通最小二乘法(OLS),简单方便,参数估计量在一定的假设下具有其他方法所没有的良好统计性质,5,给定一组样本观测值如何使 尽可能好地拟合这组值.即,我们希望样本回归模型的估计值 尽可能地靠近观测值 。,6,为达到此目的，我们选择使,残差平方和,（3-1）,尽可能地小，其中 是残差的平方,换句话说，我们期望能确定出 、 ，使得残差平方和最小,7,即求出 、 ，使,成立,根据微积分知识，,（3-2）,（3-3）,8,（3-4）,（3-5）,解得： （3-6）,（3-7）,9,假定4：,解释变量的样本有变异,在样本中，解释变量 的取值不为相同的常数。,有意义或有解,10,写成离差形式：,（3-8）,（3-9）,上面得到的估计量 , 是从最小二乘原,理演算而得的。因此，称其为,最小二乘估计量。,11,估计量的数值性质,数值性质：指运用最小二乘估计法而成立的那些性质，而不管数据如何产生。,（1）,（2）,（3） ，,12,3.2,高斯-马尔可夫定理,最小二乘估计量有何优良的统计性质呢？,假定5：同方差性,13,高斯-马尔可夫定理：,在假定1假定5下，OLS估计量是最优线性无偏估计量（BLUE）。,它是线性的,它是无偏的,它是有效估计量,14,（1）线性性,令 ，则有,15,这说明 是,的一个线性函数，它是以 为权的一个加权平均数，从而它是一个线性估计量。同理， 也是一个线性估计量。,16,（2）无偏性,就是说，虽然由不同的样本得到的 ， 可能大于或小于它们的真实值 ， ，但平均起来等于它们的真实值 ， 。,17,因为 ，,所以,18,（3）有效估计量：具有最小方差,估计量的精度（可靠性）：,19,（2）证明最小方差性,其中， 为不全为零的常数,则容易证明,普通最小二乘估计量,（,ordinary least Squares Estimators,）称为,最佳线性无偏估计量,（best linear unbiased estimator,BLUE,）,20,3.3,拟合优度,？样本回归直线对数据拟合得有多好呢 样本在多大程度上能够解释被解释变量的变异程度,判定系数 -,拟合优度度量,21,计算,R,2,的步骤如下,据样本回归模型可得：,（3-10）,（3-11）,两式相减，可得,（3-12）,22,总平方和（TSS）解释平方和（ESS）残差平方和（RSS）,对（,3-12）,两边取平方求和,(3-13),23,式(3-13)可表示为,TSS=ESS+RSS,（3-14）,这说明,的观测值围绕其均值的总变异可分解为两部分，一部分来自回归线，而另一部分则来自扰动项,。,24,=,总离差,=,来自回归,=,来自残差,25,用TSS除式（3-14）的两边,，,得,（3-15）,26,定义,R,2,为：,（3-16）,27,上述定义的 称为判定系数，它是对回归线拟合优度的度量。就是说， 测度了在,的总变异中由回归模型解释的那个部分所占的比例或百分比。,28,据判定系数的定义可知： 。等于1的,R,2,意味着一个完美的拟合，即对每个,都有 。另一方面，等于,0,的,R,2,意味着被解释变量与解释变量之间无任何关系（即 ），这时， ，就是说，对任一,Y,值的最优预测值都是它的均值，从而回归线平行于,X,轴。,29,与,R,2,关系紧密但概念上与,R,2,差异较大的一个参数是相关系数，它测度了两个变量之间的关联度。,也可据,R,的定义计算,（3-17）,30,从定义可以看出 。在回归分析中，,R,2,是一个比,R,更有意义的度量，因为,R,2,告诉我们在被解释变量的变异中，由解释变量解释的部分占怎样一个比例，因而对一个变量的变异在多大程度上决定另一个变量的变异，提供了一个总的度量，而,R,则没有这种作用。,31,Thanks !,32,