一元线性回归模型及参数估计课件

一元一元线性回性回归模型及其参数估模型及其参数估计一、一元一、一元线性回性回归模型的参数估模型的参数估计二、最小二乘参数估二、最小二乘参数估计量的量的统计性性质三、最小二乘参数估三、最小二乘参数估计量的概率分布量的概率分布一、一元一、一元线性回性回归模型的参数估模型的参数估计一元线性回归模型的一般形式一元线性回归模型的一般形式 一元线性回归模型的一般形式一元线性回归模型的一般形式是：是：iiXiYm mb bb b+=10 i=1，2，n 在满足在满足 基本假设基本假设：=0),(0),(2)(0)(iixCovjiCoviVariEm mm mm mm ms sm mm m i=1,2,n j=1,2,n ij 的情况下，随机抽取的情况下，随机抽取n 组样本观测值组样本观测值iXiY,（i=1,2,n），就），就可以估计模型的参数。可以估计模型的参数。同方差同方差期望或均方值期望或均方值协方差协方差模型参数估计的任务模型参数估计的任务 模型参数估计的任务模型参数估计的任务为两项：为两项：一是一是求得求得反映变量之间数量关系的结构参反映变量之间数量关系的结构参数的数的估计量估计量，在一元线性回归模型即是参数在一元线性回归模型即是参数 和和 的估计量；的估计量；b b0b b1二是二是求得求得随机误差项的随机误差项的分布参数分布参数，由于随机误差项，由于随机误差项的均值已经被假定的均值已经被假定为0，所以所要求的分布参数只有所以所要求的分布参数只有方差方差 。2m ms s1、普通最小二乘法、普通最小二乘法（Ordinary Least Square,OLS）给定一组样本观测值（给定一组样本观测值（Xi,Yi），），i=1,2,n，假如，假如模型参数估计量已经求得，并且是最合理的参数估模型参数估计量已经求得，并且是最合理的参数估计量，那么样本回归函数应该能够最好地拟合样本计量，那么样本回归函数应该能够最好地拟合样本数据，即样本回归线上的点与真实观测点的数据，即样本回归线上的点与真实观测点的“总体总体误差误差”应该尽可能地小。应该尽可能地小。最小二乘法最小二乘法给出的给出的判断标准判断标准是：二者之差的平方是：二者之差的平方和最小，即和最小，即由于由于2)1(iYniYQ-=2)10(1(iXniYb bb b+-是是$b b0、$b b1的二次函的二次函数，并且非负，所以其极小值总是存在的。数，并且非负，所以其极小值总是存在的。根据极值存在的根据极值存在的条件条件，当，当Q对$b b0、$b b1的一阶偏导数为的一阶偏导数为0 时，时，Q达到最小。即达到最小。即 0010=b b b b QQ=-+=-+0)10(0)10(iXiYiXiYiXb bb bb bb bS S+S S=S SS S+=S S21010iXiXiXiYiXniYb bb bb bb b 解得：解得：10-=XYb bb bS S-SSS-S=2)(21iXiXniXiYiXiYnb b 由于由于0b b、1b b的估计结果是从最小二乘原理得到的，故称为的估计结果是从最小二乘原理得到的，故称为最小二乘估计量最小二乘估计量(least-squares estimators)。最小二乘参数估最小二乘参数估计量的离差形式量的离差形式(deviation form)注注：在在计计量量经经济济学学中中，往往往往以以大大写写字字母母表表示示原原始始数数据据（观观测测值值），而而以以小小写写字字母母表表示示对对均均值值的的离离差差（deviation)。记-=-=YiYiyXiXixiYnYiXnX11 ，则参数估计量可以写成：则参数估计量可以写成：=-=2110ixiyixXYbbb 随机误差项方差的估计量随机误差项方差的估计量 记记iYiYie-=为第为第i i个样本观测点的残差，即被解释个样本观测点的残差，即被解释变量的估变量的估计值与观测值之差计值与观测值之差，则则随机误差项方差的随机误差项方差的估计量估计量为为：1.用用原始数据（观测值）原始数据（观测值）Xi，Yi计算计算 简捷公式简捷公式为为2.用离差形式的数据用离差形式的数据xi，yi计算计算其中其中简捷公式简捷公式为为 2、最大似然法、最大似然法（Maximum Likelihood,ML）最大或然法最大或然法，也称，也称最大似然法最大似然法，是不同于最小二乘，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。展起来的其它估计方法的基础。基本原理：基本原理：对于对于最大或然法最大或然法，当从模型总体随机抽取，当从模型总体随机抽取n组样组样本观测值后，最合理的参数估计量应该使得从模型总本观测值后，最合理的参数估计量应该使得从模型总体中抽取该体中抽取该n组样本观测值的联合概率最大。组样本观测值的联合概率最大。将该或然函数极大化，即可求得到模型参数的极大或然估计量。由于或然函数的极大化与或然函数的对数的极大化是等价的，所以，取对数或然函数如下：可可见见，在在满满足足一一系系列列基基本本假假设设的的情情况况下下，模模型型结结构构参参数数的的最最大大或或然然估估计量量与与普普通通最最小小二二乘乘估估计量量是相同的。是相同的。但是，随机随机误差差项的方差的估的方差的估计量量是不同的是不同的。3、样本回本回归线的数的数值性性质(numerical properties)样本回归线通过Y和X的样本均值；Y估计值的均值等于观测值的均值；残差的均值为0。二、最小二乘参数估二、最小二乘参数估计量的量的统计性性质高斯高斯-马尔可夫定理马尔可夫定理 当当模模型型参参数数估估计计完完成成后后，需需考考虑虑参参数数估估计计值值的的精精度度，即即是是否否能能代代表表总总体体参参数数的的真真值值，或或者者说说需需考考察察参数估计量的统计性质。参数估计量的统计性质。高斯高斯马尔可夫定理可夫定理(Gauss-Markov theorem)在在给定定经典典线性性回回归的的假假定定下下，最最小小二二乘乘参参数数估估计量量是是具具有有最最小小方方差差的的线性性无无偏偏估估计量。量。1、线性性：、线性性：最小二乘参数估计量是最小二乘参数估计量是Y的线的线性函数。性函数。2、无偏性：、无偏性：最小二乘参数估计量的均值等于最小二乘参数估计量的均值等于总体回归参数真值。总体回归参数真值。3、有效性：、有效性：在所有线性无偏估计量中，最在所有线性无偏估计量中，最小二乘参数估计量具有最小方差。小二乘参数估计量具有最小方差。（2）证明最小方差性）证明最小方差性4、结论 普普通通最最小小二二乘乘参参数数估估计计量量具具有有线线性性性性、无无偏偏性性、最小方差性等优良性质。最小方差性等优良性质。具具有有这这些些优优良良性性质质的的估估计计量量又又称称为为最最佳佳线线性性无无偏偏 估估 计计 量量，即即 BLUE估估 计计 量量（the Best Linear Unbiased Estimators）。）。显然这些优良的性质依赖于对模型的基本假设。显然这些优良的性质依赖于对模型的基本假设。三、最小二乘参数估三、最小二乘参数估计量的概率量的概率分布分布可以证明，随机误差项方差的无偏估计量为：例：例：已知收入已知收入X和消费支出和消费支出Y的如下数据，试估计的如下数据，试估计Y对对X的一元线性回归方程，并计算参数估计量的标准差。的一元线性回归方程，并计算参数估计量的标准差。解：解：其中，