一元线性回归模型及参数估计

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,一元线性回归模型及其参数估计,一、一元线性回归模型的参数估计,二、最小二乘参数估计量的统计性质,三、最小二乘参数估计量的概率分布,一、一元线性回归模型的参数估计,一元线性回归模型的一般形式,一元线性回归模型的一般形式,是：,i,i,X,i,Y,m,b,b,+,+,=,1,0,i=1,，,2,，,n,在满足,基本假设,：,=,=,=,=,0,),(,0,),(,2,),(,0,),(,i,i,x,Cov,j,i,Cov,i,Var,i,E,m,m,m,m,s,m,m,i=1,2,n j=1,2,n i,j,的情况下，随机抽取,n,组样本观测值,i,X,i,Y,（,i=1,2,n,），就,可以估计模型的参数。,同方差,期望或均方值,协方差,模型参数估计的任务,模型参数估计的任务,为两项：,一是,求得,反映变量之间数量关系的结构参,数的,估计量,，,在一元线性回归模型即是参数 和 的估计量；,b,0,b,1,二是,求得,随机误差项的,分布参数,，由于随机误差项,的均值已经被假定,为0，,所以所要求的分布参数只有,方差 。,2,m,s,1、普通最小二乘法（Ordinary Least Square,OLS）,给定一组样本观测值（X,i,Y,i,），i=1,2,n，假如模型参数估计量已经求得，并且是最合理的参数估计量，那么样本回归函数应该能够最好地拟合样本数据，即样本回归线上的点与真实观测点的“总体误差”应该尽可能地小。,最小二乘法,给出的,判断标准,是：二者之差的平方和最小，即,由于,2,),1,(,i,Y,n,i,Y,Q,-,=,=,2,),1,0,(,1,(,i,X,n,i,Y,b,b,+,-,是,$,b,0,、,$,b,1,的二次函,数，并且非负，所以其极小值总是存在的。,根据极值存在的,条件,，当,Q,对,$,b,0,、,$,b,1,的一阶偏导数为,0,时，,Q,达到最小。即,0,0,1,0,=,=,b,b,Q,Q,=,-,+,=,-,+,0,),1,0,(,0,),1,0,(,i,X,i,Y,i,X,i,Y,i,X,b,b,b,b,S,+,S,=,S,S,+,=,S,2,1,0,1,0,i,X,i,X,i,X,i,Y,i,X,n,i,Y,b,b,b,b,解得：,1,0,-,=,X,Y,b,b,S,-,S,S,S,-,S,=,2,),(,2,1,i,X,i,X,n,i,X,i,Y,i,X,i,Y,n,b,由于,0,b,、,1,b,的估计结果是从最小二乘原理得到的，故称为,最小二乘估计量,(least-squares estimators),。,最小二乘参数估计量的离差形式,(deviation form),注,：在计量经济学中，往往以大写字母表示原始数据（观测值），而以小写字母表示对均值的,离差（deviation),。,记,-,=,-,=,=,=,Y,i,Y,i,y,X,i,X,i,x,i,Y,n,Y,i,X,n,X,1,1,，,则参数估计量可以写成：,=,-,=,2,1,1,0,i,x,i,y,i,x,X,Y,b,b,b,随机误差项方差的估计量,记,i,Y,i,Y,i,e,-,=,为第,i个样本观测点的残差，即被解释变量的估,计值与观测值之差,，,则,随机误差项方差的估计量,为,：,1.用,原始数据（观测值）,X,i,，,Y,i,计算,简捷公式,为,2.用离差形式的数据,x,i,，,y,i,计算,其中,简捷公式,为,2、最大似然法,（Maximum Likelihood,ML）,最大或然法,，也称,最大似然法,，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。,基本原理,：,对于,最大或然法,，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型总体中抽取该n组样本观测值的联合概率最大。,将该或然函数极大化，即可求得到模型参数的极大或然估计量。,由于或然函数的极大化与或然函数的对数的极大化是等价的，所以，取对数或然函数如下：,可见，在满足一系列基本假设的情况下，模型结构参数的,最大或然估计量,与,普通最小二乘估计量,是相同的。,但是，,随机误差项的方差的估计量,是不同的,。,3、样本回归线的数值性质,(numerical properties),样本回归线通过Y和X的样本均值；,Y估计值的均值等于观测值的均值；,残差的均值为0。,二、最小二乘参数估计量的统计性质,高斯-马尔可夫定理,当模型参数估计完成后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。,高斯马尔可夫定理,(Gauss-Markov theorem),在给定经典线性回归的假定下，最小二乘参数估计量是具有最小方差的线性无偏估计量。,1、线性性：,最小二乘参数估计量是Y的线性函数。,2、无偏性：,最小二乘参数估计量的均值等于总体回归参数真值。,3、有效性：,在所有线性无偏估计量中，最小二乘参数估计量具有最小方差。,（2）证明最小方差性,4、结论,普通最小二乘参数估计量具有线性性、无偏性、最小方差性等优良性质。,具有这些优良性质的估计量又称为,最佳线性无偏估计量,，即,BLUE,估计量,（the Best Linear Unbiased Estimators）。,显然这些优良的性质依赖于对模型的基本假设。,三、最小二乘参数估计量的概率分布,可以证明，,随机误差项方差的无偏估计量,为：,例：,已知收入X和消费支出Y的如下数据，试估计Y对X的一元线性回归方程，并计算参数估计量的标准差。,解：,其中，,