回归模型的参数估计

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第二节 回归模型的参数估计,一、最小二乘估计（,OLS,）,选择最佳拟合曲线的标准,从几何意义上说，样本回归曲线应尽可能靠近样本数据点。,选择最佳拟合曲线的标准可以确定为：,使总的拟合误差（即总残差）达到最小。,用最小二乘法描述就是：所选择的回归模型应该使所有观察值的残差平方和达到最小。,OLS,的基本思路,不同的估计方法可得到不同的样本回归参数 和 ，所估计的 也不同。,理想的估计方法应使 和 的差即残差,越小越好。,因为 可正可负，所以可以取 最小，,（选择平方的原因：介绍）即,：,估计过程,在离差平方和的表达式中，被解释变量 的观测值和解释变量 都是已知的，因此可以将看作是未知参数 的函数。计算此函数对的一阶偏导数，可得：,得到：,此方程组为正规方程组，解此方程组得：,其中，,案例,2.1&2.2,课本,p24,、,p27,EViews,软件操作,二、最小二乘估计的性质,参数估计式的评价标准,无偏性,前提,：重复抽样中估计方法固定、样本数不变、经重复抽样的观测值，可得一系列参数估计值。参数估计值 的分布称为 的抽样分布，其密度函数记为,f(),如果,E()=,称 是参数 的无偏估计式，是另一种方式产生的模型参数的估计量，抽样分布为 ，若 的期望不是等于 的真实值，则称 是 有偏的，偏倚为,E()-,，见下图,概率密度,偏倚,图,2.6,最小方差性（有效性）,前提,：样本相同、用不同的方法估计参数，可以找到若干个不同的估计式。,目标,：努力寻求其抽样分布具有最小方差的估计式,最小方差准则，或称最佳性准则。见下图,有效性衡量了参数估计值与参数真值平均离散程度的大小。,既是无偏的同时又具有最小方差的估计式，称为最佳无偏估计式。,概率密度,图,2.7,一致性,思想：,当样本容量较小时，有时很难找到最佳无偏估计，需要考虑扩大样本容量,（估计方法不变，样本数逐步扩大，分析性质是否改善）,一致性,：当样本容量,n,趋于无穷大时，如果估计式 按概率收敛于总体参数的真实值，就称这个估计式 是 的一致估计式。,limP,(,-,),1,渐进无偏估计式是当样本容量变得足够大时，其偏倚趋于零的估计式。,见下图,概率密度,高斯马尔可夫定理,由,OLS,估计式可以看出，可以用观测样本 和 唯一表示。,因为存在样本抽样波动，,OLS,估计的 是随机变量。,OLS,估计式是点估计式。,在古典回归模型的若干假定成立的情况下，最小二乘估计是所有线性无偏估计量中的有效估计量。称,OLS,估计为“最佳线性无偏估计量”,。,线性特征,;,无偏性,;,最小方差性,一致性,证明过程参见,p3032,也可从精品课程网站下载。,结论：,OLS,估计式是,BLUE,。,系数的估计误差与置信区间,1,、,和,1,b,的概率分布,其次,，,和,1,b,分别是,i,Y,的线性组合，因此,、,1,b,的概率分,布取决于,Y,。,在,是正态分布的假设下，,Y,是正态分布，因此,和,1,b,也,服从正态分布，其分布特征,（密度函数）由其均值和方差唯,一决定。,首先，,由于解释变量,i,X,是确定性变量，随机误差项,i,是,随机性变量，因此被解释变量,i,Y,是随机变量，且其分布,（特,征）与,i,相同。,因此：,),(,2,2,2,S,2,XX,N,s,b,b,，,),(,2,2,2,1,1,s,b,b,i,S,XX,n,X,N,1,b,和,2,b,的,标准差,分别为,：,=,2,2,2,/,),(,i,S,XX,S,s,b,=,2,2,2,1,),(,i,i,S,XX,n,X,S,s,b,可以证明,：总体方差,2,s,的,无偏估计量,为,2,2,2,-,=,n,e,i,s,2,、随机误差项,的方差,2,s,的估计,在估计的参数,2,b,和,1,b,的方差和标准差的表达式中，都含,有随机扰动项方差,2,s,=,),var,(,i,。,2,s,又称为,总体方差,。,由于,2,s,实际上是未知的，因此,2,b,和,1,b,的方差与标准差实,际上无法计算。,由于随机项,i,不可观测，只能从,i,的估计,残差,i,e,出发，,对总体方差,2,s,进行估计。,在总体方差,2,s,的无偏估计量,2,s,求出后，,估计的参数,2,b,和,1,b,的方差和标准差的估计量,分别是：,的样本方差：,=,2,2,),(,Var,s,b,S,2,XX,的样本标准差：,=,2,),(,S,s,b,的样本方差：,=,2,2,1,),(,i,n,X,Var,s,b,的样本标准差：,=,2,1,),(,i,n,X,S,b,1,b,1,b,2,b,2,b,S,2,XX,S,2,XX,S,2,XX,系数的置信区间,见,p34,四、多元线性回归模型的参数估计,方法相同，只是通过矩阵表示，参见,p3537,五、极大似然法,ML,极大似然法,（,Maximum Likelihood,ML,）,，也称,最大似然法,，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。,基本原理,：对于,最小二乘法,，当从模型总体随机抽取,n,组样本观测值后，最合理的参数估计量应该使得模型能最好地拟合样本数据。对于,极大似然法,，当从模型总体随机抽取,n,组样本观测值后，最合理的参数估计量应该使得从模型中抽取该,n,组样本观测值的概率最大。,对于一元线性回归模型：,i,i,i,X,Y,m,b,b,+,+,=,2,1,i=1,2,n,随机抽取,n,组样本观测值,i,i,X,Y,（,i=1,2,n,），假如模型的参数,估计量已经求得到，为,$,b,1,和,$,b,2,，那么,i,Y,服从如下的正态分布：,i,Y,),(,2,2,1,s,b,b,i,X,N,+,于是，,i,Y,的概率函数为,2,2,1,2,),(,2,1,2,1,),(,i,i,X,Y,i,e,Y,P,b,b,s,p,s,-,-,-,=,i=1,2,n,将该或然函数极大化，即可求得到模型参数的极大或然估计量。,因为,i,Y,是相互独立的，所以,Y,的所有样本观测值的联合概率，,也即,似然函数,(likelihood function),为：,),(,),(,2,1,2,2,1,n,Y,Y,Y,P,L,=,m,s,b,b,2,2,1,2,2,),(,2,1,),2,(,1,i,i,n,X,Y,n,e,b,b,s,m,s,p,-,-,S,-,=,复习：,掌握,ols,方法的原理，掌握一元线性回归参数形式。,明确优良的参数估计应具有的性质，尤其明确,OLS,方法是,BLUE,。,掌握,EVIEWS,建立模型的方法及命令。,了解,OLS,估计参数的概率分布。,