资源描述
3.3 3.3 线性回归模型的参数估计线性回归模型的参数估计一元线性回归模型的参数估计一元线性回归模型的参数估计多元线性回归模型的估计多元线性回归模型的估计最小二乘估计量的性质最小二乘估计量的性质随机干扰项方差的估计随机干扰项方差的估计一、一、一元一元线性回归模型的估计线性回归模型的估计模型满足基本假设模型满足基本假设一元线性模型：一元线性模型：问题：如何估计问题：如何估计 和和？参数的普通最小二乘估计（参数的普通最小二乘估计（OLSOLS）给定一组样本观测给定一组样本观测（X Xi i,Y Yi i)（i=1,2,ni=1,2,n）绘制数据散点图，从绘制数据散点图，从中可看出中可看出Y Y随着随着x x变动变动而变动的趋势。希望而变动的趋势。希望得到均匀穿过散点的得到均匀穿过散点的趋势线，趋势线，尽可能好地尽可能好地拟合拟合数据点。数据点。参数的普通最小二乘估计（参数的普通最小二乘估计（OLSOLS）（续）（续）普通最小二乘法（普通最小二乘法（Ordinary least squares,Ordinary least squares,OLSOLS）给出的）给出的判断标准判断标准是：是：在给定的样本值下，确在给定的样本值下，确定定 ，使残差平方和，使残差平方和 最小。最小。为什么要平方？而不是直接相加？为什么要平方？而不是直接相加？即即达到最小。达到最小。拟合直线或者回归直线为：拟合直线或者回归直线为：一阶条件：n得：或称为正规方程组称为正规方程组解正规方程组得：解正规方程组得：用离差形式表示：用离差形式表示：其中，其中，由于参数的估计结果是通过最小二乘法得到的，故称由于参数的估计结果是通过最小二乘法得到的，故称为为普通最小二乘估计量普通最小二乘估计量（ordinary least squares ordinary least squares estimatorsestimators）。）。例例2.32.3：在上述家庭可支配收入：在上述家庭可支配收入-消费支出例消费支出例中，对于所抽出的一组样本数，参数估计的计算中，对于所抽出的一组样本数，参数估计的计算可通过下面的表可通过下面的表2.2.12.2.1进行。进行。因此，由该样本估计的回归方程为：因此，由该样本估计的回归方程为：Stata 回归程序语言回归程序语言第一步第一步，从，从excel拷贝数据库到拷贝数据库到stata数据库，数据库，存为存为stata数据库文件，数据库文件，如：如：save D:dataols1第二步第二步，打开，打开stata数据库文件，数据库文件，如：如：use D:dataols1,replace第三步第三步，运行回归程序，如：，运行回归程序，如：reg yi Xi第四步第四步，分析回归结果。，分析回归结果。Stata 回归结果如下：回归结果如下：估计的系数估计的系数参数估计的最大似然法参数估计的最大似然法(ML)(ML)最大似然法最大似然法(Maximum Likelihood(Maximum Likelihood,简称简称ML)ML)，也称，也称最大或然法最大或然法，是不同于最小二乘法，是不同于最小二乘法的另一种参数估计方法，是从最大似然原的另一种参数估计方法，是从最大似然原理出发发展起来的其它估计方法的基础。理出发发展起来的其它估计方法的基础。基本原理基本原理：对于对于最大似然法最大似然法，当从模型总体随机，当从模型总体随机抽取抽取n n组样本观测值后，最合理的参数估计组样本观测值后，最合理的参数估计量应该使得量应该使得从模型中抽取该从模型中抽取该n n组样本观测值组样本观测值的概率最大。的概率最大。参数估计的最大似然法参数估计的最大似然法(ML)(ML)续续在满足基本假设条件下，对一元线性回归在满足基本假设条件下，对一元线性回归模型：模型：随机抽取随机抽取n n组样本观测值（组样本观测值（X Xi i,Y,Yi i）（i=1,2,ni=1,2,n）假如模型的参数估计量已经求得，为假如模型的参数估计量已经求得，为那么那么Y Yi i服从如下的正态分布：服从如下的正态分布：参数估计的最大似然法参数估计的最大似然法(ML)(ML)续续（i=1,2,n）于是于是Y 的概率密度函数为：的概率密度函数为：因为因为Yi是相互独立的，所以是相互独立的，所以Y的所有样本观测值的的所有样本观测值的联合概率，也即似然函数联合概率，也即似然函数(likelihood function)为：为：将该似然函数极大化，即可求得到模型参数将该似然函数极大化，即可求得到模型参数的极大似然估计量。的极大似然估计量。由于由于似然函数的极大化似然函数的极大化与与似然函数的对数的似然函数的对数的极大化极大化是等价的，所以，取对数似然函数如是等价的，所以，取对数似然函数如下：下：参数估计的最大似然法参数估计的最大似然法(ML)续续可见，在满足一系列基本假设的情况下，可见，在满足一系列基本假设的情况下，模型结构参数的模型结构参数的最大似然估计量最大似然估计量与与普通最普通最小二乘估计量小二乘估计量是相同的。是相同的。参数估计的最大似然法参数估计的最大似然法(ML)续续解得模型的参数估计量为：解得模型的参数估计量为：二、二、多元多元线性回归模型估计线性回归模型估计模型满足基本假设模型满足基本假设问题：估计参数问题：估计参数模型模型:对于随机抽取的对于随机抽取的n n组观测值组观测值如果如果样本函数样本函数的参数估计值已经得到，则有：的参数估计值已经得到，则有：i=1,2n根据根据最小二乘原理最小二乘原理，参数估计值应该是下列方程，参数估计值应该是下列方程组的解组的解 其中其中于是得到关于待估参数估计值的于是得到关于待估参数估计值的正规方程组正规方程组：正规方程组正规方程组的的矩阵矩阵形式形式即由于 满秩，故有 三、最小二乘估计量的性质三、最小二乘估计量的性质当模型参数估计出后，需考虑参数估计当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性值，或者说需考察参数估计量的统计性质。质。假设多元线性模型满足基本假设，则参数假设多元线性模型满足基本假设，则参数的的OLSOLS估计是估计是最佳线性无偏最佳线性无偏估计，记为估计，记为BLUEBLUE。BLUE：Best,Linear,Unbiased,Estimator因为因为OLSOLS估计量有许多有用的统计性质，所估计量有许多有用的统计性质，所以在回归分析中，以在回归分析中，OLS OLS法得到了广泛的应法得到了广泛的应用。下面介绍用。下面介绍OLSOLS估计量的统计性质。估计量的统计性质。高斯高斯马尔可夫马尔可夫定理定理(Gauss-Markov theorem)：1.线性性代入上式得：代入上式得：可见可见 是是Y Yi i的线性函数，的线性函数，同理同理 0 0也具有线性特性。也具有线性特性。2.2.无偏性无偏性OLSOLS估计没有系统偏差，是参数的无偏估计，估计没有系统偏差，是参数的无偏估计，即即 含义：平均地看，参数估计和参数真值相一含义：平均地看，参数估计和参数真值相一致。致。的证明过程的证明过程注：注：的证明过程（续）的证明过程（续）的证明过程的证明过程3.3.有效性有效性在所有在所有无偏无偏估计中，估计中，OLSOLS估计的估计的方差最小方差最小。含义含义：在所有无偏估计中，：在所有无偏估计中，OLSOLS估计最有效。估计最有效。虽然用别的方法也能得到线性无偏估计，虽然用别的方法也能得到线性无偏估计，但是用但是用OLSOLS能够更准确地估计参数。能够更准确地估计参数。有效性的证明过程首先计算两个参数的方差：首先计算两个参数的方差：有效性的证明过程（续）其次，证明其他估计方法得到的关于参数其次，证明其他估计方法得到的关于参数的线性无偏估计量的方差都比用的线性无偏估计量的方差都比用OLS得到得到的参数的方差大，即，的参数的方差大，即，OLS得到的参数的得到的参数的方差比其他任何方法得到的参数的方差都方差比其他任何方法得到的参数的方差都小。小。证明过程参见张晓峒主编的计量经济学证明过程参见张晓峒主编的计量经济学基础第基础第23页，南开大学出版社。页，南开大学出版社。4.一致性一致性在基本假设下，可以证明基本假设下，可以证明因此，最小二乘估计是一致估计。因此，最小二乘估计是一致估计。含义：样本越大，估计得越准确。这是个大含义：样本越大，估计得越准确。这是个大样本性质，在小样本下意义不大。样本性质，在小样本下意义不大。全部估计全部估计线性估计线性估计线性无线性无偏偏OLSOLS估计估计四、随机误差项四、随机误差项 的方差的估计的方差的估计随机干扰项的方差随机干扰项的方差 是一个重要的量，在参数的区是一个重要的量，在参数的区间估计、假设检验和预测中都有着重要的作用。间估计、假设检验和预测中都有着重要的作用。由于随机项由于随机项 i不可观测，只能从不可观测，只能从 i的估计的估计残差残差ei出出发，对总体方差进行估计。发，对总体方差进行估计。可以证明，可以证明，的无偏估计为的无偏估计为 分母（分母（n-k-1）是残差平方和的自由度。）是残差平方和的自由度。p经常不断地学习,你就什么都知道。你知道得越多,你就越有力量pStudyConstantly,AndYouWillKnowEverything.TheMoreYouKnow,TheMorePowerfulYouWillBe写在最后Thank You在别人的演说中思考，在自己的故事里成长Thinking In Other PeopleS Speeches，Growing Up In Your Own Story讲师：XXXXXX XX年XX月XX日
展开阅读全文