《普通最小二乘法》PPT课件.ppt

普通最小二乘法（OLS） （rdinary Least Squares),C.F.Gauss 17771855,高斯被认为是历史上最重要的数学家之一，并享有“数学王子”之称。高斯和阿基米德、牛顿并列为世界三大数学家。一生成就极为丰硕，以他名字“高斯”命名的成果达110个，属数学家中之最。,1. OLS的基本思想,普通最小二乘法（OLS） （rdinary Least Squares),对于 ，不同的估计方法可以得到不同的样本回归参数 和 ，所估计的 也就不同。 理想的估计结果应使估计的 与真实的 的差(即剩余 )总的来说越小越好 因 可正可负，总有 ，所以可以取 最小，即 在观测值Y和X确定时， 的大小决定于 和 。 要解决的问题:： 如何寻求能使 最小的 和 。,3,普通最小二乘法（OLS） （rdinary Least Squares),使因变量的观察值与估计值之间的离差平方和达到最小来求得 和 的方法。即,用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小,1. OLS的基本思想,普通最小二乘法（OLS） （rdinary Least Squares),用克莱姆法则求解得以观测值表现的OLS估计量：,5,取偏导数并令其为0，可得正规方程,或整理得,即,2. 正规方程和估计量,6,为表达得更简洁，或者用离差形式的OLS估计量： 容易证明 由正规方程： 注意：其中： 本课程中:大写的 和 均表示观测值； 小写的 和 均表示观测值的离差 而且由 样本回归函数可用离差形式写为,用离差表现的OLS估计量,在家庭可支配收入-消费支出例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表进行。,因此，由该样本估计的回归方程为：,参数估计的最大或然法(ML),最大或然法(Maximum Likelihood,简称ML)，也称最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其他估计方法的基础。 基本原理： 对于最大或然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。,在满足基本假设条件下，对一元线性回归模型：,随机抽取n组样本观测值（Xi, Yi）（i=1,2,n）。,那么Yi服从如下的正态分布：,于是，Y的概率函数为,（i=1,2,n）,假如模型的参数估计量已经求得，为,因为Yi是相互独立的，所以的所有样本观测值的联合概率，也即或然函数(likelihood function)为：,将该或然函数极大化，即可求得到模型参数的极大或然估计量。,由于或然函数的极大化与或然函数的对数的极大化是等价的，所以，取对数或然函数如下：,解得模型的参数估计量为：,可见，在满足一系列基本假设的情况下，模型结构参数的最大或然估计量与普通最小二乘估计量是相同的。,用样本去估计总体回归函数，总要使用特定的方法，而任何估 计参数的方法都需要有一定的前提条件假定条件 简单线性回归的基本假定 为什么要作基本假定？ 只有具备一定的假定条件，所作出的估计才具有良好的统计性质。 模型中有随机扰动项，估计的参数是随机变量，显然参数估计值的分布与扰动项的分布有关，只有对随机扰动的分布作出假定，才能比较方便地确定所估计参数的分布性质，也才可能进行假设检验和区间估计等统计推断。 假定分为：对模型和变量的假定对随机扰动项的假定,14,简单线性回归模型的最小二乘估计,例如对于 假定模型设定是正确的（变量和模型无设定误差） 假定解释变量X在重复抽样中取固定值。 假定解释变量X是非随机的，或者虽然X是随机的， 但与扰动项u是不相关的。(从变量X角度看是外生的) 注意: 解释变量非随机在自然科学的实验研究中相对 容易满足，经济领域中变量的观测是被动不可控的， X非随机的假定并不一定都满足。,15,对模型和变量的假定,假定1：零均值假定: 在给定X的条件下， 的条件期望为零 假定2：同方差假定: 在给定X的条件下，的条件 方差为某个常数,16,X,Y,对随机扰动项u的假定,17,假定3：无自相关假定: 随机扰动项 的逐次值互不相关 假定4：解释变量 是非随机的，或者虽然 是随 机的但与扰动项 不相关 (从随机扰动 角度看),18,假定5：对随机扰动项分布的正态性假定， 即假定 服从均值为零、方差为 的正态分布 （说明：正态性假定并不影响对参数的点估计，所以有时不列入基本假定，但这对确定所估计参数的分布性质是需要的。且根据中心极限定理，当样本容量趋于无穷大时， 的分布会趋近于正态分布。所以正态性假定有合理性）,由于 其中的 和 是非随机的， 是随机变量，因此 Y是随机变量， 的分布性质决定了 的分布性质。 对 的一些假定可以等价地表示为对 的假定： 假定1：零均值假定 假定2：同方差假定 假定3：无自相关假定 假定5：正态性假定,19,在对 的基本假定下 Y 的分布性质,剩余项 的均值为零 OLS回归线通过样本均值 估计值 的均值等于实际观测 值 的均值,20,(由OLS第一个正规方程直接得到),(由OLS正规方程 两边同除n得到),OLS回归线的数学性质,解释变量 与剩余项 不相关,由OLS正规方程有:,被解释变量估计值 与剩余项 不相关,22,面临的问题: 参数估计值 参数真实值 对参数估计式的优劣需要有评价的标准 为什么呢? 参数无法直接观测，只能通过样本去估计。样本的获得存 在抽样波动，不同样本的估计结果不一致。 估计参数的方法有多种，不同方法的估计结果可能不相同， 通过样本估计参数时，估计方法及所确定的估计量不一定 完备，不一定能得到理想的总体参数估计值。 对各种估计方法优劣的比较与选择需要有评价标准。 估计准则的基本要求： 参数估计值应尽可能地接近总体参数真实值”。 什么是“尽可能地接近” 原则呢？ 用统计语言表述就是: 无偏性、有效性、一致性等,OLS估计量的统计性质,23,(1) 无偏性,前提：重复抽样中估计方法固定、样本数不变、 由重复抽样得到的观测值,可得一系列参数估计 值 , 的分布称为 的抽样分布，其密度 函数记为 概念: 如果 ，则称 是参数 的无偏估计量， 如果 ，则称 是有偏的估计，其偏倚为 （见下页图）,24,概 率 密 度 估计值 偏倚,25,(2)有效性,前提：样本相同、用不同的方法估计参数，可以找到若 干个不同的无偏估计式 目标: 努力寻求其抽样分布具有最小方差的估计量 （见下页图） 既是无偏的同时又具有最小方差特性的估计量，称为最佳（有效）估计量。,26,概 率 密 度,估计值,思想:当样本容量较小时，有时很难找到方差最小的无偏估计， 需要考虑样本扩大后的性质（估计方法不变，样本数逐步增大） 一致性： 当样本容量 n 趋于无穷大时，如果估计式 依概率收敛于总体参数的真实值，就称这个估计式 是 的一致估计式。即 或 （渐近无偏估计式是当样本容量变得足够大时其偏倚趋于零的 估计式） (见下页图) 渐近有效性：当样本容量 n 趋于无穷大时，在所有的一致估计 式中，具有最小的渐近方差。,27,3、渐近性质（大样本性质）,28,概 率 密 度 估计值,图 4,先明确几点: 由OLS估计式可以看出 都由可观测的样本值 和 唯一表示。 因存在抽样波动，OLS估计 是随机变量 OLS估计式是点估计量,29,OLS估计是否符合“尽可能地接近总体参数真实值”的要求呢?,分析OLS估计量的统计性质,2、 无偏特性 可以证明,30,OLS估计式的统计性质高斯定理,（注意: 无偏性的证明中用到了基本假定中 零均值等假定）,1、 线性特征 是Y的线性函数,证：,易知,故,同样地，容易得出,（2）证明最小方差性,其中，ci=ki+di，di为不全为零的常数 则容易证明,普通最小二乘估计量（ordinary least Squares Estimators）称为最佳线性无偏估计量（best linear unbiased estimator, BLUE）,由于最小二乘估计量拥有一个“好”的估计量所应具备的小样本特性，它自然也拥有大样本特性。,