22 一元线性回归模型参数估计

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,上次课程回顾,一、变量间的关系及回归分析的基本概念,二、总体回归函数,三、随机扰动项,四、样本回归函数（,SRF,）,一、变量间的关系及回归分析的基本概念,1,、变量间的关系,2,、回归分析的基本概念,回归分析,(regression analysis),是研究一个变量关于另一个（些）变量的具体依赖关系的计算方法和理论,。,二、总体回归函数（,PRF),在给定解释变量,X,i,条件下被解释变量,Y,i,的期望轨迹称为,总体回归线,（,population regression line,），或更一般地称为,总体回归曲线,（,population regression curve,）。,总体回归函数,总体回归模型,三、随机扰动项,随机误差项包括的因素,产生并设计随机误差项的原因,习题,例,1,、令,kids,表示一名妇女生育孩子的数目，,educ,表示该妇女接受过教育的年数。生育率对教育年数的简单回归模型为,kids=,0,+,1,educ+,随机扰动项,包含什么样的因素？它们可能与教育水平相关吗？,收入、年龄、家庭状况、政府的相关政策等也是影响生育率的重要的因素，在上述简单回归模型中，它们被包含在了随机扰动项之中。有些因素可能与,教育,水平相关，如收入水平与教育水平往往呈正相关、年龄大小与教育水平呈负相关等。,2.2,一元线性回归模型的参数估计,一、一元线性回归模型的基本假设,二、参数的普通最小二乘估计（,OLS,）,三、最小二乘估计量的性质,四、参数估计量的概率分布及随机干,扰项方差的估计,单方程计量经济学模型分为两大类：,线性模型,和,非线性模型,对变量为线性,我们所研究的是指对参数为线性的模型,对参数为线性,一元线性回归模型,：只有一个解释变量,i=1,2,n,Y,为被解释变量，,X,为解释变量，,0,与,1,为,待估参数,，,为,随机干扰项,回归分析的主要目的,是要通过样本回归函数（模型）,SRF,尽可能准确地估计总体回归函数（模型）,PRF,。,估计方法,有多种，其种最广泛使用的是,普通最小二乘法,（,ordinary least squares,OLS,）。,为保证参数估计量具有良好的性质，通常对模型提出若干基本假设。,注：,实际这些假设与所采用的估计方法紧密相关。,一、线性回归模型的基本假设,1.,对模型设定的假设,2.,对解释变量的假设,3.,对随机干扰项的假设,1.,对模型设定的假设,假设,1,：回归模型的设定是正确的,被称为模型没有,设定偏误,（,specification error,）,假设,2,：回归模型的是线性的,被解释变量关于参数是线性的。,2.,对解释变量的假设,假设,3,：解释变量,X,是确定性变量，不是随机变量，在重复抽样中取固定值。,假设,4,：随机误差项,与解释变量,X,之间不相关：,Cov(X,i,i,)=0 i=1,2,n,E(X,i,i,)=0,假设,5,：解释变量在所抽取的样本中具有变异性。,假设,6,：随着样本容量的无限增加，解释变量的方差趋于一个非零常数。,3.,对随机干扰项的假设,假设,7.,随机误差项,具有零均值、同方差和不序列相关性：,E(,i,)=0 i=1,2,n,Var(,i,)=,2,i=1,2,n,Cov(,i,j,)=0 i,j i,j=,1,2,n,假设,8.,服从零均值、同方差、零协方差的正态分布,i,N(0,2,)i=1,2,n,仅仅用,OLS,做参数估计并不需要这一条假设，但做统计推断时需要。,以上假设也称为线性回归模型的,经典假设,或,高斯（,Gauss,）假设,，满足该假设的线性回归模型，也称为,经典线性回归模型,（,Classical Linear Regression Model,CLRM,）。,还满足第,8,条正态性假设的就叫,经典正态线性回归模型,二、参数的普通最小二乘估计（,OLS,）,给定一组样本观测值（,X,i,Y,i,）（,i=1,2,n,）要求样本回归函数尽可能好地拟合这组值,.,普通最小二乘法,（,Ordinary least squares,OLS,）给出的判断标准是：二者之差的平方和,最小。,方程组（,*,）称为,正规方程组,（,normal equations,）,。,记,上述参数估计量可以写成：,称为,OLS,估计量的,离差形式,（,deviation form,）。,由于参数的估计结果是通过最小二乘法得到的，故称为,普通,最小二乘估计量,（,ordinary least squares estimators,）,。,顺便指出,，记,则有,可得,（*）式也称为,样本回归函数,的,离差形式,。,（*）,注意：,在计量经济学中，往往以小写字母表示对均值的离差。,例,2.2.1,：,在上述家庭,可支配收入,-,消费支出,例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表,2.2.1,进行。,因此，由该样本估计的回归方程为：,三、最小二乘估计量的性质,当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。,一个用于考察总体的估计量，可从如下几个方面考察其优劣性：,（,1,）线性性,，即它是否是另一随机变量的线性函数；,（,2,）无偏性,，即它的均值或期望值是否等于总体的真实值；,（,3,）有效性,，即它是否在所有线性无偏估计量中具有最小方差。,（,4,）渐近无偏性,，即样本容量趋于无穷大时，是否它的均值序列趋于总体真值；,（,5,）一致性,，即样本容量趋于无穷大时，它是否依概率收敛于总体的真值；,（,6,）渐近有效性,，即样本容量趋于无穷大时，是否它在所有的一致估计量中具有最小的渐近方差。,这三个准则也称作估计量的,小样本性质。,拥有这类性质的估计量称为,最佳线性无偏估计量,（,best liner unbiased estimator,BLUE,）。,当不满足小样本性质时，需进一步考察估计量的,大样本,或,渐近性质,：,高斯,马尔可夫定理,(Gauss-Markov theorem),在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。,证：,易知,故,同样地，容易得出,（,2,）证明最小方差性,其中，,c,i,=,k,i,+,d,i,，,d,i,为不全为零的常数,则容易证明,普通最小二乘估计量,（,ordinary least Squares Estimators,）称为,最佳线性无偏估计量,（,best linear unbiased estimator,BLUE,）,由于最小二乘估计量拥有一个,“,好,”,的估计量所应具备的小样本特性，它自然也拥有大样本特性,。,四、参数估计量的概率分布及随机干扰项方差的估计,2,、随机误差项,的方差,2,的估计,由于随机项,i,不可观测，只能从,i,的估计,残差,e,i,出发，对总体方差进行估计。,2,又称为,总体方差,。,可以证明,，,2,的,最小二乘估计量,为,它是关于,2,的无偏估计量。,