计量经济学ppt课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,2.2 一元线性回归模型的参数估计,一、一元线性回归模型的基本假设,二、参数的普通最小二乘估计（OLS）,三、参数估计的最大或然法(ML),四、最小二乘估计量的性质,五、参数估计量的概率分布及随机干,扰项方差的估计,1,2.2 一元线性回归模型的参数估计 一、一元线性回归模型,单方程计量经济学模型分为两大类：,线性模型,和,非线性模型,线性模型中，变量之间的关系呈线性关系,非线性模型中，变量之间的关系呈非线性关系,一元线性回归模型,：,只有一个解释变量,i,=1,2,n,Y,为被解释变量，,X,为解释变量，,0,与,1,为,待估参数,，,为,随机干扰项,2,单方程计量经济学模型分为两大类：线性模型中，变量之间的关系呈,回归分析的主要目的,是要通过样本回归函数(模型),SRF,尽可能准确地估计总体回归函数(模型),PRF,。,估计方法,有多种，其种最广泛使用的是,普通最小二乘法,（,ordinary least squares,OLS,）。,为保证参数估计量具有良好的性质，通常对模型提出若干基本假设。,注：,实际这些假设与所采用的估计方法紧密相关。,3,回归分析的主要目的是要通过样本回归函数(模型)SR,仍以家庭收入,X,与消费支出,Y,之间的关系为例,每个家庭的消费支出,Y,主要取决于该家庭的收入,X,，,但是也受其他因素的影响。,高收入的家庭，消费支出的离散性比较大(方差较大),低收入的家庭，消费支出的离散性比较小(方差较小),通常，消费支出,Y,的分布函数是多种多样的，,不一定是正态分布，也不一定是相同的分布。,分布函数的方差、均值都不相同，分布函数的形式也,不同。如图,一元线性回归模型：,一、一元线性回归模型的基本假设,4,仍以家庭收入X与消费支出Y之间的关系为例,家庭消费支出,Y,是家庭收入,X,的条件概率函数,P,(,Y,|,X,i,)。,这个概率函数有三个明显特征：,对于不同的,X,，条件概率,P,(,Y,|,X,i,)的分布函数形式不同,对于不同的,X,，条件概率,P,(,Y,|,X,i,)的方差不同,对于不同的,X,，条件概率,P,(,Y,|,X,i,)的均值E(,Y,)一般不在同一条直线上,P(Y|X),o,Y,X,X,1,X,2,X,3,X,4,5,家庭消费支出Y是家庭收入X的条件概率函数P(Y|Xi)。P,对于这样的概率函数进行数学分析是非常困难的，目前还没有较好的解决办法。为了简化数学分析，通常对实际情况进行抽象，做一些假设：,假设概率函数,P,(,Y,|,X,)的分布函数形式相同。,例如服从正态分布；,假设概率函数,P,(,Y,|,X,)的分布函数的方差相同，均为常数,2,，即Var(,Y,i,)=Var(,u,i,)=,2,，,i,=1,2,n,对于不同的,X,，,Y,的均值E(,Y,)在同一条直线上。即,E,(,Y,|,X,i,)=,0,+,1,X,i,，,i,=1,2,n,这个假设是满足一元线性回归要求的。,满足这些假设条件的,Y,的概率分布函数如图所示,6,对于这样的概率函数进行数学分析是非常困难的，目前还,o,Y,X,X,1,X,2,X,3,X,4,7,oYXX1X2X3X47,对随机扰动项 （或分布 ）的假定,假设1,、解释变量X是确定性变量，不是随机变量；,假设2,、随机误差项,具有零均值、同方差和不序列相关性：,(,i,j,i,，,j,=1,2,n,),假设3,、扰动项,与解释变量X之间不相关；,假设,4,、,服从零均值、同方差、零协方差的正态分布,8,对随机扰动项 （或分布,1、,如果假设1、2满足，则假设3也满足;,2、,如果假设4满足，则假设2也满足。,注意：,以上假设也称为线性回归模型的,经典假设,或,高斯（,Gauss,）假设,，满足该假设的线性回归模型，也称为,经典线性回归模型,（,Classical Linear Regression Model,CLRM,）。,9,1、如果假设1、2满足，则假设3也满足;注意：,另外,，在进行模型回归时，还有两个暗含的假设：,假设5,：随着样本容量的无限增加，解释变量X的样本方差趋于一有限正常数。即,假设,6,：回归模型是正确设定的,假设,5,旨在排除时间序列数据出现持续上升或下降的变量作为解释变量，因为这类数据不仅使大样本统计推断变得无效，而且往往产生所谓的,伪回归问题,（,spurious regression problem,）。,同时，假设,5,也排除了全部,X,值都相等的可能性。,假设,6,也被称为模型没有,设定偏误,（,specification error,）,10,另外，在进行模型回归时，还有两个暗含的假设：,最小二乘法的数学原理：,将观察值,在直角坐标系中描出,二、参数的普通最小二乘估计（OLS）,最小二乘准则,Y,11,最小二乘法的数学原理：将观察值在直角坐标系中描出二、参数的普,最小二乘法的基本思想（,原则）,：,寻找,实际值与拟合值的,残,差平方和,为,最小,的回归直线,。,根据微积分中求极值的原理,设样本回归方程为:,实际值与拟合值的残差为：,残差平方和为：,正规方程组,（,normal equations,）,12,最小二乘法的基本思想（原则）：根据微积分中求极值的原理 设样,解方程组,得,截距项 ：当解释变量为零时，被解释变量的取值；,斜率项 ：当解释变量每变动一个单位时，被解释变量,平均变动 个单位。,注：令,或,OLS估计量的,离差形式,（,deviation form,）,13,解方程组得截距项 ：当解释变量为零时，被解释变量的取值,样本回归函数可以记作：,记,右式,称为,样本回归函数,的,离差形式,。,可得,因此,14,样本回归函数可以记作：记右式称为样本回归函数的离差形式。可得,三、参数估计的最大或然法(ML),最大或然法,(,Maximum Likelihood,简称,ML),，也称,最大似然法,，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。,基本原理,：,对于,最大或然法,，当从模型总体随机抽取,n,组样本观测值后，最合理的参数估计量应该使得从模型中抽取该,n,组样本观测值的概率最大。,15,三、参数估计的最大或然法(ML)最大或然法(,在满足基本假设条件下，对一元线性回归模型：,随机抽取,n,组样本观测值（X,i,Y,i,）（,i,=1,2,n,）。,那么Y,i,服从如下的正态分布：,于是，Y的概率函数为,（,i,=1,2,n,）,假如模型的参数估计量已经求得，为,16,在满足基本假设条件下，对一元线性回归模型：随机抽取n组样,因为,Y,i,是相互独立的，所以所有的样本观测值的联合概率，也即,或然函数(likelihood function),为：,将该或然函数极大化，即可求得到模型参数的极大或然估计量。,17,因为Yi是相互独立的，所以所有的样本观测值的联合概率，也即或,由于或然函数的极大化与或然函数的对数的极大化是等价的，所以，取对数或然函数如下：,对,L,*,求极大值，等价于对 求极小值：,18,由于或然函数的极大化与或然函数的对数的极大化是等,解得模型的参数估计量为：,可见，在满足一系列基本假设的情况下，模型结构参数的,最大或然估计量,与,普通最小二乘估计量,是相同的。,19,解得模型的参数估计量为：可见，在满足一系列基本,例,2.2.1,：,在上述家庭,可支配收入-消费支出,例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表,2.2.1,进行。,20,例2.2.1：在上述家庭可支配收入-消费支出例中，对于,因此，由该样本估计的回归方程为：,21,因此，由该样本估计的回归方程为：21,四、最小二乘估计量的性质,当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。,一个用于考察总体的估计量，可从如下几个方面考察其优劣性：,（,1,）线性性,，即它是否是另一随机变量的线性函数；,（,2,）无偏性,，即它的均值或期望值是否等于总体的真实值；,（,3,）有效性,，即它是否在所有线性无偏估计量中具有最小方差。,22,四、最小二乘估计量的性质 当模型参数估计出后，需考,这三个准则也称作估计量的,小样本性质。,拥有这类性质的估计量称为,最佳线性无偏估计量,（,best liner unbiased estimator,BLUE,）。,高斯马尔可夫定理,(Gauss-Markov theorem),在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量。,23,这三个准则也称作估计量的小样本性质。高斯马尔可夫定理,（4）渐近无偏性,，即样本容量趋于无穷大时，是否它的均值序列趋于总体真值；,（5）一致性,，即样本容量趋于无穷大时，它是否依概率收敛于总体的真值；,（6）渐近有效性,，即样本容量趋于无穷大时，是否它在所有的一致估计量中具有最小的渐近方差。,当不满足小样本性质时，需进一步考察估计量的,大样本,或,渐近性质,：,24,（4）渐近无偏性，即样本容量趋于无穷大时，是否它的均值序列趋,线性特性是指参数估计量,分别为观测值,Y,i,或扰动项,i,的线性组合,。,1.线性特性,25,线性特性是指参数估计量分别为观测值Yi或扰动项i的线性组合,26,26,2.,无偏性,证：,证：,27,2.无偏性证：证：27,3.有效性（最小方差性）,先求 和 的方差,证明：,28,3.有效性（最小方差性）先求 和 的方差,证明,29,证明29,*再证明最小方差性,假设,是总体参数 的线性无偏估计量，有,(,c,i,为非随机变量),目标：,30,*再证明最小方差性假设 是总体参数 的线性,由,是 的线性无偏估计，所以,比较等式两边，有,31,由 是 的线性无偏估计，所以 比较等式两边,其中,32,其中32,可见当,c,i,=,k,i,时，,同理可证 也有最小方差。,为最小值,，且,由此证明了最小二乘估计值 的方差在,1,的各种线性,无偏估计值中最小。,最小二乘法也称最优线性无偏估计,(BLUE:best linear unbiased estimators),这种特性称为高斯马尔可夫(GaussMarkov)定理。,33,可见当 ci=ki 时，同理可证 也有最小方差。为,由于最小二乘估计量拥有一个“好”的估计量所应具备的小样本特性，它自然也拥有大样本特性,。,如考察 的一致性,34,由于最小二乘估计量拥有一个“好”的估计量所应具备的小,五、参数估计量的概率分布及随机干扰项方差的估计,由于最小二乘估计 均为,Y,i,的线性组合,而,Y,i,服从正态分布，因此作为,Y,i,的线性组合的,也服从正态分布。,35,五、参数估计量的概率分布及随机干扰项方差的估计,的,标准差,36,的标准差36,2、随机误差项,的方差,2,的估计,由于随机项,i,不可观测，只能从,i,的估计残差,e,i,出发，对总体方差进行估计。,2,又称为,总体方差,。,可以证明,，,2,的,最小二乘估计量,为,它是关于,2,的无偏估计量。即,的方差,的方差中含有误差项,和,由于,2,0,1,i,s,b,b,算,差项，所以无法通过计,是总体回归模型中的误,i,进行估计。,，,只能对,得到,2,2,s,s,37,2、随机误差项的方差2的估计 由于随机项 i不可,在,最大或然估计法,中，,因此，,2,的最大或然估计量不具无偏性，但却具有一致性,。,38,在最大或然估计法中，因此，2的最大或然估计量不,39,39,所以,根据,40,所以根据40,?,其中,41,?其中41,42,42,