资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第三章 回归模型的估计:概论,Regression Model Estimation:General Approaches,第二章指出，当联合概率分布,p(X,Y),已知时，在,MSE,最小化准则下，,E(Y|X),是,Y,的最佳代表，被称为是,Y,关于,X,的,回归函数,(,regression function,),，也可称为,总体回归函数,(,population regression function,),。,而当上述总体回归函数呈现线性形式,E(Y|X)=X,0,时，则称回归模型,Y=X,+u,关于,E(Y|X),正确设定,，这时“真实”参数,0,等于,最佳线性最小二乘解,*,：,0,=,*,=E(XX),-1,E(XY),且,E(u|X)=0 E(Xu)=0,问题是：,我们往往不知道总体的,p(X,Y),。因此，只能通过样本来估计总体的相关信息。,根据样本估计总体构成了回归分析的主体内容。,3.1 参数估计：概论,Parameter Estimation:General Approaches,设,(Y,1,Y,2,Y,n,),是从未知总体,Yf(Y),中随机抽取的一个样本，并由此估计总体的特征，如参数,。,我们可以寻找一个关于,的,估计量,(,estimator,),T,，,它是关于所抽样本,Y,的函数：,T=h(,Y,),对于某一样本,(Y,1,Y,2,Y,n,)，,则有一个,估计值,(,estimate,):,t=h(,Y,1,Y,2,Y,n,),一、衡量参数估计量优劣的准则,Criteria for an Estimator,1、有限样本准则,记,T,为所选取的统计量，则,T,与参数,的差异可用,均方误,（,mean square error,MSE,）刻画：,E(T-),2,由于,T,关于,的均方误有如下分解式,E(T-),2,=Var(T)+E(T)-,2,记,E(T)-=E(T)-,为,T,关于,的,偏差,(,bias,)。,Var(T),刻画了统计量,的真正的离散程度，如果它较小，表明,不太受数据随机波动的影响；,如果,(T)-,较小，表明,的分布密切围拢着,。,对无偏估计量，,MSE=Variance,，因此，在实践中还希望从无偏估计量中选择方差最小的。于是，有如下,最小方差无偏准则,（minimum variance unbiasedness criterion）,定义:,T,is a,minimum variance unbiased estimator,or,MVUE,of,iff,(a),E(T-,)=0,for all,and,(b),V(T),V(T*),for all,T*,such that,E(T*-,)=0,定义:,T,is an,unbiased estimator,of,iff,E(T-)=0,for all,.,最小方差无偏估计量也称为,无偏有效估计量,(,Unbiased and efficient estimator,),2、无限样本准则,（Asymptotic Criteria）,有限样本往往需要知道估计量的精确分布，而这是建立在对总体分布已知的情况下的。,如果总体分布未知，则需要依赖无限样本准则：,注意：,(1)一致性的充分条件是：,lim E(T,n,)=,且,lim Var(T,n,)=0,(2)同一参数可能会有多个一致估计量。如从对称分布的总体中抽样，则,样本均值,与,样本中位数,都是,总体期望,=E(Y),的一致估计量。,在实践中，为了区分同一参数不同的一致估计量，需要从,退化极限分布,(,degenerate limiting distribution,)转向,渐近分布,(,asymtotic distribution,),尤其是，一致估计量具有以参数真实值为中心的,渐近正态分布,(,asymptotic normal distribution,),。,因此，有如下,最佳渐近正态估计量,准则：,注意：,(1)大样本,BAN,准则是小样本,MVUE,准则的渐近版本(version)；,(2)在计量经济学中，除了精确分布已知的情况，,最佳渐近正态性,，或称为,渐近有效性,(,asymptotic efficiency,)，是最常选择的准则。,(3)渐近有效估计量的直观表述为,二、类比估计法,(The Analogy Principle),总体参数是关于总体某特征的描述，估计该参数，可使用相对应的描述样本特征的统计量,。,(,1),估计总体矩，使用相应的样本矩,(2),估计总体矩的函数，使用相应的样本矩的函数,对线性回归模型：,Y=,0,+,1,X+u,1、基本原理,上述方法都是通过样本矩估计总体矩，因此，也称为,矩估计法,(,moment methods,MM)。,(3)类比法还有：,用样本中位数估计总体中位数；,用样本最大值估计总体最大值；,用样本均值函数,m,Y|X,估计总体期望函数,Y|X,，等,Questions:,Are analog estimator sensible from a statistical point of view?,How reliable are they?,What shall we do when an analog estimator is unreliable?,2、总体均值的估计,对,E(Y)=,，,Var(Y)=,2,的某总体随机抽样，由,类比法,(,矩法,)知：,记,T=,i,c,i,Y,i,，,c,i,为不全为,0,的常数。,E(T)=,E(,c,i,Y,i,)=c,i,E(Y,i,)=,c,i,Var(T)=,c,i,2,Var(Y,i,)=,2,c,i,2,于是，任何无截距项，系数和为,1,的,Y,i,的线性组合都是,的无偏估计量。,要寻找最佳估计量，则需在约束,c,i,=1,下求解,min c,i,2,记,Q=,c,i,2,-,(,c,i,-1),则,Q/c,i,=2c,i,-(,i,=1,2,n),Q/=-,(,c,i,-1),由极值求解条件得：,c,i,=,/2,c,i,=1,于是,c,i,=n,/2,=2/n,c,i,=1/n,Theorem.,从任何总体中进行简单随机抽样，样本均值是总体期望的,最小方差线性无偏估计量,(,minimum variance linear unbiased estimator,，MVLUE,)。,样本均值是样本的,1,阶原点矩，它是总体期望，即总体,1,阶原点矩的无偏估计量。,事实上，对总体的任何阶,原点矩,(,raw moment,),=,s,=E(Y,s,),简单随机抽样中，对应的,样本原点矩,M,s,=(1/n),i,Y,i,s,是总体原点矩的,无偏估计量,。,3、总体方差的估计,对,=,2,=E(Y-,Y,),2,=,2,(,Y,未知)，类比法得,则,E(S*,2,)=,2,，,S*,2,为总体方差,2,的无偏估计。,尽管,S,2,是,2,的有偏估计，但却是,2,的,一致估计量,。,4、总体协方差的估计,对,=,XY,=Cov(X,Y)=E(X-,X,)(Y-,Y,),，类比法得,为了讨论该统计量的性质，需考察,二元联合分布,：,记(,X,Y,)的联合pdf为,f(x,y),则有如下1阶、2阶矩,E(X)=,X,E(Y)=,Y,Var(X)=,X,2,Var(Y)=,Y,2,Cov(X,Y)=,XY,且可记出如下,原点矩,与,中心矩,：,E(X,r,Y,s,)=,rs,，,E(X,*r,Y,*s,)=,rs,其中，,X,*,=X-,X，,Y,*,=Y-,Y,V,的总体期望与方差如下：,E(V)=E(X,*,Y,*,)=Cov(X,Y)=,XY,=,11,Var(V)=E(V,2,)-E,2,(V)=E(X,*2,Y,*2,)-E,2,(X,*,Y,*,)=,22,-,11,2,同时有如下结论：,下面考察,S,XY,的统计性质：,容易证明：,无限样本下，样本协方差,S,XY,是总体协方差,XY,的,一致估计量,。,5、一元线性回归方程参数的估计,对,一元线性回归模型,Y=,0,+,1,X+u,，在假设,E(u|X)=0,的条件下，,E(Y|X)=,0,+,1,X,，从而,1,=,XY,/,X,2,0,=,Y,-,1,X,可以证明：,b,1,b,0,分别,是,1,0,的无偏估计量。,Proof:,求,b,1,的条件期望(给定,X=(X,1,X,2,X,n,),),：,E(b,1,|X)=EW,i,Y,i,|X=E(W,i,Y,i,|X)=W,i,E(Y,i,|X),=W,i,(,0,+,1,X,i,)=,0,W,i,+,1,W,i,X,i,=,1,E(b,1,)=E(E(b,1,|X)=E(,1,)=,1,同理：,E(b,0,|X)=E(Y|X)-E(b,1,|X)X=(,0,+,1,X)-,1,X=,0,E(b,0,)=E(E(b,0,|X)=E(,0,)=,0,注意：,(a)通常情况，如果,T,1,、,T,2,分别是,1,、,2,的无偏估计量，,=,1,/,2,，则,T=T,1,/T,2,并不是,的无偏估计量，因为,E(T)=E(T,1,/T,2,)E(T,1,)/E(T,2,)=,1,/,2,=,(b)由于大样本下，样本矩是总体矩的一致估计量，而任何样本矩的连续函数是对应总体矩函数的一致估计，即有,因此，,三、极大似然估计,Maximum likelihood Estimation,极大似然估计,是在假设随机变量,Y,的分布形态已知，而分布的若干参数未知的情形下，根据样本信息估计这些未知参数的一种估计方法。,基本思想：,在总体分布形态已知的情况下，随机抽取的样本可能来自不同参数决定的不同的总体，而最可能来自哪个总体呢？它们所来自的总体应使其分布尽可能地拟合样本数据。,1、基本原理,对,离散分布,，分布特征由,pmf,(,probability mass function,),f(Y;,)=P(Y),刻画，因此，极大似然估计，就是在所抽样本,Y=(Y,1,Y,2,Y,n,),下，寻找适当的,，以使,P(Y)=f(Y;),最大。,对,连续分布,，,分布特征由,pdf,(,probability density function,),f(Y;,),刻画。依照,pmf,的特征，极大似然估计，就是在所抽样本,Y=(Y,1,Y,2,Y,n,),下，寻找适当的,，以使,f(Y;),最大。,2、极大似然估计,对具有,pdf,或,pmf,为,f(Y;,),的随机变量,Y,（其参数,未知），随机抽取一容量为,n,的样本,Y=(,Y,1,Y,2,Y,n,),其联合分布为：,g,n,(,Y,1,Y,2,Y,n,;)=,i,f(Y,i,;),可将其视为给定,Y=(,Y,1,Y,2,Y,n,),时关于,的函数，称其为关于,的,似然函数,(,likelihood function,)，简记为,(),:,L()=,g,n,(,Y,1,Y,2,Y,n,;)=,i,f(Y,i,;),对离散型分布，似然函数,L(,),就是实际观测结果的概率。极大似然估计就是估计参数,，以使这一概率最大；,对连续型分布，同样也是通过求解,L(),的最大化问题，来寻找,的极大似然估计值的。,例:,假设有一正态随机样本,Y,i,N(,2,),i=1,2,n，,其中未知参数,=(,2,),。,该似然函数与其对数函数在相同的,=(,2,),处达到最大。因此可求对数函数的极大值：,ln,L(,2,)=-(n/2),ln,(2,)-(n/2),ln,(,2,)-(1/2,2,)(Y,i,-,),2,极值的一阶偏导条件：,ln,(L)/=(1/,2,)(Y,i,-)=0,ln,(L)/,2,=-(n/2,2,)+(1/2,4,)(Y,i,-),2,=0,可见，总体均值的极大似然估计就是样本均值，总体方差的极大似然估计就是
展开阅读全文