第八章 回归分析

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,第八章,回归分析,主页,退出,1, 8.1,回归分析,一、,回归分析：如果变量,Y,和,X,之间有一定的联系，且在大量的试验中，,Y,和,X,之间的不确定关系能呈现出明显的规律性，研究,Y,和,X,之间的近似的函数关系的一种方法就是,回归分析,例如：,1,、某商品的需求量与价格,3,、人的体重与身高,4,、货币储蓄量与利率,2,、某商品的供给量与价格,8.1.1,回归分析的概念,2,二、,回归模型：,回归分析中，,变量,Y,和,X,之间的不确定关系不能用一个精确的函数关系表示出来，是因为有随机因素的影响，仿照函数中的称呼，把,X,对,Y,的影响用,f(X),表示，随机因素对,Y,的影响用记作,e,将,Y,的值分成两部分：,Y=,f(X)+e,(1),式,(1),称为,回归模型,1,、,e,为随机误差：一般要求其均值为,0,，即,E,e =,0,2,、,Y,为,因变量：因有随机误差的影响，所以总是随机的,3,、,X,为,自变量：,有时是随机的,，如从总体中随机抽取一个个体，测其,Y,和,X,值，这时所以,Y,和,X,都是随机变量；,有时是非随机的,，如货币储蓄量与利率，利率可人为给定。,本章中，如无特别声明，一律设,X,为非随机变量。,3,三、,回归方程：回归模型,Y=,f(X)+e,中，,当,X,为非随机变量时,，,f(X),也是非随机变量，而,E,e =,0,于是有,EY=,f(X),，,所以可以用,f(X),作为,Y,的近似。,当,X,为随机变量时,，,求,Y,对,X,的,条件期望，也有,E(Y|X)=,f(X),记,y=f(x),则,称,y=f(x),为,Y,对,X,的,回归方程,1,、,f(x),称为,回归函数,2,、随机误差,e,的方差,D,e,是回归模型的重要参数，,D,e,的大小反映了,f(X),对,Y,的近似程度,：,因为,EY,-,f(X),2,=,D,e =,2,所以,2,的,大小反映了,f(X),对,Y,的,近似程度,E,e =,0,，,并假定,D,e =,2,4,四、多元,回归模型：,1,、一元回归模型：回归模型,Y=,f(X)+e,中，只含一个自变量,X,，,称为,一元回归模型,2,、,多元,回归模型：,如果自变量有多个：,X,1,，,X,2,，,X,p,，,( p, 2 ),这时,Y=,f(,X,1,，,X,2,，,X,p,) + e,，,其中,E,e =,0,则,称为,多元,回归模型,注,：,线性回归模型,是在应用上最重要且在理论上发展最完善,的回归模型,5,注：,1,o,一元线性,回归分析的过程是指,依据对变量,X,与,Y,进行,n,次独立观察得到的样本（,X,1,Y,1,),(,X,2,Y,2,), (,X,p,Y,p,) ,推断出其,一元线性,回归模型,并对其回归模型进行检验的过程,2,o,在应用上,一元,线性回归模型是利用其数据形式,.,8.1.2,一元线性回归,1,、,理论模型：是指回归模型,Y=,f(X)+e,中的,f(,X,),为线性函数，即有,Y=,0,+,1,X+e,E,e =,0,，,0,D,e =,2,其中,0,，,1,为,未知参数,.,0,称为常数项；,1,称为回归系数，确切地说，是,Y,对,X,的,回归系数,一、一元,线性回归模型：,6,2,、,一元,线性回归模型的数据形式：,对变量,X,与,Y,进行,n,次独立观察得到的样本（,X,1,Y,1,),(,X,2,Y,2,), (,X,p,Y,p,) ,则,理论模型具体化为,Y,i,=,0,+,1,X,i,+e,i,i = 1,2,n,E,e,i,=,0,，,D,e,i,=,2,i = 1,2,n,其中,e,1,e,2, ,e,n,互相独立,注：,依据对变量,X,与,Y,进行,n,次独立观察得到的样本,（,X,1,Y,1,),(,X,2,Y,2,), (,X,p,Y,p,) ,推断出其,一,元线性,回归模型,实际上就是对,0,1,进行估计,7,注：,依据对变量,X,与,Y,进行,n,次独立观察得到的样本,（,X,1,Y,1,),(,X,2,Y,2,), (,X,n,Y,n,) ,对,0,1,进行估计时，,还须注意,X,与,Y,间,线性关系的强弱,(,a,) (,b,),中,X,与,Y,间,线性关系,强,(,c,) (,d,),中,X,与,Y,间,线性关系,弱,(,a,),(,b,),(,c,),(,d,),8,3,、,对,样本（,X,1,Y,1,),(,X,2,Y,2,), (,X,n,Y,n,),有,以下记号,9,二、,0,与,1,的点估计,最小二乘估计,1,、最小二乘估计原则,：对变量,X,与,Y,进行,n,次独立,观察得到的样本（,X,1,Y,1,),(,X,2,Y,2,), (,X,n,Y,n,) ,则,模型具体化为,Y,i,=,0,+,1,X,i,+e,i,i = 1,2,n,(1),设,0,与,1,的点估计分别为 ， ，则回归直线为,(2),在,x,=,X,i,处，,Y,的,预测值为,Y,的观察值为,Y,i,预测值与观察值的偏差为,希望预测值与观察值的偏差的绝对值越小越好，,而 小，即 小，,对样本（,X,1,Y,1,),(,X,2,Y,2,), (,X,n,Y,n,) ,即,须使,最小,(4),使偏差的平方和 达到最小时求出的估计 与,就是,最小二乘估计,10,2,、求最小二乘估计的方法,(1),偏差的平方和为,(2),利用多元函数求极值的方法，得,(3),所求回归直线为,整理后得,于是得,0,与,1,最小二乘估计,11,3,、求最小二乘估计的步骤,(1),依所知数据求出,(2),所求回归直线为,以及,12,4,、举例,例 为研究家庭食品支出,Y,与收入,X,的关系，随机抽取了,10,户家庭作为样本，数据如下：,所求回归直线为,以及,收入,X,20,30,33,40,15,13,26,38,35,43,食品支出,Y,7,9,9,11,5,4,8,10,9,10,试建立,Y,与,X,的一元线性回归方程。,解,13,5,、,0,与,1,的最小二乘估计的性质,(1),和 分别是,0,和,1,的无偏估计,证：,14,(2),与 不相关,得到,又因,所以,证：,15,(3),与 的方差分别是,证：,16,三 误差方差 的估计,结论：,称为残差,称为残差平方和,为误差方差 的无偏估计,证：,17,四、 线性回归的显著性检验,考虑,Y,与,X,是否存在象形相关关系,Y=,0,+,1,X+e,若回归系数,1,为零，则,Y,不依赖于,X,它们之间不存在线性相关关系。,若,1,不为零，,Y,与,X,之间存在线性相关关系。,问题转化为对假设,H,0,:,0,=0,作显著性检验。,线性回归的,R,检验法（相关系数检验法）：,为,X,与,Y,的相关系数,r,x,y,的性质很好的估计，,可用,R,来检验,X,与,Y,的线性相关性。,给定检验水平,，选取统计量,假设,H,0,:,0,=0,的拒绝域为：,当,eN(0,2,),且,e,1,，,e,2,，,e,n,相互独立时，当假设,H,0,:,0,=0,成立时，,FF(1,n-2),18,8.1.3,多元线性,回归,1,、,多元线性,回归模型：,如果因变量,Y,与自变量：,X,1,，,X,2,，,X,p,，,( p, 2 ),之间存在,线性,关系，则回归模型为：,Y=,0,+,1,X,1,+,2,X,2,+, +,p,X,p,+ e,，,其中,E,e =,0,0,D,e = 2,则称为,多元,回归模型,对变量,X,1,X,2 ,X,p,Y,进行,n,次独立观察得到的样本,（,X,i1,X,i2 ,X,ip,;,Y,i,),i=1,2,n,则,理论模型具体化为,Y,i,=,0,+,1,X,i1,+ +,p,X,ip,+,e,i,i = 1,2,n,E,e,i,=,0,，,D,e,i,=,2,i = 1,2,n,其中,e,1,e,2, ,e,n,互相独立，与,e,同分布,。,19,记,则数据,模型为,Y=,X,+,e,E,e =,0,，,Cov,(e,e,)=,2,I,其中,0,为,n,维零向量，,I,为,n,阶单位矩阵。,矩阵,X,称为设计矩阵。假定,X,是列满秩的，即,r(X,)=p+1,此时矩阵,X,T,X,是可逆的。,20,2,、 参数,0,，,1,，,p,的最小二乘估计,利用最小二乘法估计参数,0,，,1,，,p,，,即求,达到最小时的,0,，,1,，,p,，,记为,21,整理得正规方程组,矩阵形式为,则 即为,的最小二乘估计。,Y,对,X,1,，,X,2,，,X,p,的经验线性,回归方程为：,可证明,为,的无偏估计。,22,3,误差方差 的估计,结论：,称为残差,称为残差平方和,为误差方差 的无偏估计,当,e,1,，,e,2,，,e,n,相互独立，,且都服从,N(0,2,),时，有,23,4,、 线性回归显著性检验,H,0,:,0,=,1,=,p,=0,在求出经验回归方程后，还要对,Y,与,X,1,X,2,X,p,的线性相关关系进行显著性检验。,判断,Y,与,X,1,X,2,X,p,之间线性相关关系是否显著等价于检验,设,e,1,，,e,2,，,e,n,相互独立，,且都服从,N(0,2,),时，,当,H,0,成立时,当,H,0,成立时,24,于是得到关于,H,0,的,F,检验法 （检验水平,）,：,拒绝,H,0,;,否则接受,H,0,例 某市调查家庭用于教育的消费状况，,Y,表示人均教育消费支出，,X,表示人均年收入，数据如下：,X,（万元）,0.5,1,1.5,2,2.5,3,3.5,4,4.5,5,Y,（万元）,0.16,0.30,0.36,0.48,0.58,0.72,0.88,1.05,1.21,1.48,试建立经验回归方程。,解 理论回归方程,25,26,则 即为,的最小二乘估计。,经验回归方程,27,