概率论第八章回归分析

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第八章,回归分析,8.1 回归分析,一、,回归分析：如果变量Y和X之间有一定的联系，且在大量的试验中，Y和X之间的不确定关系能呈现出明显的规律性，研究Y和X之间的近似的函数关系的一种方法就是,回归分析,例如：,1、某商品的需求量与价格,3、人的体重与身高,4、货币储蓄量与利率,2、某商品的供给量与价格,8.1.1 回归分析的概念,二、,回归模型：,回归分析中，,变量Y和X之间的不确定关系不能用一个精确的函数关系表示出来，是因为有随机因素的影响，仿照函数中的称呼，把X对Y的影响用,f(X),表示，随机因素对Y的影响用记作,e,将Y的值分成两部分：,Y=,f(X)+e,(1),式(1)称为,回归模型,1、,e,为随机误差：一般要求其均值为 0 ，即E,e=,0,2、,Y,为因变量：因有随机误差的影响，所以总是随机的,3、,X,为自变量：,有时是随机的,，如从总体中随机抽取一个个体，测其Y和X值，这时所以Y和X都是随机变量；,有时是非随机的,，如货币储蓄量与利率，利率可人为给定。,本章中，如无特别声明，一律设X为非随机变量。,三、,回归方程：回归模型 Y=,f(X)+e,中，,当X为非随机变量时,，,f(X),也是非随机变量，而 E,e =,0,于是有 EY=,f(X)，,所以可以用,f(X),作为Y的近似。,当X为随机变量时,，求Y对X的条件期望，也有 E(Y|X)=,f(X),记,y=f(x),则称,y=f(x),为 Y对X的,回归方程,1、,f(x),称为,回归函数,2、随机误差,e,的方差D,e,是回归模型的重要参数，,D,e,的大小反映了,f(X),对Y 的近似程度,：,因为 EY,-,f(X),2,=,D,e=,2,所以,2,的大小反映了,f(X),对Y 的近似程度,E,e=,0，并假定 D,e=,2,四、多元,回归模型：,1、一元回归模型：回归模型 Y=,f(X)+e,中，只含一个自变量,X,，称为,一元回归模型,2、,多元,回归模型：,如果自变量有多个：X,1,，X,2,，,X,p,，(p,2)这时,Y=,f(,X,1,，X,2,，,X,p,)+e，,其中,E,e=,0,则称为,多元,回归模型,注,：,线性回归模型,是在应用上最重要且在理论上发展最完善,的回归模型,注：1,o,一元线性,回归分析的过程是指,依据对变量,X 与,Y,进行n 次独立观察得到的样本（,X,1,Y,1,),(,X,2,Y,2,),(,X,p,Y,p,),推断出其,一元线性,回归模型,并对其回归模型进行检验的过程,2,o,在应用上,一元,线性回归模型是利用其数据形式.,一元线性回归,1、理论模型：是指回归模型 Y=,f(X)+e,中的,f(,X,),为线性函数，即有,Y=,0,+,1,X+e,E,e=,0，0,D,e=,2,其中,0,，,1,为未知参数.,0,称为常数项；,1,称为回归系数，确切地说，是Y 对,X,的回归系数,一、一元,线性回归模型：,2、,一元,线性回归模型的数据形式：,对变量,X 与,Y,进行n 次独立观察得到的样本（,X,1,Y,1,),(,X,2,Y,2,),(,X,p,Y,p,),则,理论模型具体化为,Y,i,=,0,+,1,X,i,+e,i,i=1,2,n,E,e,i,=,0，D,e,i,=,2,i=1,2,n,其中,e,1,e,2,e,n,互相独立,注：,依据对变量,X 与,Y 进行n 次独立观察得到的样本,（,X,1,Y,1,),(,X,2,Y,2,),(,X,p,Y,p,),推断出其,一,元线性,回归模型,实际上就是对,0,1,进行估计,注：,依据对变量,X 与,Y 进行n 次独立观察得到的样本,（,X,1,Y,1,),(,X,2,Y,2,),(,X,n,Y,n,),对,0,1,进行估计时，,还须注意,X 与,Y间,线性关系的强弱,(,a,)(,b,),中,X,与,Y,间,线性关系,强,(,c,)(,d,)中,X 与,Y间,线性关系,弱,(,a,),(,b,),(,c,),(,d,),3、,对,样本（,X,1,Y,1,),(,X,2,Y,2,),(,X,n,Y,n,)有以下记号,二、,0,与,1,的点估计最小二乘估计,1、最小二乘估计原则,：对变量,X 与,Y 进行n 次独立,观察得到的样本（,X,1,Y,1,),(,X,2,Y,2,),(,X,n,Y,n,),则,模型具体化为 Y,i,=,0,+,1,X,i,+e,i,i=1,2,n,(1)设,0,与,1,的点估计分别为 ，则回归直线为,(2)在,x,=,X,i,处，Y 的预测值为,Y 的观察值为 Y,i,预测值与观察值的偏差为,希望预测值与观察值的偏差的绝对值越小越好，,而 小，即 小，,对样本（,X,1,Y,1,),(,X,2,Y,2,),(,X,n,Y,n,),即,须使,最小,(4)使偏差的平方和 达到最小时求出的估计 与,就是,最小二乘估计,2、求最小二乘估计的方法,(1)偏差的平方和为,(2)利用多元函数求极值的方法，得,(3)所求回归直线为,整理后得,于是得,0,与,1,最小二乘估计,3、求最小二乘估计的步骤,(1)依所知数据求出,(2)所求回归直线为,以及,4、举例,例 为研究家庭食品支出Y与收入X的关系，随机抽取了10户家庭作为样本，数据如下：,所求回归直线为,以及,收入X,20,30,33,40,15,13,26,38,35,43,食品支出Y,7,9,9,11,5,4,8,10,9,10,试建立Y与X的一元线性回归方程。,解,5、,0,与,1,的最小二乘估计的性质,(1)和 分别是,0,和,1,的无偏估计,证：,(2)与 不相关,得到,又因,所以,证：,(3)与 的方差分别是,证：,三 误差方差 的估计,结论：,称为残差,称为残差平方和,为误差方差 的无偏估计,证：,四、线性回归的显著性检验,考虑,Y与X是否存在象形相关关系,Y=,0,+,1,X+e,若回归系数,1,为零，则Y不依赖于X,它们之间不存在线性相关关系。,若,1,不为零，Y与X之间存在线性相关关系。,问题转化为对假设,H,0,:,0,=0,作显著性检验。,线性回归的R检验法（相关系数检验法）：,为,X,与Y的相关系数,r,x,y,的性质很好的估计，,可用R来检验,X,与Y的线性相关性。,给定检验水平,，选取统计量,假设,H,0,:,0,=0,的拒绝域为：,当,eN(0,2,),且,e,1,，e,2，,e,n,相互独立时，当假设,H,0,:,0,=0,成立时，,FF(1,n-2),8.1.3 多元线性,回归,1、,多元线性,回归模型：,如果因变量Y与自变量：X,1,，X,2,，,X,p,，(p,2)之间存在,线性,关系，则回归模型为：,Y=,0,+,1,X,1,+,2,X,2,+,+,p,X,p,+e，,其中,E,e=,0,0,D,e=2,则称为,多元,回归模型,对变量,X,1,X,2,X,p,Y 进行n 次独立观察得到的样本,（,X,i1,X,i2,X,ip,;,Y,i,),i=1,2,n,则,理论模型具体化为,Y,i,=,0,+,1,X,i1,+,p,X,ip,+e,i,i=1,2,n,E,e,i,=,0，D,e,i,=,2,i=1,2,n,其中,e,1,e,2,e,n,互相独立，与,e,同分布,。,记,则数据,模型为,Y=,X,+,e,E,e=,0，Cov,(e,e)=,2,I,其中0为n维零向量，,I,为n阶单位矩阵。,矩阵X称为设计矩阵。假定X是列满秩的，即,r(X)=p+1,此时矩阵X,T,X是可逆的。,2、参数,0,，,1，,p,的最小二乘估计,利用最小二乘法估计参数,0,，,1,，,p,，,即求,达到最小时的,0,，,1,，,p，,记为,整理得正规方程组,矩阵形式为,则 即为,的最小二乘估计。,Y对X,1,，X,2,，,X,p,的经验线性,回归方程为：,可证明 为,的无偏估计。,3 误差方差 的估计,结论：,称为残差,称为残差平方和,为误差方差 的无偏估计,当,e,1,，e,2，,e,n,相互独立，,且都服从,N(0,2,),时，有,4、线性回归显著性检验,H,0,:,0,=,1,=,p,=0,在求出经验回归方程后，还要对Y与X,1,X,2,X,p,的线性相关关系进行显著性检验。,判断Y与X,1,X,2,X,p,之间线性相关关系是否显著等价于检验,设,e,1,，e,2，,e,n,相互独立，,且都服从,N(0,2,),时，,当,H,0,成立时,当,H,0,成立时,于是得到关于,H,0,的,F,检验法（检验水平,）,：,拒绝,H,0,;,否则接受,H,0,例 某市调查家庭用于教育的消费状况，Y表示人均教育消费支出，X表示人均年收入，数据如下：,X（万元）,0.5,1,1.5,2,2.5,3,3.5,4,4.5,5,Y（万元）,0.16,0.30,0.36,0.48,0.58,0.72,0.88,1.05,1.21,1.48,试建立经验回归方程。,解 理论回归方程,则 即为,的最小二乘估计。,经验回归方程,