统计学课件之相关与回归分析

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本资料来源,第七章,相,相关与,回,回归分,析,析,第一节,变,变量间,的,的相关,关,关系,第二节,一,一元线,性,性回归,第三节,利,利用回,归,归方程,进,进行估,计,计和预,测,测,第四节,多,多元线,性,性回归,学习目,标,标,1.掌,握,握相关,系,系数的,含,含义、,计,计算方,法,法和应,用,用,2.掌,握,握一元,线,线性回,归,归的基,本,本原理,和,和参数,的,的最小,二,二乘估,计,计方法,3.,掌握回,归,归方程,的,的显著,性,性检验,4.,利用回,归,归方程,进,进行预,测,测,5.,掌握多,元,元线性,回,回归分,析,析的基,本,本方法,第一节,变,变量间,关,关系的,度,度量,一.,变,变量,间,间的关,系,系,二.,相,相关,关,关系的,描,描述与,测,测度,三,.,相关关,系,系的显,著,著性检,验,验,变量间,的,的关系,变量间,的,的关系,（函数,关,关系）,是一一,对,对应的,确,确定关,系,系,设有两,个,个变量,x,和,y,，,变量,y,随变量,x,一起变,化,化，并,完,完全依,赖,赖于,x,，,当变量,x,取某个,数,数值时,，,，,y,依确定,的,的关系,取,取相应,的,的值，,则,则称,y,是,x,的函数,，,，记为,y,=,f,(,x,)，,其中,x,称为自,变,变量，,y,称为因,变,变量,各观测,点,点落在,一,一条线,上,上,x,y,变量间,的,的关系,（函数,关,关系）,函数关,系,系的例,子,子,某种商,品,品的销,售,售额(,y),与销售,量,量(,x),之间的,关,关系可,表,表示为,y =px (p,为单价),圆的面积(,S),与半径之间,的,的关系可表,示,示为,S =, R,2,企业的原材,料,料消耗额(,y),与产量(,x,1,) 、,单位产量消,耗,耗(,x,2,) 、,原材料价格(,x,3,),之间的关系,可,可表示为,y = x,1,x,2,x,3,变量间的关,系,系,（相关关系,）,）,变量间关系,是,是不确定的,数,数量关系,不能用函数,关,关系精确表,达,达,一个变量的,取,取值不能由,另,另一个变量,唯,唯一确定,当变量,x,取某个值时,，,，变量,y,的取值可能,有,有几个,各观测点分,布,布在直线周,围,围,x,y,变量间的关,系,系,（相关关系,）,）,相关关系的,例,例子,商品的消费,量,量(,y,),与居民收入(,x,),之间的关系,商品销售额(,y,),与广告费支,出,出(,x,),之间的关系,粮食亩产量(,y,),与施肥量(,x,1,) 、,降雨量(,x,2,) 、,温度(,x,3,),之间的关系,收入水平,(,y,),与受教育程,度,度,(,x,),之间的关系,父亲身高(,y,),与子女身高(,x,),之间的关系,相关关系的,描,描述与测度,散点图,相关分析就,是,是对两个变,量,量之间关系,的,的描述与度,量,量,关注的是评,价,价对象两两,之,之间的相对,变,变动,不需要明确,区,区分自变量,因变量,.,散点图,:,用坐标的横,轴,轴代表变量,x,纵轴代表因,变,变量,y,每组数据,(),在坐标系中,用,用一个点表,示,示,n,组数据在坐,标,标系中形成,的,的,n,个点称为散,点,点,由坐标及散,点,点形成的二,维,维数据图叫,散,散点图,.,相关关系的,图,图示,不相关,负线性相关,正线性相关,非线性相关,完全负线性相关,完全正线性相关,相关关系的,类,类型,1,按相关关系,涉,涉及变量,(,因素,0,的多少,可以分为单,相,相关和复相,关,关,(,多元相关,),2,按相关形式,可,可分为线性,相,相关和非线,性,性相关,3,按相关的方,向,向,线性相关可,分,分为正相关,和,和负相关,4,按变量之间,的,的相关程度,可分为完全,相,相关,高度相关,低度相关和,不,不相关,相关系数,是对变量之,间,间关系密切,程,程度的度量,根据线性相,关,关变量的多,少,少,分析问题的,角,角度的不同,相关系数分,为,为简单相关,系,系数,偏相关系数,复相关系数,反映曲线相,关,关变量之间,关,关系密切程,度,度的曲线相,关,关系数称为,相,相关指数,对两个变量,之,之间线性相,关,关程度的度,量,量称为简单,相,相关系数,若相关系数,是,是根据总体,全,全部数据计,算,算的，称为,总,总体相关系,数,数，记为,若是根据样,本,本数据计算,的,的，则称为,样,样本相关系,数,数，记为,r,相关系数,样本相关,系,系数的计,算,算公式,或化简为,相关系数,（相关系,数,数取值及,其,其意义）,r,的取值范,围,围是 -1,1,|,r,|=1，,为完全相,关,关,r,=1，,为完全正,相,相关,r,=-1，,为完全负,正,正相关,r,= 0，,不存在线,性,性相关,-1,r,0，,为负相关,0,=0.8,，高度相,关,关,; 0.5=,|,r,|0.8,，中度相,关,关,;o.3=,|,r,|0.5,，低度相,关,关,;,|,r,|t,，,拒绝,H,0,若,t,t,(10-2)=2.306，,拒绝,H,0,，,即样本相关系数,是,是显著的,说明智商值与劳,动,动生产率之间确,实,实存在线性关系,第二节 一,元,元线性回归,一. 一元,线,线性回归模型,参数的最小二乘,估,估计,回归方程的显著,性,性检验,一元线性回归模,型,型,什么是回归分析,？,？,侧重于考察变量,之,之间的数量伴随,关,关系,从一组样本数据,出,出发，确定变量,之,之间的数学关系,式,式,对这些关系式的,可,可信程度进行各,种,种统计检验，并,从,从影响某一特定,变,变量,(,因变量,),的诸多变量,(,自变量,),中找出哪些变量,的,的影响显著，哪,些,些不显著,利用所求的关系,式,式，根据一个或,几,几个变量的取值,来,来预测或控制另,一,一个特定变量的,取,取值，并给出这,种,种预测或控制的,精,精确程度,回归分析与相关,分,分析的区别,相关分析中，变,量,量,x,变量,y,处于平等的地位,；,；回归分析中，,变,变量,y,称为因变量，处,在,在被解释的地位,，,，,x,称为自变量，用,于,于预测因变量的,变,变化,相关分析中所涉,及,及的变量,x,和,y,都是随机变量；,回,回归分析中，因,变,变量,y,是随机变量，自,变,变量,x,可以是随机变量,，,，也可以是非随,机,机的确定变量,相关分析主要是,描,描述两个变量之,间,间线性关系的密,切,切程度；回归分,析,析不仅可以揭示,变,变量,x,对变量,y,的影响大小，还,可,可以由回归方程,进,进行预测和控制,回归模型,1.,回答“变量之间,是,是什么样的关系,？,？”,描述因变量,y,如何依赖自变量,x,和误差项 的方,程,程,2, 因变量：,在回归分析中，,被,被预测或被解释,的,的变量,，,，用,y,表示,3,自变量：,在回归分析中，,用,用来预测或用来,解,解释因变量的一,个,个或多个变量，,用,用,x,表示,4,主要用于预测和,估,估计,回归模型的类型,一个自变量,两个及两个以上自变量,回归模型,多元回归,一元回归,线性回归,非线性回归,线性回归,非线性回归,一元线性回归模,型,型,当只涉及一个自,变,变量时称为一元,回,回归，若因变量,y,与自变量,x,之间为线性关系,时,时称为一元线性,回,回归,对于具有线性关,系,系的两个变量，,可,可以用一条线性,方,方程来表示它们,之,之间的关系,描述因变量,y,如何依赖于自变,量,量,x,和误差项,的方程称为回归,模,模型,一元线性回归模,型,型,对于只涉及一个,自,自变量的简单线,性,性回归模型可表,示,示为,y,=,b,0,+,b,1,x,+,e,模型中，,y,是,x,的线性函数(部,分,分)加上误差项,线性部分反映了,由,由于,x,的变化而引起的,y,的变化,误差项,是随机变量,反映了除,x,和,y,之间的线性关系,之,之外的随机因素,对,对,y,的影响,是不能由,x,和,y,之间的线性关系,所,所解释的变异性,0,和,1,称为模型的参数,一元线性回归模,型,型,（基本假定）,误差项,是一个期望值为0的随机变量，,即,即,E,(,)=0。,对于一个给定的,x,值，,y,的期望值为,E,(,y,) =,0,+,1,x,对于所有的,x,值，,的方差,2,都相同,误差项,是一个服从正态,分,分布的随机变量,，,，且相互独立。,即,即,N,( 0 ,2,),独立性意味着对,于,于一个特定的,x,值，它所对应的,与其他,x,值所对应的,不相关,对于一个特定的,x,值，它所对应的,y,值与其他,x,所对应的,y,值也不相关,回归方程,描述,y,的平均值或期望,值,值如何依赖于,x,的方程称为回归,方,方程,简单线性回归方,程,程的形式如下,E,(,y,) =,0,+,1,x,方程的图示是一,条,条直线，因此也,称,称为直线回归方,程,程,0,是回归直线在,y,轴上的截距，是,当,当,x,=0,时,y,的期望值,1,是直线的斜率，,称,称为回归系数，,表,表示当,x,每变动一个单位,时,时，,y,的平均变动值,估计,(,经验,)的回归,方程,简单线性回归中,估,估计的回归方程,为,为,其中： 是估计的回归直线在,y,轴上的截距， 是直线的斜率，它表示对于一个给定的,x,的值，是,y,的估计值，也表示,x,每变动一个单位时，,y,的平均变动值,用样本统计量 和 代替回归方程中的未知参数 和 ，就得到了估计的回归方程,总体回归参数 和,是未知的，必需利用样本数据去估计,参数,0,和,1,的最小二乘估计,最小二乘法,使因变量的观察,值,值与估计值之间,的,的离差平方和达,到,到最小来求得,和,和,的,的方,法,法。即,用最小二乘法,拟,拟合的直线来,代,代表,x,与,y,之间的关系与,实,实际数据的误,差,差比其他任何,直,直线都小,最小二乘法,（图示）,x,y,(,x,n,y,n,),(,x,1,y,1,),(,x,2,y,2,),(,x,i,y,i,),e,i,=,y,i,-,y,i,最小二乘法,（,和 的,计,计算公式,）,根据最小二乘,法,法的要求，可,得,得求解,的标准方程如,下,下,估计方程例题,一位工业心理,学,学家获得了,10,个工人的智商,值,值和劳动生产,率,率,试计算智商值,和,和劳动生产率,之,之间的回归方,程,程,样本序号,智商值,x,劳动生产率,y,xy,1,110,5.2,12100,27.04,572.0,2,120,6.0,14400,36.00,720.0,3,130,6.3,16900,39.69,819.0,4,126,5.7,15876,32.49,718.2,5,122,4.8,14884,23.04,585.6,6,121,4.2,14641,17.64,508.2,7,103,3.0,10609,9.00,309.0,8,98,2.9,9600,8.41,284.2,9,80,2.7,6400,7.29,216.0,10,97,3.2,9409,10.24,310.4,合计,1107,44.0,124823,210.84,5042.6,估计方程的求,法,法,根据计算表中,的,的数据，依据和 的,求,求解公式得,y = -3.9,+,0.075,x,一个二元线性,回,回归的例子,(,Excel,输出的结果),回归方程的显,著,著性检验,离差平方和的,分,分解,因变量,y,的取值是不同,的,的，,y,取值的这种波,动,动称为变差。,变,变差来源于两,个,个方面,由于自变量,x,的取值不同造,成,成的,除,x,以外的其他因,素,素(如,x,对,y,的非线性影响,、,、测量误差等)的影响,对一个具体的,观,观测值来说，,变,变差的大小可,以,以通过该实际,观,观测值与其均,值,值之差,来,来表,示,示,离差平方和的,分,分解,（图示）,x,y,y,离差分解图,离,差,差,平,平,方,方,和,和,的,的,分,分,解,解,（,三,三,个,个,平,平,方,方,和,和,的,的,关,关,系,系,）,）,2.,两,端,端,平,平,方,方,后,后,求,求,和,和,有,有,从,图,图,上,上,看,看,有,有,SST,=,SSR,+,SSE,总变差平方和,（,SST,）,回归平方和,（,SSR,）,残差平方和,（,SSE,）,离,差,差,平,平,方,方,和,和,的,的,分,分,解,解,（,三,三,个,个,平,平,方,方,和,和,的,的,意,意,义,义,）,）,总,平,平,方,方,和,和(,SST,),反,映,映,因,因,变,变,量,量,的,的,n,个,观,观,察,察,值,值,与,与,其,其,均,均,值,值,的,的,总,总,离,离,差,差,回,归,归,平,平,方,方,和,和(,SSR,),反,映,映,自,自,变,变,量,量,x,的,变,变,化,化,对,对,因,因,变,变,量,量,y,取,值,值,变,变,化,化,的,的,影,影,响,响,，,，,或,或,者,者,说,说,，,，,是,是,由,由,于,于,x,与,y,之,间,间,的,的,线,线,性,性,关,关,系,系,引,引,起,起,的,的,y,的,取,取,值,值,变,变,化,化,，,，,也,也,称,称,为,为,可,可,解,解,释,释,的,的,平,平,方,方,和,和,残,差,差,平,平,方,方,和,和(,SSE,),反,映,映,除,除,x,以,外,外,的,的,其,其,他,他,因,因,素,素,对,对,y,取,值,值,的,的,影,影,响,响,，,，,也,也,称,称,为,为,不,不,可,可,解,解,释,释,的,的,平,平,方,方,和,和,或,或,剩,剩,余,余,平,平,方,方,和,和,SST=SSR+SSE,样,本,本,决,决,定,定,系,系,数,数,（,判,判,定,定,系,系,数,数,R,2,）,1,判,定,定,系,系,数,数,:,回,归,归,平,平,方,方,和,和,占,占,总,总,离,离,差,差,平,平,方,方,和,和,的,的,比,比,例,例,反,映,映,回,回,归,归,直,直,线,线,的,的,拟,拟,合,合,程,程,度,度,取,值,值,范,范,围,围,在,在0,1,之,之,间,间,R,2,1,，,，,说,明,明,回,回,归,归,方,方,程,程,拟,拟,合,合,的,的,越,越,好,好,；,；,R,2,0,，,，,说,明,明,回,回,归,归,方,方,程,程,拟,拟,合,合,的,的,越,越,差,差,判,定,定,系,系,数,数,等,等,于,于,相,相,关,关,系,系,数,数,的,的,平,平,方,方,，,，,即,即,R,2,(,r,),2,估,计,计,标,标,准,准,误,误,差,差,S,y,实,际,际,观,观,察,察,值,值,与,与,回,回,归,归,估,估,计,计,值,值,离,离,差,差,平,平,方,方,和,和,的,的,均,均,方,方,根,根,反,映,映,实,实,际,际,观,观,察,察,值,值,在,在,回,回,归,归,直,直,线,线,周,周,围,围,的,的,分,分,散,散,状,状,况,况,从,另,另,一,一,个,个,角,角,度,度,说,说,明,明,了,了,回,回,归,归,直,直,线,线,的,的,拟,拟,合,合,程,程,度,度,计,算,算,公,公,式,式,为,为,回,归,归,方,方,程,程,的,的,显,显,著,著,性,性,检,检,验,验,（,线,性,性,关,关,系,系,的,的,检,检,验,验,）,检,验,验,自,自,变,变,量,量,和,和,因,因,变,变,量,量,之,之,间,间,的,的,线,线,性,性,关,关,系,系,是,是,否,否,显,显,著,著,具,体,体,方,方,法,法,是,是,将,将,回,回,归,归,离,离,差,差,平,平,方,方,和,和(,SSR,),同,剩,剩,余,余,离,离,差,差,平,平,方,方,和,和(,SSE,),加,以,以,比,比,较,较,，,，,应,应,用,用,F,检,验,验,来,来,分,分,析,析,二,二,者,者,之,之,间,间,的,的,差,差,别,别,是,是,否,否,显,显,著,著,如,果,果,是,是,显,显,著,著,的,的,，,，,两,两,个,个,变,变,量,量,之,之,间,间,存,存,在,在,线,线,性,性,关,关,系,系,如,果,果,不,不,显,显,著,著,，,，,两,两,个,个,变,变,量,量,之,之,间,间,不,不,存,存,在,在,线,线,性,性,关,关,系,系,回,归,归,方,方,程,程,的,的,显,显,著,著,性,性,检,检,验,验,（,线,性,性,关,关,系,系,的,的,检,检,验,验,）,均,方,方,回,回,归,归,MSR:,将,SSR,除,以,以,其,其,相,相,应,应,的,的,自,自,由,由,度,度,均,方,方,残,残,差,差,MSE:,将,SSE,除,以,以,其,其,相,相,应,应,的,的,自,自,由,由,度,度,回,归,归,方,方,程,程,的,的,显,显,著,著,性,性,检,检,验,验,（,检,验,验,的,步,步,骤,骤,）,）,1,提,出,出,假,假,设,设,H,0,：,线,性,性,关,关,系,系,不,不,显,显,著,著,2.,计,算,算,检,检,验,验,统,统,计,计,量,量,F,确,定,定,显,显,著,著,性,性,水,水,平,平,，,，,并,并,根,根,据,据,分,分,子,子,自,自,由,由,度,度1,和,和,分,分,母,母,自,自,由,由,度,度,n,-2,找出临界,值,值,F,作出决策,：,：若,F,F,拒绝,H,0；,若,F,t,，,拒绝,H,0,；,t,t,，,接受,H,0,第三,节,节,多,多元,线,线性,回,回归,分,分析,一.,多,多元,线,线性,回,回归,模,模型,回归,参,参数,的,的估,计,计,回归,方,方程,的,的显,著,著性,检,检验,回归,系,系数,的,的显,著,著性,检,检验,多元,线,线性,回,回归,的,的预,测,测,多元,线,线性,回,回归,模,模型,一个,因,因变,量,量与,两,两个,及,及两,个,个以,上,上自,变,变量,之,之间,的,的回,归,归,描述,因,因变,量,量,y,如何,依,依赖,于,于自,变,变量,x,1,，x,2,，,，,x,p,和误,差,差项,的方,程,程称,为,为多,元,元线,性,性回,归,归模,型,型,涉及,p,个自,变,变量,的,的多,元,元线,性,性回,归,归模,型,型可,表,表示,为,为,b,0,，,b,1,，,b,2,，,，,b,p,是参,数,数,是被,称,称为,误,误差,项,项的,随,随机,变,变量,y,是,x,1,，,x,2,，,，,x,p,的线,性,性函,数,数加,上,上误,差,差项,说明,了,了包,含,含在,y,里面,但,但不,能,能被,p,个自,变,变量,的,的线,性,性关,系,系所,解,解释,的,的变,异,异性,多元,线,线性,回,回归,模,模型,对于,n,组实,际,际观,察,察数,据,据(,y,i,;,x,i,1,，,x,i,2,，,，,x,i,p,)，(,i,=1,2,n,)，,多元,线,线性,回,回归,模,模型,可,可表,示,示为,y,1,=,b,0,+,b,1,x,11,+,b,2,x,12,+,+,b,p,x,1p,+,e,1,y,2,=,b,0,+,b,1,x,21,+,b,2,x,22,+,+,b,p,x,2p,+,e,2,y,n,=,b,0,+,b,1,x,n1,+,b,2,x,n2,+,+,b,p,x,np,+,e,n,多元,线,线性,回,回归,模,模型,自变,量,量,x,1,，,x,2,，,，,x,p,是确,定,定性,变,变量,，,，不,是,是随,机,机变,量,量,随机,误,误差,项,项,的期,望,望值,为,为0,，,，且,方,方差,2,都相,同,同,误差,项,项,是一,个,个服,从,从正,态,态分,布,布的,随,随机,变,变量,，,，即,N,(0,2,)，,且相,互,互独,立,立,多元,线,线性,回,回归,方,方程,描述,y,的平,均,均值,或,或期,望,望值,如,如何,依,依赖,于,于,x,1,，,x,1,，,，,x,p,的方,程,程称,为,为多,元,元线,性,性回,归,归方,程,程,多元,线,线性,回,回归,方,方程,的,的形,式,式为,E,(,y,)=,0,+,1,x,1,+,2,x,2,+,+,p,x,p,b,1,，,b,2,，,，,b,p,称为,偏,偏回,归,归系,数,数,b,i,表示,假,假定,其,其他,变,变量,不,不变,，,，当,x,i,每变,动,动一,个,个单,位,位时,，,，,y,的平,均,均平,均,均变,动,动值,多元,线,线性,回,回归,的,的估,计,计,(,经验,),方程,总体,回,回归,参,参数,是,是,未,未知,的,的，,利,利用,样,样本,数,数据,去,去估,计,计,用样,本,本统,计,计量,代,代替,回,回归,方,方程,中,中的,未,未,知,知参,数,数即得,到,到估,计,计的,回,回归,方,方程,是,估,估,计,计值,是,y,的估,计,计值,参数的最小,二,二乘法,根据最小二,乘,乘法的要求,，,，可得求解,各回归参数,的,的标准方,程,程如下,使因变量的观察值与估计值之间的离差平方和达到最小来求得,。即,多重样本决,定,定系数,（多重判定,系,系数,R,2,）,回归平方和,占,占总离差平,方,方和的比例,反映回归直,线,线的拟合程,度,度,取值范围在 0, 1 ,之,之间,R,2,1，,说明回归方,程,程拟合的越,好,好；,R,2,0，,说明回归方,程,程拟合的越,差,差,等于多重相,关,关系数的平,方,方，即,R,2,=(,R,),2,修正的多重,样,样本决定系,数,数,（修正的多,重,重判定系数,R,2,）,由于增加自,变,变量将影响,到,到因变量中,被,被估计的回,归,归方程所解,释,释的变异性,的,的数量，为,避,避免高估这,一,一影响，需,要,要用自变量,的,的数目去修,正,正,R,2,的值,用,n,表示观察值,的,的数目，,p,表示自变量,的,的数目，修,正,正的多元判,定,定系数的计,算,算公式可表,示,示为,回归方程的,显,显著性检验,（,线性关系的,检,检验,）,检验因变量,与,与所有的自,变,变量和之间,的,的是否存在,一,一个,显著的线性,关,关系，也被,称,称为总体的,显,显著性检验,检验方法是,将,将回归离差,平,平方和(,SSR,),同剩余离差,平,平方和(,SSE,),加以比较，,应,应用,F,检验来分析,二,二者之间的,差,差别是否显,著,著,如果是显著,的,的，因变量,与,与自变量之,间,间存在线性,关,关系,如果不显著,，,，因变量与,自,自变量之间,不,不存在线性,关,关系,回归方程的,显,显著性检验,提出假设,H,0,：,1,2,p,=0,线性关系不,显,显著,H,1,：,1,，,2,，,p,至少有一个,不,不等于0,2.,计算检验统,计,计量,F,3.,确定显著性,水,水平,和分子自,由,由度,p,、,分母自由度,n-p,-1,找出临界值,F,4.,作出决策：,若,若,F,F,，,拒绝,H,0,；,若,F,F,，,接受,H,0,回归系数的,显,显著性检验,如果,F,检验已经表,明,明了回归模,型,型总体上是,显,显著的，那,么,么回归系数,的,的检验就是,用,用来确定每,一,一个单个的,自,自变量,x,i,对因变量,y,的影响是否,显,显著,对每一个自,变,变量都要单,独,独进行检验,应用,t,检验,在多元线性,回,回归中，回,归,归方程的显,著,著性检验不,再,再等价于回,归,归系数的显,著,著性检验,回归系数的,显,显著性检验,提出假设,H,0,：,b,i,= 0(,自变量,x,i,与因变量,y,没有线性关,系,系),H,1,：,b,i,0 (,自变量,x,i,与因变量,y,有线性关系),计算检验的,统,统计量,t,3,确定显著性,水,水平,，并进行,决,决策,t,t,，,拒绝,H,0,； ,t,F,0.05,(2,7)=4.74,，,，,回归方程显,著,著,回归系数的,显,显著性检验,t,= 9.3548,t,=0.3646，；,t,2,= 4.7962,t,=2.3646；,两个回归系,数,数均显著,