第10章--回归分析ppt课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,第10章 回归分析,介绍：,1、回归分析的概念和模型,2、回归分析的过程,第10章 回归分析介绍：,1,回归分析的概念,寻求有关联（相关）的变量之间的关系,主要内容：,从一组样本数据出发，确定这些变量间的定量关系式,对这些关系式的可信度进行各种统计检验,从影响某一变量的诸多变量中，判断哪些变量的影响显著，哪些不显著,利用求得的关系式进行预测和控制,回归分析的概念寻求有关联（相关）的变量之间的关系,2,回归分析的模型,按是否线性分：线性回归模型和非线性回归模型,按自变量个数分：简单的一元回归，多元回归,基本的步骤：利用SPSS得到模型关系式，是否是我们所要的，要看回归方程的显著性检验（F检验）和回归系数,b的显著性检验(T检验)，还要看拟合程度,R,2,(,相关系数的平方,一元回归用R Square，多元回归用Adjusted R Square,),回归分析的模型按是否线性分：线性回归模型和非线性回归模型,3,回归分析的,过程,在回归过程中包括：,Liner：线性回归,Curve Estimation：曲线估计,Binary Logistic：二分变量逻辑回归,Multinomial Logistic：多分变量逻辑回归,Ordinal 序回归,Probit：概率单位回归,Nonlinear：非线性回归,Weight Estimation：加权估计,2-Stage Least squares：二段最小平方法,Optimal Scaling 最优编码回归,我们只讲前面3个简单的（一般教科书的讲法）,回归分析的过程在回归过程中包括：,4,10.1 线性回归(Liner),一元线性回归方程:y=a+bx,a称为截距,b为回归直线的斜率,用R,2,判定系数,判定一个线性回归直线的拟合程度：用来说明用自变量解释因变量变异的程度（所占比例）,多元线性回归方程:y=b,0,+b,1,x,1,+b,2,x,2,+b,n,x,n,b,0,为常数项,b,1,、b,2,、b,n,称为y对应于x,1,、x,2,、x,n,的偏回归系数,用Adjusted R,2,调整判定系数,判定一个多元线性回归方程的拟合程度：用来说明用自变量解释因变量变异的程度（所占比例）,一元线性回归模型的确定:一般先做散点图(Graphs-Scatter-Simple),以便进行简单地观测（如：Salary与Salbegin的关系),若散点图的趋势大概呈线性关系，可以建立线性方程，若不呈线性分布，可建立其它方程模型，并比较R,2,(-1)来确定一种最佳方程式（曲线估计）,多元线性回归一般采用逐步回归方法-,Stepwise,10.1 线性回归(Liner)一元线性回归方程:y=a+,5,逐步回归方法的基本思想,对全部的自变量x,1,x,2,.,x,p,按它们对Y贡献的大小进行比较，并通过F检验法，选择偏回归平方和显著的变量进入回归方程，每一步只引入一个变量，同时建立一个偏回归方程。当一个变量被引入后，对原已引入回归方程的变量，逐个检验他们的偏回归平方和。如果由于引入新的变量而使得已进入方程的变量变为不显著时，则及时从偏回归方程中剔除。在引入了两个自变量以后，便开始考虑是否有需要剔除的变量。只有当回归方程中的所有自变量对Y都有显著影响而不需要剔除时，在考虑从未选入方程的自变量中，挑选对Y有显著影响的新的变量进入方程。不论引入还是剔除一个变量都称为一步。不断重复这一过程，直至无法剔除已引入的变量，也无法再引入新的自变量时，逐步回归过程结束。,逐步回归方法的基本思想对全部的自变量x1,x2,.,xp,6,10.1.6 线性回归分析实例p240,实例：P240Data07-03 建立一个以初始工资Salbegin、工作经验prevexp、工作时间jobtime、工作种类jobcat、受教育年限edcu等为自变量，当前工资Salary为因变量的回归模型。,先做数据散点图,观测因变量Salary与自变量Salbegin之间关系是否有线性特点,Graphs-Scatter-Simple,X Axis：Salbegin,Y Axis：Salary,若散点图的趋势大概呈线性关系，可以建立线性回归模型,Analyze-Regression-Linear,Dependent:Salary,Independents:Salbegin,prevexp,jobtime,jobcat,edcu等变量,Method:,Stepwise,比较有用的结果：,拟合程度Adjusted R,2：,越接近1拟合程度越好,回归方程的显著性检验Sig,回归系数表Coefficients的Model最后一个中的回归系数B和显著性检验Sig,得模型：,Salary=-15038.6+1.37Salbegin+5859.59jobcat-,19.55prevexp+154.698jobtime+539.64edcu,10.1.6 线性回归分析实例p240实例：P240Data,7,10.2 曲线估计(Curve Estimation),对于,一元回归,，若散点图的趋势不呈线性分布，可以利用曲线估计方便地进行线性拟合(liner)、二次拟合(Quadratic)、三次拟合(Cubic)等。采用哪种拟合方式主要取决于各种拟合模型对数据的充分描述(看修正Adjusted R,2,-1),不同模型的表示,模型名称,回归方程,相应的线性回归方程,Linear(线性),Y=b,0,+b,1,t,Quadratic(二次),Y=b,0,+b,1,t+b,2,t,2,Compound(复合),Y=b,0,(b,1,t,),Ln(Y)=ln(b,0,)+ln(b,1,)t,Growth(生长),Y=e,b0+b1t,Ln(Y)=b,0,+b,1,t,Logarithmic(对数),Y=b,0,+b,1,ln(t),Cubic(三次),Y=b,0,+b,1,t+b,2,t,2,+b,3,t,3,S,Y=e,b0+b1/t,Ln(Y)=b,0,+b,1,/,t,Exponential(指数),Y=b,0,*,e,b1*t,Ln(Y)=ln(b,0,)+b,1,t,Inverse(逆),Y=b,0,+b,1,/t,Power(幂),Y=b,0,(t,b1,),Ln(Y)=ln(b,0,)+b,1,ln(t),Logistic(逻辑),Y=1/(1/u+b,0,b,1,t,),Ln(1/Y-1/u)=ln(b,0,+ln(b,1,)t),10.2 曲线估计(Curve Estimation)对于一,8,10.2.3 曲线估计(Curve Estimation)分析实例,实例P247 Data11-01：有关汽车数据，看mpg(每加仑汽油行驶里程)与weight(车重)的关系,先做散点图(Graphs-Scatter-Simple)：weight(X)、mpg(Y)，看每加仑汽油行驶里程数mpg(Y)随着汽车自重weight(X)的增加而减少的关系，也发现是曲线关系,建立若干曲线模型（可试着选用所有模型Models),Analyze-Regression-Curve Estimation,Dependent:mpg,Independent:weight,Models:全选(除了最后一个逻辑回归),选Plot models：输出模型图形,比较有用的结果：各种模型的Adjusted R,2,，并比较哪个大，结果是指数模型Compound的Adjusted R,2,=0.70678最好（拟合情况可见图形窗口）,结果方程为：mpg=60.15*0.999664,weight,说明：Growth和Exponential的结果也相同，也一样。,10.2.3 曲线估计(Curve Estimation)分,9,10.3二项逻辑回归(Binary Logistic),在现实中，经常需要判断一些事情是否将要发生，候选人是否会当选？为什么一些人易患冠心病？为什么一些人的生意会获得成功？此问题的特点是因变量只有两个值，不发生(0)和发生(1)。这就要求建立的模型必须因变量的取值范围在01之间。,Logistic回归模型,Logistic模型：在逻辑回归中，可以直接预测观测量相对于某一事件的发生概率。包含一个自变量的回归模型和多个自变量的回归模型公式：,其中：z=B,0,+B,1,X,1,+B,p,X,p,(P为自变量个数）。某一事件不发生的概率为Prob(no event)1-Prob(event)。因此最主要的是求B,0,B,1,B,p,(常数和系数),数据要求：因变量应具有二分特点。自变量可以是分类变量和定距变量。,如果自变量是分类变量应为二分变量或被重新编码为指示变量。指示变量有两种编码方式。,回归系数：,几率和概率的区别。几率=发生的概率/不发生的概率。如从52张桥牌中抽出一张A的几率为(4/52)/(48/52)=1/12，而其概率值为4/52=1/13,根据回归系数表，可以写出回归模型公式中的z。然后根据回归模型公式Prob(event)进行预测。,10.3二项逻辑回归(Binary Logistic)在现实,10,10.3.3二项逻辑回归(Binary Logistic)实例,实例P255 Data11-02：乳腺癌患者的数据进行分析，变量为：年龄age,患病时间time,肿瘤扩散等级pathscat（3种）,肿瘤大小pathsize,肿瘤史histgrad（3种）和癌变部位的淋巴结是否含有癌细胞ln_yesno，建立一个模型，对癌变部位的淋巴结是否含有癌细胞ln_yesno的情况进行预测。,Analyze-Regression-Binary Logistic,Dependent:ln_yesno,Covariates:age,time,pathscat,pathsize,histgrad,比较有用的结果：在Variables in Equation表中的各变量的系数（B），可以写出z=-0.86-0.331pathscat+0.415pathsize 0.023age+0.311histgrad。,根据回归模型公式Prob(event)=1/(1+e,-z,)，就可以计算一名年龄为60岁、pathsize为1、histgrad为1、pathscat为1的患者，其淋巴结中发现癌细胞的概率为1/(1+e,-(-1.845),)=0.136,(Prob(event)0.5 预测事件将会发生）,10.3.3二项逻辑回归(Binary Logistic)实,11,补充：回归分析,以下的讲义是吴喜之教授有关回归分析的讲义，很简单，但很实用,补充：回归分析以下的讲义是吴喜之教授有关回归分析的讲义，很简,12,定量变量的线性回归分析,对例1(highschoo.sav)的两个变量的数据进行线性回归，就是要找到一条直线来最好地代表散点图中的那些点。,定量变量的线性回归分析 对例1(highschoo.sav),13,检验问题等,对于系数,b,1,=0的检验,对于拟合的F检验,R,2,(决定系数)及修正的R,2,.,检验问题等对于系数b1=0的检验,14,多个自变量的回归,如何解释拟合直线?,什么是逐步回归方法?,多个自变量的回归如何解释拟合直线?什么是逐步回归方法?,15,自变量中有定性变量的回归,例1,(highschoo.sav),的数据中,还有一个自变量是定性变量,“收入”,以虚拟变量或哑元(dummy variable)的方式出现;这里收入的“低”,“中”,“高”，用1,2,3来代表.所以,如果要用这种哑元进行前面回归就没有道理了.,以例1数据为例,可以用下面的模型来描述:,自变量中有定性变量的回归 例1(highschoo.sav),16,自变量中有定性变量的回归,现在只要估计,b,0,b,1,和,a,1,a,2,a,3,即可。,哑元的各个参数,a,1,a,2