《多重线性回归》PPT课件.ppt

1,第十三章多因素线性回归,2,主要内容,1多重线性回归模型简介2回归系数的估计3多重回归的假设检验4评价回归方程的标准5自变量的筛选6多重线性回归的应用及其注意事项,3,某地13岁男童身高、体重、肺活量的实测数据,4,问题,身高、体重与肺活量有无线性关系？用身高和体重预测肺活量有多高的精度？单独用身高、或体重是否也能达到同样效果？身高的贡献大，还是体重的贡献大？,5,一、多重线性回归模型,多重线性回归数学模型：Y为因变量的实际观测值X1、X2、Xm为m个自变量为常数项为总体偏回归系数为残差，Y的变化中不能用现有自变量解释的部分,6,多重线性回归方程b0为截距(intercept)，又称常数(constant),表示各自变量均为0时y的估计值bj称为样本偏回归系数(partialregressioncoefficient)，表示在其他自变量固定不变的情况下，自变量xj每改变一个单位时单独引起因变量y的平均改变量。称为y的估计值或预测值(predictedvalue),7,举例,根据某地29名13岁男童的身高x1(cm)，体重x2(kg)和肺活量y(L)建立的回归方程为：当x1=150，x2=32时，表示对所有身高为150cm，体重为32kg的13岁男童，估计平均肺活量为1.9168(L)。,8,二、回归系数的估计,最小二乘法(leastsquare,LS)基本思想残差平方和(sumofsquaresforresiduals)最小,9,用偏导数方法可得出下列正规方程组,10,求解正规方程组得偏回归系数,11,标准化偏回归系数（standardizedpartialregressioncoefficient),无量纲，越大说明相应的自变量xj对y的贡献越大,12,例20-1总胆固醇和甘油三酯对空腹血糖的影响,13,三、多重回归的假设检验,回归方程（模型）的检验偏回归系数的检验,14,模型检验,方差分析法确定系数法,15,方差分析法,变异分解1.总变异：2.引进回归以后的变异(剩余):3.回归的贡献，回归平方和：,16,回归方程检验的方差分析表,17,检验步骤,1.建立假设，确定检验水准2.计算F值3.确定P值，得出结论,18,确定系数法(coefficientofdetermination),确定系数,19,R2可用于检验多元回归方程,H0：2=0；H1：20。检验统计量为：,20,偏回归系数的假设检验,t检验H0：j=0；H1：j0。,21,偏回归平方和法偏回归平方和：是指将某自变量xj从回归方程中删除后所引起的回归平方和减少的量。,22,例20-1总胆固醇和甘油三酯对空腹血糖的影响,模型检验结果,23,偏回归系数的t检验结果,24,偏回归平方和法的检验结果,F0.05,(1,37)=4.11,25,评价回归方程的标准,复相关系数校正复相关系数剩余标准差,26,复相关系数(multiplecorrelationcoefficient),0R1R反映的是因变量与所有自变量的总的相关关系,当方程中自变量个数增加时,R总是增加的。当只有一个因变量y与一个自变量x时，R就等于y与x的简单相关系数之绝对值：R=|ryx|。根据R的大小判断方程的优劣时，结论总是自变量最多的方程最好，用R衡量方程的优劣是有缺陷的。,27,校正复相关系数Rad,当有统计学意义的变量进入方程中，可使Rad增加，而当无统计学意义的变量增加到方程中时，Rad反而减少。Rad是衡量方程优劣的重要指标,28,剩余标准差,剩余标准差小则估计值与实测值接近，反之则估计值与实测值相差较大，它是反映回归方程精度的指标,29,自变量的筛选,全面分析法前进法后退法逐步回归法,30,全面分析法（最优子集法）,从所有可能的变量组合的回归方程中挑选最优者，即把所有包含1个、2个、直至全部k个自变量的回归方程都计算出来（），挑选剩余标准差最小的。,31,前进法的基本思想,选定一个标准。开始方程中没有自变量(常数项除外)按自变量对y的贡献大小由大到小依次挑选进入方程。每选入一个变量进入方程，则重新计算方程外各自变量对y的贡献。直到方程外变量均达不到入选标准，没有自变量可被引入方程为止。,32,图示：前进法,33,前进法,Y，X1X2X3X4X5第一步建立5个方程Y与x1P1=0.015Y与x2P2=0.003Y与x3P3=0.026Y与x4P4=0.223Y与x5P5=0.665选入X2方程中有一个变量,34,前进法,第二步建立4个方程Y与X2，x1P1=0.023Y与x2，x3P2=0.005Y与x2，x4P3=0.223Y与x2，x5P4=0.635选入X3方程中有二个变量x2，x3,35,前进法,第三步建立3个方程Y与X2，X3，x1P1=0.023Y与X2，X3，x4P2=0.000Y与X2，X3，x5P3=0.535选入X4方程中有三个变量X2，X3，x4,36,前进法,考虑在剩余的X1、X5选入。若P有小于0.05，继续考虑选入。依次循环，直到方程外也选不入，计算停止，此时的方程为前进法的最优方程。,37,后退法的基本思想,选定一个标准开始所有变量均在方程中按自变量对y的贡献大小由小到大依次剔除变量。每剔除一个变量，则重新计算方程内各自变量对y的贡献。直到方程内变量均达到入选标准，没有自变量可被剔除为止。,38,图示：后退法,39,后退法,Y，X1X2X3X4X5第一步建立1个方程Y与X1，X2，X3，X4，X5,40,后退法,第二步建立5个方程（考虑剔除）Y与X1，X2，X3，X4无X5所损失P1=0.723Y与X1，X2，X3，X5无X4所损失P2=0.005Y与X1，X2，X4，X5无X3所损失P3=0.123Y与X1，X3，X4，X5无X2所损失P4=0.035Y与X2，X3，X4，X5无X1所损失P4=0.535,41,后退法,第三步建立4个方程（考虑剔除）Y与X1，X2，X3无X4所损失P1=0.003Y与X1，X2，X4无X3所损失P2=0.005Y与X1，X3，X4无X2所损失P4=0.035Y与X2，X3，X4无X1所损失P4=0.535,42,后退法,第四步建立3个方程（考虑剔除）Y与X2，X3无X4所损失P1=0.003Y与X2，X4无X3所损失P2=0.002Y与X3，X4无X2所损失P3=0.005,43,后退法,若P都小于0.05，不能剔除，直到方程内剔不出，计算停止，此时的方程为后退法的最优方程。,44,逐步回归,将自变量逐个地引入方程，引入的条件是该自变量的偏回归平方和在未选入的自变量中是最大的，并F检验具有显著意义。另一方面，每引入一个新变量，要对先前选入方程的自变量逐个进行F检验，将偏回归平方和最小且无显著性的自变量剔出方程，直到方程外的自变量不能再引入，方程内的自变量不能再剔除。,45,图示：逐步回归过程,46,前进法逐步回归,Y，X1X2X3X4X5第一步建立5个方程Y与x1P1=0.015Y与x2P2=0.003Y与x3P3=0.026Y与x4P4=0.223Y与x5P5=0.665选入X2方程中有一个变量,47,前进法逐步回归,第二步建立4个方程Y与X2，x1P1=0.023Y与x2，x3P2=0.005Y与x2，x4P3=0.223Y与x2，x5P4=0.635选入X3方程中有二个变量x2，x3,48,前进法逐步回归,第三步建立3个方程Y与X2，X3，x1P1=0.023Y与X2，X3，x4p2=0.000Y与X2，X3，x5p3=0.535选入X4方程中有三个变量X2，X3，x4,49,前进法逐步回归,第四步建立3个方程（考虑剔除）Y与X2，X3无X4所损失P1=0.003Y与X2，X4无X3所损失P2=0.002Y与X3，X4无X2所损失P3=0.250,50,前进法逐步回归,此时P3大于0.05,则剔除变量X2，然后考虑在剩余的X1、X5选入。若P都小于0.05,继续考虑选入。依次循环，直到方程内剔不出，方程外也选不入，计算停止，此时的方程为前进法的最优方程。,51,后退法逐步回归,开始时全部因素都引入模型，然后分别剔除各因素，比较值最大者，经检验，如没有显著性，首先剔除。再分别考虑剔除还在模型内的各因素，如果值最大者经检验，没有显著性，再剔除。直到模型内的因素均不能剔除为止。再考虑模型外的各因素，分别引入模型，经检验，具有显著性者再引入。直到模型内的因素都具有显著性，都不能剔除，而模型外的因素都不具有显著性，不能引入，则得到最后的模型。,52,后退法逐步回归,Y，X1X2X3X4X5第一步建立1个方程Y与X1，X2，X3，X4，X5,53,后退法逐步回归,第二步建立5个方程（考虑剔除）Y与X1，X2，X3，X4无X5所损失P1=0.723Y与X1，X2，X3，X5无X4所损失P2=0.005Y与X1，X2，X4，X5无X3所损失P3=0.123Y与X1，X3，X4，X5无X2所损失P4=0.035Y与X2，X3，X4，X5无X1所损失P4=0.535,54,后退法逐步回归,第三步建立4个方程（考虑剔除）Y与X1，X2，X3无X4所损失P1=0.003Y与X1，X2，X4无X3所损失P2=0.005Y与X1，X3，X4无X2所损失P4=0.035Y与X2，X3，X4无X1所损失P4=0.535,55,后退法逐步回归,第四步建立3个方程（考虑剔除）Y与X2，X3无X4所损失P1=0.003Y与X2，X4无X3所损失P2=0.002Y与X3，X4无X2所损失P3=0.005,56,后退法逐步回归,若P都小于0.05,不能剔除，则考虑考虑选入变量。若有P大于0.05,则继续剔除，然后选入。依次循环，直到方程内剔不出，方程外也选不入，计算停止，此时的方程为后退法的最优方程。,57,方法的比较,欲求到最优方程，应用最优子集法。但计算工作量太大。前进法能得到哪个因素的单个作用大，有时漏掉单个作用小，而交互作用大的变量。后退法能得不到哪个因素的单个作用大，不会漏掉单个作用小，而交互作用大的变量。当变量间关联性强时，有时可能得不到方程。,58,分类变量数值化,1.两分类2.多分类,59,多重线性回归的应用,1.研究多个因素对某变量（指标）的影响，要求这些因素与该变量的关系是线性的。2.用多重线性回归来实现控制一些混杂因素，如校正基线、年龄和性别等。但本法只是一种简单的线性校正混杂因素方法。,60,多重线性回归的注意事项,1.用逐步回归分析或最优子集分析，其最终模型中的自变量可以认为与应变量相关。但未引入模型的变量不能轻易地认为与应变量无关，因为很可能它们与应变量的相关性较弱或与其它自变量相关，以致未能作为主要的影响因素模型。2.对于实验性研究的统计分析，一般不应作逐步回归。3.如果用多重线性回归寻找最佳预测模型，则应作残差分析，即考察各个自变量与残差之间是否存在明显的趋势变化。,