心理学研究方法-多元回归分析课件

多元线性回归多元线性回归多元线性回归1内容内容n基础概念基础概念n一元线性回归一元线性回归p一元回归方程、线性回归条件p步骤p强影响点判断n多元线性回归多元线性回归p1、回归方程、线性回归条件p2、线性回归步骤p3、评价方程的优度p4、强影响点判断p5、多重共线性的判断内容基础概念2基础概念基础概念基础概念3回归回归n什么是回归？什么是回归？l变量间存在相关关系时，也就具备了建立预测变量间存在相关关系时，也就具备了建立预测关系的基础。在相关变量见建立预测方程式的关系的基础。在相关变量见建立预测方程式的统计学方法叫做统计学方法叫做回归分析。回归分析。n在问卷调查中用得多在问卷调查中用得多n包括包括线性和非线性、一元和多元回归分析线性和非线性、一元和多元回归分析回归什么是回归？4一元和多元线性回归一元和多元线性回归n一元线性回归：在两个变量具有线性关系的基础上，建立预测方程式。用一个变量预测另一个变量。如儿童的身高和体重存在线性相关，当得知身高时，预测被试的体重范围。n多元线性回归：多个变量都与一个变量存在相关关系，建立用预测方程式。用多个变量预测某一个变量。例如：儿童的体重和年龄，都与身高存在线性关系，当已知体重和年龄时，对身高进行预测。一元和多元线性回归的差别在于自变量一元和多元线性回归的差别在于自变量的个数的个数一元和多元线性回归一元线性回归：在两个变量具有线性关系的基础5一元线性回归一元线性回归一元线性回归6一元线性回归方程一元线性回归方程（使用原始数据计算的回归方程）（使用原始数据计算的回归方程）lY是因变量，是因变量，X是自变量，是自变量，alpha和和beta是待求的参数。是待求的参数。l=（y/x）*r，称为非标准化回归系数，称为非标准化回归系数l=y-x标准化标准化回归回归方程方程（使用标准化的数据（使用标准化的数据计算的回归方程）计算的回归方程）ZY=BZxnB=（Zy/Zx）*r=1*r=r，称为称为标准化标准化回归回归系数系数两两种种方方程程表表现现形形式式一元线性回归方程（使用原始数据计算的回归方程）Y是因变量，X7回归分析的一般过程回归分析的一般过程n1、提出假设的回归模型提出假设的回归模型，确定自变量和因，确定自变量和因变量。自变量是现实中容易测量的，而因变量。自变量是现实中容易测量的，而因变量是难测量的，如幸福感、自我效能感变量是难测量的，如幸福感、自我效能感等等n2、估计回归是线性还是非线性估计回归是线性还是非线性，用散点图用散点图判断。如果是线性则用线性回归。判断。如果是线性则用线性回归。(必须做必须做)n3、建立回归方程建立回归方程n4、回归方程的有效性检验，测定系数和回回归方程的有效性检验，测定系数和回归系数归系数回归分析的一般过程1、提出假设的回归模型，确定自变量和因变量8一元线性回归的条件一元线性回归的条件n1、线性趋势（用散点图检测）n2、独立性：因变量y的取值相互独立，残差独立。l用durbin-watson计算，值在0-4。如果残差间相互独立，则取值在2附近。D小于2说明相邻误差存在负相关。大于2，说明存在正相关n3、正态性：自变量的任何一个线性组合，因变量y都服从正态分布，残差正态（直方图和PP图）。n4、方差齐性：自变量的任何一个线性组合，因变量y的方差均相同（把ZPRED放入Y轴，把ZRESID放入X轴做图）一元线性回归的条件1、线性趋势（用散点图检测）9注意的问题注意的问题n强影响点判断（极端值的判断强影响点判断（极端值的判断）lCooks distance：当值：当值1，表明是特别大的，表明是特别大的极端值。极端值。lleverage值（杠杆值）：当值值（杠杆值）：当值3倍均数，均数倍均数，均数为（自变量个数为（自变量个数+1）/Nl画散点图：画散点图：最后把最后把cook距离值和距离值和leverage杠杆杠杆值分别作为值分别作为X和和Y轴画散点图，方便判断。轴画散点图，方便判断。l强影响点处理强影响点处理判断原因，考虑是否删除判断原因，考虑是否删除注意的问题强影响点判断（极端值的判断）10一元线性回归例子一元线性回归例子n建立体重和肺活量的回归方程（用练习1的数据）一元线性回归例子建立体重和肺活量的回归方程（用练习1的数据）11一元线性回归步骤一元线性回归步骤n先探索数据，判断是否整态、极端值n画散点图（画出散点图后，双击图，右键选add fit line at total tool）nAnalyze-regression-把肺活量放入因变量dependent-体重放入自变量independentnStatistics-默认的-residuals-durin wastonnsave distance 勾上Cooks和leverage值nPlots-histogram 和 normal probability plot勾上-把ZPRED放入Y，把ZRESID放入X轴OK一元线性回归步骤先探索数据，判断是否整态、极端值12=（y/x）*r=（0.41989/7.426）*0.881=0.04981=y-x =3.1027-0.04981*53.43=0.441原始回归方程原始回归方程Y=0.0498X+0.441标准化回归方程标准化回归方程Zy=0.881Zx=（y/x）*r=（0.41989/7.42613测定系数测定系数判断因变量判断因变量Y是是独立的独立的回归方程的显著回归方程的显著性检验性检验回归方程的系数、回归方程的系数、标准化回归系数、标准化回归系数、回归系数的显著性回归系数的显著性检验检验测定系数判断因变量Y是独立的回归方程的显著性检验回归方程的系14决定系数决定系数n决定系数决定系数R2l值域在值域在0,1,越接近于越接近于1，表明方程，表明方程的自变量的自变量对对y的解释能力越强。的解释能力越强。l当变量的关系是线性关系时，当变量的关系是线性关系时，R2越大，说明回越大，说明回归方程拟合数据越归方程拟合数据越好，共变越多。好，共变越多。校正的决定系数：校正的决定系数：随着自变量的增加，随着自变量的增加，R2自然就会随之增加。所以自然就会随之增加。所以R2是一个受自是一个受自变量个数与样本规模影响的系数，一般的常规是变量个数与样本规模影响的系数，一般的常规是1:10为好。当为好。当这个比例小于这个比例小于1:5时，时，R2倾向于高估实际的拟合优度。为了避免倾向于高估实际的拟合优度。为了避免这种情形，常用校正的这种情形，常用校正的R2代替。代替。决定系数决定系数R2校正的决定系数：15n回归方程显著：回归方程显著：说明X与Y 有显著的线性关系。用该方程表示X与Y之间的关系是可靠的。如果不显著，则不能用回归方程表示X与Y 之间的关系。回归方程显著：说明X与Y 有显著的线性关系。用该方程表示X与16残差的正态性残差的正态性n对比直方图和正态曲线的相似性，是否是中间高，两头低。P-P图的点是不是接近对角线。残差的正态性对比直方图和正态曲线的相似性，是否是中间高，两头17残差齐性残差齐性残差齐性18多元回归多元回归多元回归19偏回归系数：当其他变量不变时，xi每改变一个单位，所预测的y的平均变化量。受到自变量的单位影响。因此可以用标准化回归系数。标准化偏回归系数：可以用来比较哪个自变量是影响y的主要因素，哪个是次要因素（即哪个自变量对y的影响更多）。多元回归方程多元回归方程偏回归系数：当其他变量不变时，xi每改变一个单位，所预测的y20回归系数计算回归系数计算n标准化偏回归系数(假如有两个自变量)pB1=(r1y-r2y*r12)/(1-r212)pB2=(r2y-r1y*r12)/(1-r212)n非标准化偏回归系数pb1=B1*（sy/sx1）回归系数计算标准化偏回归系数(假如有两个自变量)21多元回归的样本量要求多元回归的样本量要求n多元回归模型的样本量要求多元回归模型的样本量要求p根据经验，希望样本量在自变量数的根据经验，希望样本量在自变量数的20倍以上倍以上。比如：有5个自变量，则样本量应该在100以上，少于此数可能会出现检验效能不足的问题多元回归的样本量要求多元回归模型的样本量要求比如：有5个自变22多元线性回归的条件多元线性回归的条件n同一元线性回归的条件多元线性回归的条件同一元线性回归的条件23回归分析的回归分析的5个步骤个步骤回归分析的5个步骤24回归分析的步骤回归分析的步骤n1、做出散点图，观察变量间的趋势（是否线性）。这些图是用来观察是否是线性趋势。如果不是线性，可能考虑其他对变量进行预处理，或用曲线回归注意注意：是否是曲线关系，或者强影响点造成的线性，或者极：是否是曲线关系，或者强影响点造成的线性，或者极端值）端值）回归分析的步骤1、做出散点图，观察变量间的趋势（是否线性）。25n2、考察数据的分布，进行必要的预处理。n3、进行直线回归，选入变量进入计算。p回归方程是否显著p偏回归系数显著p根据决定系数，校正决定系数判断拟合得好不好。决定最优方程回归分析的步骤回归分析的步骤2、考察数据的分布，进行必要的预处理。回归分析的步骤26n4、残差分析，分析两方面：残差是否独立：残差是否独立：用durbin-watson进行分析（取值0d4）。如果独立，则d约等于2。如果相邻两点的残差为正相关，d2。残差是否正态：残差是否正态：采用残差图显示（勾选Histogram和Normal probability plot就行）。残差的方差齐性：残差的方差齐性：以标准化预测值（ZPRED）为横轴，标准化残差(ZRESID)为纵轴做散点图。若散点随机分布，且绝大部分在2倍标准差以内，则最好，表明没有相关。如最左图最好。中间图随着x值，残差越来越大。最右图，残差非正态。回归分析的步骤回归分析的步骤4、残差分析，分析两方面：回归分析的步骤27n残差是否正态：画图来评价p1、残差直方图：标准化残差为x轴，标准化残差频数为Y轴。与正态曲线比较，是否拟合。p2、残差p-p图：累积残差观测分布为x轴，期望分布为Y轴。如果符合的话数据会和理论的直线（对角线）重合。回归分析的步骤回归分析的步骤残差是否正态：画图来评价回归分析的步骤28n5、根据散点图，对强影响点进行判断和对多重共线性进行判断（自变量之间不能有强相关。）最后两幅图是有强影响点。需要判断是否数据出错，出错则删掉。回归分析的步骤回归分析的步骤5、根据散点图，对强影响点进行判断和对多重共线性进行判断（自29步骤同一元回归步骤同一元回归n补充步骤在statistic勾上R square change，part and partial correlation（半偏相关和偏相关），conlinerarity diagnostics（共线性判断）步骤同一元回归补充步骤30分层回归方法分层回归方法nEnter：强制进入nForward：前向选择法nBackward：反向删除法nStepwise：逐步回归，最常用n把需要控制的变量用这种方法强制enter法放入方程n自由进入变量用forward、backward和stepwise方法放入方程分层回归方法Enter：强制进入31Enter法法Enter法32逐步回归法（可以得出更优的方程）逐步回归法（可以得出更优的方程）逐步回归法（可以得出更优的方程）33决定系数的变化量决定系数的变化量决定系数的变化量34回归方程的显著性检验回归方程的显著性检验保留的变量，因为回归系数和偏回归系数显著保留的变量，因为回归系数和偏回归系数显著删除的变量，因为标准化回归系数不删除的变量，因为标准化回归系数不显著显著回归方程的显著性检验保留的变量，因为回归系数和偏回归系数显著35多重共线性判断多重共线性判断36n回归方程的显著性检验n偏回归系数的显著性检验n决定系数R2，校正决定系数R2n复相关系数R回归方程的解释能力回归方程的解释能力回归方程的显著性检验回归方程的解释能力37回归方程的解释能力回归方程的解释能力n回归方程的显著性检验回归方程的显著性检验p当显著时，便可以认为回归方程中至少有一个回归系数是显著的，但是并不一定多有的回归系数都是显著的。n偏回归系数的显著性检验偏回归系数的显著性检验p判断指定的某个自变量的回归系数是否显著。显著的话，代表与残差相比，该x变量对y的贡献是显著的。n根据回归系数显著、偏回归系数显著、校正的决定系数判断最优方程。回归方程的解释能力回归方程的显著性检验38n复相关系数复相关系数Rp值域在值域在0,1,是因变量是因变量y与所有自变量之间的多与所有自变量之间的多元线性相关程度的度量。元线性相关程度的度量。pR值越接近于值越接近于1，表明，表明y与与所有所有x之间的线性关系之间的线性关系越密切。越密切。复相关系数R39对强影响点的诊断和处理对强影响点的诊断和处理n同一元线性回归对强影响点的诊断和处理同一元线性回归40多重共线性（多重共线性（conlinerarity diagnostics）n判断方法判断方法p相关系数矩阵：当相关系数相关系数矩阵：当相关系数0.8，代表共线性代表共线性越越大。大。p容忍度（容忍度（tolerance）：）：最大最大值为值为1。当值越小，当值越小，代表共线性越大。代表共线性越大。p特征值（特征值（eigenvalue）：表示该因子所解释变量的方差。如果很多变量的特征值1，表示共线性。n处理办法处理办法p增加样本量增加样本量p主成分分析主成分分析多重共线性（conlinerarity diagnostic41谢谢！谢谢！谢谢！42