心理学研究方法-多元回归分析

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,多元线性回归,内容,基础概念,一元线性回归,一元回归方程、线性回归条件,步骤,强影响点判断,多元线性回归,1,、回归方程、线性回归条件,2,、线性回归步骤,3,、评价方程的优度,4,、强影响点判断,5,、多重共线性的判断,基础概念,回归,什么是回归？,变量间存在相关关系时，也就具备了建立预测关系的基础。在相关变量见建立预测方程式的统计学方法叫做,回归分析。,在问卷调查中用得多,包括,线性和非线性、一元和多元回归分析,一元和多元线性回归,一元线性回归：,在两个变量具有线性关系的基础上，建立预测方程式。用一个变量预测另一个变量。,如儿童的身高和体重存在线性相关，当得知身高时，预测被试的体重范围。,多元线性回归：,多个变量都与一个变量存在相关关系，建立用预测方程式。用多个变量预测某一个变量。,例如：儿童的体重和年龄，都与身高存在线性关系，当已知体重和年龄时，对身高进行预测。,一元和多元线性回归的差别在于自变量的个数,一元线性回归,一元线性回归方程,（使用原始数据计算的回归方程）,Y,是因变量，,X,是自变量，,alpha,和,beta,是待求的参数。,=,（,y,/,x,）*,r,，称为非标准化回归系数,=,y,-,x,标准化回归方程,（使用标准化的数据计算的回归方程）,Z,Y,=BZ,x,B,=,（,Zy,/,Zx,）*,r=1,*,r=r,，,称为,标准化,回归系数,两种方程表现形式,回归分析的一般过程,1,、,提出假设的回归模型,，确定自变量和因变量。自变量是现实中容易测量的，而因变量是难测量的，如幸福感、自我效能感等,2,、,估计回归是线性还是非线性,，,用散点图,判断。如果是线性则用线性回归。,(,必须做,),3,、,建立回归方程,4,、,回归方程的有效性检验，测定系数和回归系数,一元线性回归的条件,1,、线性趋势,（用散点图检测）,2,、独立性：,因变量,y,的取值相互独立，残差独立。,用,durbin-watson,计算，值在,0-4,。如果残差间相互独立，则取值在,2,附近。,D,小于,2,说明相邻误差存在负相关。大于,2,，说明存在正相关,3,、正态性：,自变量的任何一个线性组合，因变量,y,都服从正态分布，残差正态（直方图和,PP,图）。,4,、方差齐性：,自变量的任何一个线性组合，因变量,y,的方差均相同,（把,ZPRED,放入,Y,轴，把,ZRESID,放入,X,轴做图）,注意的问题,强影响点判断（极端值的判断,）,Cooks distance,：当值,1,，表明是特别大的极端值。,leverage,值（杠杆值）：当值,3,倍均数，均数为（自变量个数,+1,）,/N,画散点图：,最后把,cook,距离值和,leverage,杠杆值分别作为,X,和,Y,轴画散点图，方便判断。,强影响点处理,判断原因，考虑是否删除,一元线性回归例子,建立体重和肺活量的回归方程（用练习1的数据）,一元线性回归步骤,先探索数据，判断是否整态、极端值,画散点图（画出散点图后，双击图，右键选add fit line at total tool）,Analyze-regression-把肺活量放入因变量dependent-体重放入自变量independent,Statistics-默认的-residuals-durin waston,save distance 勾上Cooks和leverage值,Plots-histogram 和 normal probability plot勾上-把ZPRED放入Y，把ZRESID放入X轴OK,=,（,y,/,x,）*,r=,（,0.41989/7.426,）*,0.881=0.04981,=,y,-,x,*,53.43=0.441,原始回归方程,Y=0.0498X+0.441,标准化回归方程,Zy=0.881Zx,测定系数,判断因变量,Y,是独立的,回归方程的显著性检验,回归方程的系数、标准化回归系数、回归系数的显著性检验,决定系数,决定系数,R,2,值域在,0,1,越接近于,1,，表明方程的自变量对,y,的解释能力越强。,当变量的关系是线性关系时，,R,2,越大，说明回归方程拟合数据越好，共变越多。,校正的决定系数：,随着自变量的增加，,R,2,自然就会随之增加。所以,R2,是一个受自变量个数与样本规模影响的系数，一般的常规是,1:10,为好。当这个比例小于,1:5,时，,R,2,倾向于高估实际的拟合优度。为了避免这种情形，常用校正的,R,2,代替。,回归方程显著：,说明,X,与,Y,有显著的线性关系。用该方程表示,X,与,Y,之间的关系是可靠的。如果不显著，则不能用回归方程表示,X,与,Y,之间的关系。,残差的正态性,对比直方图和正态曲线的相似性，是否是中间高，两头低。P-P图的点是不是接近对角线。,残差齐性,多元回归,偏回归系数：,当其他变量不变时，,x,i,每改变一个单位，所预测的,y,的平均变化量。受到自变量的单位影响。因此可以用标准化回归系数。,标准化偏回归系数：,可以用来比较哪个自变量是影响,y,的主要因素，哪个是次要因素（即哪个自变量对,y,的影响更多）。,多元回归方程,回归系数计算,标准化偏回归系数,(,假如有两个自变量,),B,1,=(r,1y,-r,2y,*r,12,)/(1-r,2,12,),B,2,=(r,2y,-r,1y,*r,12,)/(1-r,2,12,),非标准化偏回归系数,b,1,=B,1,*,（,s,y,/s,x1,）,多元回归的样本量要求,多元回归模型的样本量要求,根据经验，希望样本量在自变量数的,20,倍以上,。,比如：有,5,个自变量，则样本量应该在,100,以上，少于此数可能会出现检验效能不足的问题,多元线性回归的条件,同一元线性回归的条件,回归分析的5个步骤,回归分析的步骤,1,、做出散点图，观察变量间的趋势（是否线性）。,这些图是用来观察是否是线性趋势。如果不是线性，可能考虑其他对变量进行预处理，或用曲线回归,注意,：是否是曲线关系，或者强影响点造成的线性，或者极端值）,2,、,考察数据的分布，进行必要的预处理。,3,、进行直线回归，选入变量进入计算。,回归方程是否显著,偏回归系数显著,根据决定系数，校正决定系数判断拟合得好不好。决定最优方程,回归分析的步骤,4,、残差分析，分析两方面,：,残差是否独立：,用,durbin-watson,进行分析（取值,0d4,）。如果独立，则,d,约等于,2,。如果相邻两点的残差为正相关，,d2,。,残差是否正态：,采用残差图显示（,勾选,Histogram,和,Normal probability plot,就行）。,残差的方差齐性：,以标准化预测值（,ZPRED,）为横轴，标准化残差,(ZRESID),为纵轴做散点图。若散点随机分布，且绝大部分在,2,倍标准差以内，则最好，表明没有相关。如最左图最好。中间图随着,x,值，残差越来越大。最右图，残差非正态。,回归分析的步骤,残差是否正态,：画图来评价,1,、残差直方图：标准化残差为,x,轴，标准化残差频数为,Y,轴。与正态曲线比较，是否拟合。,2,、残差,p-p,图：累积残差观测分布为,x,轴，期望分布为,Y,轴。如果符合的话数据会和理论的直线（对角线）重合。,回归分析的步骤,5,、根据散点图，对强影响点进行判断和对多重共线性进行判断（自变量之间不能有强相关。）,最后两幅图是有强影响点。需要判断是否数据出错，出错则删掉。,回归分析的步骤,步骤同一元回归,补充步骤,在,statistic,勾上,R square change,，,part and partial correlation,（半偏相关和偏相关），,conlinerarity diagnostics,（共线性判断）,分层回归方法,Enter,：强制进入,Forward,：前向选择法,Backward,：反向删除法,Stepwise,：逐步回归，最常用,把需要控制的变量用这种方法强制,enter,法放入方程,自由进入变量用,forward,、,backward,和,stepwise,方法放入方程,Enter法,逐步回归法（可以得出更优的方程）,决定系数的变化量,回归方程的显著性检验,保留的变量，因为回归系数和偏回归系数显著,删除的变量，因为标准化回归系数不显著,多重共线性判断,回归方程的显著性检验,偏回归系数的显著性检验,决定系数,R,2,，校正决定系数,R,2,复相关系数,R,回归方程的解释能力,回归方程的解释能力,回归方程的显著性检验,当显著时，便可以认为回归方程中至少有一个回归系数是显著的，但是并不一定多有的回归系数都是显著的。,偏回归系数的显著性检验,判断指定的某个自变量的回归系数是否显著。显著的话，代表与残差相比，该,x,变量对,y,的贡献是显著的。,根据回归系数显著、偏回归系数显著、校正的决定系数判断最优方程。,复相关系数,R,值域在,0,1,是因变量,y,与所有自变量之间的多元线性相关程度的度量。,R,值越接近于,1,，表明,y,与,所有,x,之间的线性关系越密切。,对强影响点的诊断和处理,同一元线性回归,多重共线性（conlinerarity diagnostics）,判断方法,相关系数矩阵：当相关系数,0.8,，代表共线性越大。,容忍度（,tolerance,）：最大值为,1,。当值越小，代表共线性越大。,特征值（,eigenvalue,）,：表示该因子所解释变量的方差。如果很多变量的特征值,1,，表示共线性。,处理办法,增加样本量,主成分分析,谢谢！,