信效度分析课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2020/3/26,#,信度,信度主要是指测量结果的可靠性、一致性和稳定性，即测验结果是否反映了被测者的稳定的、一贯性的真实特征。,信度系数,大部分信度指标都以相关系数（,r,）表示，即用同一样本所得到的两组资料的相关系数作为测量一致性的指标，成为信度系数。,信度系数高表明测量的一致性程度高，测量误差少。理想的状态是：,r=1,。一般来说，信度系大于等于,0.8,，即可认为该测量是达到了足够的信度。,1,信度信度主要是指测量结果的可靠性、一致性和稳定性，即测验结果,一,.,重,测信度,同一种试验，对同一群受试者，前后测试两次，再根据受试者两次测验分数计算其相关系数，即得出再测信度,。,重测信度所考察的误差来源是时间的变化所带来的随机影响。在评估重测信度时，必须注意重测间隔的时间。对于人格测验，重测间隔在两周到,6,个月之间比较合适。,在进行重测信度的评估时，还应注意以下两个重要问题：重测信度一般只反映由随机因素导致的变化，而不反映被试行为的长久变化。不同的行为受随机误差影响不同。,2,一.重测信度同一种试验，对同一群受试者，前后测试两次，再根据,案例,某空间性向测验有,20,题单选题，分别在十月与第二年四月施测同一组,10,名学生，以下,是测验结果：,Person,A,B,C,D,E,F,G,H,I,J,Oct,18,16,5,13,15,16,12,5,8,10,Apr,18,18,6,16,17,16,14,5,7,11,3,案例某空间性向测验有20题单选题，分别在十月与第二年四月施测,Spss,操作,1.,将数据导入,spss,先将数据输入,excel,，,打开,spss,，,【,文件,】,【,打开文本数据,】,4,Spss操作 1.将数据导入spss4,2,.,按,【,Analyze,】,【,Correlate,】,【Bivariate,】,5,2. 按【Analyze】【Correlate】【Bi,3.,将,左边两变项选入右边,Variables,内，在,Correlation Coefficients,方盒内选取,Pearson,；在,Test of Significance,方盒内选取,Two-tailed,；勾选最下面的,Flag significant correlations,6,3. 将左边两变项选入右边Variables内，在Co,4.,输出结果,从表格可以看出，信度系数为,0.972,，远大于,0.8,，说明该量表信度高,7,4.输出结果从表格可以看出，信度系数为0.972，远大于0.,二、复本信度,如果一套测验有两种以上的复本，则可交替使用，根据一个受试者接受两种复本测验的得分计算其相关系数，即可得复本信度。复本类似于考试中得,A,、,B,卷，如果一个人在,A,卷和,B,卷的得分相同，就说明考题具有信度；如果两者差异很大，则缺乏信度,。,复本信度的主要优点在于：能够避免重测信度的一些问题，如记忆效果、练习效应等；适用于进行长期追踪研究或调查某些干涉变量对测验成绩影响；减少了辅导或作弊的可能性。复本信度的局限性在于：如果测量的行为易受练习的影响，则复本信度只能减少而不能消除这种影响；有些测验的性质会由于重复而发生改变；有些测验很难找到合适的复本。,8,二、复本信度如果一套测验有两种以上的复本，则可交替使用，根据,案例,某自我概念量表，有,20,题是非题，题本,A,与,B,分别施测同一组,10,个人，分数愈高表示愈具有正向自我概念，以下是施测,结果：,Person,A,B,C,D,E,F,G,H,I,J,Form A,16,12,14,10,9,11,13,9,16,12,Form B,15,12,15,10,10,12,14,9,16,13,9,案例某自我概念量表，有20题是非题，题本A与B 分别施测同一,Spss,操作（与重测信度操作相同）,1.,将,数据导入,spss,2.,按,【,分析,】,【,相关,】,【,双变量,】,3.,将,左边两变项选入右边,变量,内，在,相关系数,方盒内选取,Pearson,；在,显著性检验,方盒内选取,双尾检验,；勾选最下面的,标记显著性相关,4.,输出结果,10,Spss操作（与重测信度操作相同）1. 将数据导入spss1,从,表格可以看出，信度系数为,0.963,，,远大于,0.8,，反映,了这两个测验,复本,A,、,B,在,内容上的等值性,程度高。,11,从表格可以看出，信度系数为0.963，远大于0.8，反映了这,三、折半信度,折半信度法是将调查项目分为两半，计算两半得分的相关系数，进而估计整个量表的信度,。,折半,信度属于内在一致性系数，测量的是两半题项得分间的一致性。这种方法一般不适用于事实式问卷（如年龄与性别无法相比），常用于态度、意见式问卷的信度分析,。,在,问卷调查中，态度测量最常见的形式是,5,级李克特（,Likert,）量表。进行折半信度分析时，如果量表中含有反意题项，应先将反意题项的得分作逆向处理，以保证各题项得分方向的一致性，然后将全部题项按奇偶或前后分为尽可能相等的两半，计算二者的相关系数,。,12,三、折半信度折半信度法是将调查项目分为两半，计算两半得分的相,案例,6,题的随堂测验施测,5,位学生，,Y,表示答对，,N,表示答错，以下是测验,结果：,Person,Item 1,Item 2,Item 3,Item 4,Item 5,Item 6,Joe,Y,Y,Y,Y,N,Y,Sam,Y,N,N,Y,N,Y,Sue,Y,Y,N,Y,Y,Y,Peg,N,Y,N,N,Y,N,Gil,N,Y,N,N,Y,Y,13,案例6题的随堂测验施测5位学生， Y表示答对，N表示答错，以,Spss,操作,1.,输入数据,将,Y,用,1,替换，,N,用,0,替换,。,14,Spss操作1.输入数据14,2.,计算奇数题与偶数题的和,按,【,转换,】,【,计算变量,】,图为奇数和，偶数和亦然,15,2. 计算奇数题与偶数题的和 按【转换】【计算变,结束后便会在,spss,Data,Editor,对话框中出现奇数题和偶数题的和。,16,结束后便会在spss Data Editor对话框中出现奇,3.,按,【,分析,】【,相关,】【,双变量,】,17,3.按【分析】【相关】【双变量】17,4.,输出结果,18,4.输出结果18,或是在输入数据后，,按,【,分析,】,【,度量,】,【,可靠性分析,】,19,或是在输入数据后，按【分析】【度量】【可靠性分析】,输出结果,20,输出结果20,四、一致性信度,21,四、一致性信度21,案例数据,22,案例数据22,Spss,操作,过程,1.,计算,系数,【,分析,】,【,度量,】,【,可靠性分析,】,23,Spss操作过程1.计算系数23,输出结果,结果,该案例的,值为,0.731,，,严格说来,值要在,0.8,以上，那么就需要进行调试，试着让问卷的信度更高。,24,输出结果结果 该案例的值为0.731，,分析 度量 可靠性分析,25,分析 度量 可靠性分析25,结果,。,在第二个表格的最后一列，数值代表如果删除这个问题，剩余问题的,值,。,当该值不降反增，就意味着这个问题是没有信度的，可以上去，从而增加问卷的信度。,可以,从表中看出第,1,、,8,、,10,项对应的值不降反增，即大于,0.731,，,所以可以删去这三项,26,结果。在第二个表格的最后一列，数值代表如果删除这个问题，,删除无信度的,1,、,8,、,10,项后，再次计算,值,27,删除无信度的1 、8、10项后，再次计算值27,结果,当删除了第,1,、,8,、,10,这,3,项后，,系数已经达到,0.8,了，这说明该问卷的信度已经足够高了。,虽然从第二个表格的最后一列数据来看，还有改进的空间，但是已不需要再删除项了,28,结果28,效度,效度即,有效性，它是指测量工具或手段能够准确测出所需测量的事物的程度,。测量,结果与要考察的内容越吻合，则效度越高,;,反之，则效度越低,。,效度,分为三种类型,:,内容效度、准则效度和结构效度。,29,效度效度即有效性，它是指测量工具或手段能够准确测出所需测量的,一、内容效度,内容效度又称表面效度或逻辑效度，它是指所设计的题项能否代表所要测量的内容或主题。对内容效度常采用逻辑分析与统计分析相结合的方法进行评价,。,逻辑,分析一般由研究者或专家评判所选题项是否“看上去”符合测量的目的和要求,。,统计分析,主要采用单项与总和相关分析法获得评价结果，即计算每个题项得分与题项总分的相关系数，根据相关是否显著判断是否有效。若量表中有反意题项，应将其逆向处理后再计算总分。,30,一、内容效度内容效度又称表面效度或逻辑效度，它是指所设计的题,二、准则效度,准则,效度又称为效标效度或预测效度。准则效度分析是根据已经得到确定的某种理论，选择一种指标或测量工具作为准则（效标），分析问卷题项与准则的,联系。,若,二者相关显著，或者问卷题项对准则的不同取值、特性表现出显著差异，则为有效的题项。评价准则效度的方法是相关分析或差异显著性检验,。,在,调查问卷的效度分析中，选择一个合适的准则往往十分困难，使这种方法的应用受到一定限制。,31,二、准则效度 准则效度又称为效标效度或预测,三、结构效度,结构,效度是指测量结果体现出来的某种结构与测值之间的对应程度。结构效度分析所采用的方法是因子分析,。,有,的学者认为，效度分析最理想的方法是利用因子分析测量量表或整个问卷的结构效度,。,因子分析,的主要功能是从量表全部变量（题项）中提取一些公因子，各公因子分别与某一群特定变量高度关联，这些公因子即代表了量表的基本结构。通过因子分析可以考察问卷是否能够测量出研究者设计问卷时假设的某种结构。在因子分析的结果中，用于评价结构效度的主要指标有累积贡献率、共同度和因子负荷。累积贡献率反映公因子对量表或问卷的累积有效程度，共同度反映由公因子解释原变量的有效程度，,因子,载荷,反映,原变量与某个公因子的相关,程度,32,三、结构效度结构效度是指测量结果体现出来的某种结构与测,Spss,操作,1.,沿用一致性信度分析里的数据，将没有信度的,Q1,、,Q8,、,Q10,三个变量删去,2.,按,【,分析,】,【,降维,】,【,因子,分析,】,33,Spss操作1.沿用一致性信度分析里的数据，将没有信度的Q1,因子分析,34,因子分析34,因子分析,35,因子分析35,3.,结果,因子分析之前，首先对原始数据进行,KMO,检验和,barlett,球形检验，,KMO,值,0.5,，（,barlett,球形检验的统计量的显著性概率）,p,值,0.05,，问卷才有结构效度，才能进行因子分析。,从表中数据可以看出，,p,值,=0.020.5,，通过了检验。,36,3.结果 因子分析之前，首先对原始数据进行,结果,我们,原始的数据有,7,个指标,，因为,指标毕竟不是完全相同的，我们把不完全相同的指标强行归为一类，必然会造成一些信息损失。,在对数据的,7,个指标归类,之后，对于,Q2,这个指标的提取度，由原来的,100%,变为,50.1%,，意味着损失了,49.9%,的,信息。,一般,认为所有指标的信息损失在,40%,以下，因子分析的效果才较好。,37,结果 我们原始的数据有7个指标，因为指标毕,结果,理论上所有主成分的累积方差贡献率要达到,85%,以上，,意味着主成分就包含了原始数据,85%,以上的信息，信息,损失,少。,在这个案例中，按照特征值大于,1,的原则，我们可以提取出两个主成分，累积方差贡献率为,64.734%,，,38,结果理论上所有主成分的累积方差贡献率要达到85%以上，意味着,结果,在旋转元件矩阵当中，本应该没有空白，但因为设置了载荷大于,0.6,的才显示，所以载荷比较小的就被屏蔽了。,由表中数据可看出，成分,1,在,Q6,、,Q5,、,Q4,、,Q3,上的载荷大于,0.6,，说明这,4,个指标可以归为一类，以此推类，,Q7,、,Q8,这两个指标可以归为另一类，而,Q9,在两个成分的载荷都小于,0.6,，所以可以说它是没有效度的。,39,结果在旋转元件矩阵当中，本应该没有空白，但因为设置了载荷大于,