信度和效度测量课件

单击此处编辑标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,信度和效度测量,信度和效度测量,测量理论,信度,效度,信度与效度的关系,信度与效度的分类及,Stata,计算,信度与效度的影响因素,提高信度与效度的途径,主要内容,测量理论主要内容,测量理论,测量理论,信度,(Reliability),正如很多教科书所说：信度是指测试方法不受随机误差干扰的程度，反映测试结果的一致性和稳定性,(consistency, and stability),。,信度(Reliability)正如很多教科书所说：信度是指测,效度,(Validity),它反映测试的准确性,(accuracy),，即在多大程度上测量了想要测的内容。,T,效度(Validity)它反映测试的准确性(accuracy,信度和效度的关系,可以证明：,信度和效度的关系可以证明：,总而言之，信度和效度相互排斥又相互依存；没有信度就不可能有效度；没有效度，信度就毫无意义；高信度可能带来低效度；高效度也可能带来低信度。,举例来说,总而言之，信度和效度相互排斥又相互依存；没有信度就不可能有效,信度分类及计算,信度主要分为四大类：,重测信度,(Test-retest Reliability),复本信度,(Alternate-form Reliability),内部一致性系数,(Internal Consistency Reliability),评分者信度,(Scorer Reliability),信度分类及计算信度主要分为四大类：,重测信度,kappa,系数,重测信度反映两次测量结果的相关程度。对于分类变量，可采用,Cohens kappa,系数来测量：,B,A,好,坏,合计,好,20,5,25,坏,10,15,25,合计,30,20,50,重测信度kappa系数重测信度反映两次测量结果的相关程度,将上表恢复为原始数据集后，采用,Stata,的,kappa,命令可得如下结果：,Kappa,系数大于,0,.,75,表示重测信度很好,在,0,.,4,0,.,75,表示较好,而低于,0,.,4,表示较差。如果结果显示某个问卷,(,量表,),项目的,Kappa,系数低于,0,.,4,则要考虑修改或删除该项目。,将上表恢复为原始数据集后，采用Stata的kappa命令可得,重测信度,ICC,系数,对于连续变量，可采用,Ronald Fisher,(1954)提出的,ICC (Intraclass Correlation Coefficient ),系数来测量：,两种相关系数的本质区别在于,均值和方差,计算不同。在计算连续变量的重测信度时，应采用r,Fisher,系数更准确。,一般来说, ICC,大于,0. 75,表示极好, ICC,在,0. 6,0. 75,表示较好。,通常的相关系数：,重测信度ICC系数对于连续变量，可采用Ronald Fi,Stata,命令：,For,r,pearson,corr var1 var2,For r,Fisher,loneway,var1 var2,Stata命令：,复本信度,复本信度是指用母本和复本两次等值测评结果的一致性程度。它的计算与重测信度相似，即计算母本和复本测评数据的相关性。当测评结果为分数或数值时，用,r,Pearson,法或r,Fisher,计算；当测评结果为等级或名次时，用斯皮尔曼等级相关系数,(Spearman Rank Correlation),。这些方法的适用性和差异见下表：,复本信度复本信度是指用母本和复本两次等值测评结果的一致性程度,从表中数字可以看出，工人的考试成绩愈高其产量也愈高，二者之间的联系程度较一致，,r,Pearson,=0.691,；并不算太高，这可能由于它们之间的关系并不是线性的。,如果分别按考试成绩和产量高低变换成等级,(,见上表第,3,、,4,列,),，则可以计算它们之间的斯皮尔曼等级相关系数为,1,。计算斯皮尔曼等级相关系数可以将数据变换成等级以后用原有的相关系数公式计算，也可以先算出每一对样本的等级之差,d,i,，结合样本量,n,；再用下列公式计算：,上例中由于等级完全一致，所有,d,i,= 0,，所以,r-,spearman rank,=1,。,从表中数字可以看出，工人的考试成绩愈高其产量也愈高，二者之间,Stata,命令：,For r,-spearman rank,spearman,var1 var2,Stata命令：,内部一致性系数,折半信度,内部一致性系数折半信度,信度和效度测量课件,内部一致性系数,Cronbach,系数,Cronbachs ,系数越大表示问卷项目间相关性越好,内部一致性信度越高。一般而言,大于,0. 8,表示内部一致性极好,在,0. 6,0. 8,表示较好,而低于,0. 6,表示内部一致性较差。在实际应用上,Cronbachs ,值至少要大于,0. 5 ,最好能大于,0. 7 (Nunnally ,1978),。,内部一致性系数Cronbach系数Cronbachs,Stata,命令：,For r,Cronbach,alpha,var1 var2,Stata命令：,评分者信度, Kendall,系数,当评分者为两人时，评分者信度是通过对同一组被试测评分数之间的相关系数来鉴定，可使用积差相关,(r,Pearson,r,Fisher,),法或等级相关法,(r,spearman rank,),。,当评分者为两人以上，并用等级计分,(,其他形式的分数要转化为等级,),，则用肯德尔和谐系数来测量评分者信度。,评分者信度 Kendall系数当评分者为两人时，评分者信,Stata,命令：,For r,Kendall,ktau,var1 var2,Stata命令：,应聘者,评等级,面试官,一,二,三,四,五,六,A,3,1,2,5,4,6,B,2,1,3,4,5,6,C,3,2,1,5,4,6,D,4,1,2,6,3,5,E,3,1,2,6,4,5,F,4,2,1,5,3,6,19,8,11,31,23,34,361,64,121,961,529,1156,例题：,6,名面试考官对,6,名应聘者的综合素质进行了测评，评分经等级转换如下表所示，试分析评分者信度。,应聘者一二三四五六A312546B213456C321546,应聘者,评等级,面试官,A,B,C,D,E,F,甲,1,4,2.5,5,6,2.5,乙,2,3,1,5,6,4,丙,1.5,3,1.5,4,5.5,5.5,4.5,10,5,14,17.5,12,20.25,100,25,196,306.25,144,例题：,3,名面试考官对,6,名应聘者的综合素质进行了测评，评分经等级转换如下表所示，试分析评分者信度。,应聘者ABCDEF甲142.5562.5乙231564丙1.,效度分类及计算,信度主要分为三大类：,内容效度,(Content Validity),抽样效度,(Sampling Validity),表面效度,(Face Validity),效标关联效度,(Criterion-Related Validity),同时效度,(Concurrent Validity),预测效度,(Predictive Validity),构思效度,(Construct Validity),收敛效度,(Convergent Validity),区分效度,(Discriminant Validity),效度分类及计算信度主要分为三大类：,内容效度,在招聘和甄选过程中，通常涉及,内容效度和效标关联效度,。,内容效度是指测评内容反映测量目标,(,如知识、技能和行为等,),的程度。一个测验要具备较好的内容效度必须满足以下两个条件：,一、要确定好内容范围，并使测验的全部项目均在此范围内,(,抽样效度,),。它既可以是具体知识或技能，也可以是复杂行为。,二、测验项目应是已界定的内容范围的代表性样本,(,表面效度,),。也即选出的项目能包含所测的内容范围的主要方面，并且使各部分项目所占比例适当。,内容效度在招聘和甄选过程中，通常涉及内容效度和效标关联效度。,确定测验内容效度常用的方法是由专家对测验项目与所涉及的内容范围进行符合性判断，这是一种定性分析的方法。,这个效度产生的过程是：首先进行职务分析，确定完成该职位任务所需进行的工作，需具备的技能和能力；其次，确定衡量这些特征的测试题目。最后，请相关领域专家就这些测试题目是否涵盖了有效地内容进行评估和筛选。,确定测验内容效度常用的方法是由专家对测验项目与所涉及的内容范,效标关联效度,效标关联效度是指问卷,(,量表,),测量结果和效度标准,(,被假设或定义为有效的某种外在标准,),之间的一致程度。,根据效度标准获取的时间可分为,:,同时效度和预测效度。同时效度和预测效度的大小直接反映了问卷,(,量表,),效标关联效度的高低。,效标关联效度效标关联效度是指问卷(量表)测量结果和效度标准(,同时效度,(1),同时效度,(Concurrent Validity) ,即同时在研究对象中进行测评和效度标准测量得到的结果之间的相关程度,其效度系数通常较低,多在,0. 20,0. 60,之间,很少超过,0. 70 ,一般以,0. 4,0. 8,之间较理想。,例如：在招聘应届毕业生时，可将应聘大学生的面试和笔试综合分数与其在校综合测评成绩,(,效标,),进行相关性分析。,同时效度(1)同时效度(Concurrent Validit,预测效度,(2),预测效度,(Predictive Validity) ,它是指问卷,(,量表,),测量结果经过一段时间后与未来实际结果予以相关性分析,两者之间的吻合程度。,例如：对于被录用者，可以将招聘测试分数与一段时间,(,半年或一年,),之后的工作业绩考核结果进行比较。若这些人的工作绩效和招聘测试分数呈现密切相关关系时，说明招聘方法是有效的，可以推广到人员甄选与选拔中去。,预测效度(2)预测效度(Predictive Validit,分析效标关联效度的通常作法是对问卷,(,量表,),测量结果与有效标准进行相关分析,相关系数越大表示问卷,(,量表,),的效标关联效度越好,一般认为相关系数在,0. 4,0. 8,比较理想。,若为连续型变量，计算,Pearson,或Fisher相关系数,若为分类变量，则计算,Kendall,或,Spearman,等级相关系数。,一般而言,相关,系数在0. 40. 8 比较理想。,分析效标关联效度的通常作法是对问卷(量表)测量结果与有效标准,信度和效度测量课件,构思效度,(,略,),常被翻译为：架构效度，构想效度和结构效度等等。它是指测评所能衡量到理论上期望的特征的程度,即问卷,(,量表,),所要测量的概念能显示出科学的意义并符合理论上的设想,它是通过与理论假设相比较来检验的,因此也被称为理论效度。,构思效度比较复杂，超出了本科生人力资源管理专业学生的学习范围，故省略之。,构思效度(略)常被翻译为：架构效度，构想效度和结构效度等等。,信度的影响因素,被试方面,主试方面,施测情景方面,测量工具方面,两次施测的时间间隔,信度的影响因素被试方面,提高信度的途径,适当增加测验的长度。,使测试题难度分布接近正态分布，并控制在中等水平。,努力提高测验试题的区分度。,选取适当的被试团体，提高测验在同质性较强的亚团体上的信度。,主试严格执行实测规程，评分者严格按标准给分。,实测场地按测验手册要求布置，减少无关因素的干扰。,提高信度的途径适当增加测验的长度。,效度的影响因素,测验的构成,测验的实施过程,接受测验的被试,效度的影响因素测验的构成,提高效度的途径,精心编制测验量表，避免出现较大的系统误差。,妥善组织测验，控制随机误差。,创设标准的应试情景，让每个被试都能充分发挥正常水平。,选择正确的效标，定好恰当的效标测量，正确地使用有关公式。,提高效度的途径精心编制测验量表，避免出现较大的系统误差。,作业,自己练习运用,Stata,软件计算信度和效度,请学生预习以下三篇文献：,1,徐蔼婷,.,德尔菲法的应用及其难点,J.,中国统计, 2006(9),：,57-59,。,2,刘晓琴,.,基于德尔菲法的,HRM,效能评价指标量化研究,以,S,公司的薪酬管理效能指标为例,J.,人才资源开发,2011(3):387-89,。,3 Kerstin Cuhls. “Delphi method: an introduction”.,Fraunhofer Institute for Systems and Innovation Research, Germany.,作业自己练习运用Stata软件计算信度和效度,信度和效度测量课件,19. 目标的坚定是性格中最必要的力量源泉之一，也是成功的利器之一。没有它，天才也会在矛盾无定的迷径中徒劳无功。,8. 温暖是飘飘洒洒的春雨;温暖是写在脸上的笑影;温暖是义无反顾的响应;温暖是一丝不苟的配合。,14. 进入黑名单就意味着你不再是我看重的人，连陌生人都比不上。,9、两粒种一子，一片森林。,14. 成功者怎么做，我就怎么做。,6、时间，是靠自己去挤的。在你这一秒空闲的时候，时间又像脚底抹了油似的溜走了，只有去抓住它，它似乎才会停下脚步这时，你就可以做自己想做的事情。,13. 一座城市令你念念不忘，大抵是因为，那里有你深爱的人和一去不复返的青春。,12. 磨难有如一种锻炼，一方面消耗大量体能，一方面却又强身健骨。对待磨难有两种态度。一种是主动迎接，一种是被动承受。主动迎接磨难的人，在忍受磨难的痛苦时，内心多是坦然的，磨难使他好象刀剑愈见锋芒。被动承受磨难的人，在为磨难所煎熬时，内心多充满惶惑，磨难使他仿佛卵石愈见圆滑。（ ）,2. 很多时候，生活不会是一副完美的样子，能完美的不是人生，想完美的是人心。但平凡的人有平凡的心，拥有平凡的渴望和平凡的心情，用平凡淡然拼凑永恒的日子。真实而简单的活着，才是最真，最美，最快乐的事情。,6. 如果不想做点事情，就甭想到达这个世界上的任何地方。,9. 过去不等于未来;没有失败，只有暂时停止成功;采取更大量的行动。,11. 感谢那些曾让我伤心难过的日子，我知道快乐已经离我不远了。,15. 没有天生的信心，只有不断培养的信心。,2. 问题永远在自己身上。,11. 她活着了，她一个人痛苦。如果她死了，会给她众多的亲人带去痛苦，于是她就痛苦的活着智慧竖立起来的!,9. 征服世界，并不伟大，一个人能征服自己，才是世界上最伟大的人。,3. 积极向上是所以成功者的特质。,12. 绝不能松紧!他还应该像往常一样，精神抖擞地跳上这辆生活的马车，坐在驾辕的位置上，绷紧全身的肌肉和神经，吆喝着，呐喊着，继续走向前去。,19. 目标的坚定是性格中最必要的力量源泉之一，也是成功的利,39,