人才测评的信度和效度

单击此处编辑母版标题样式,*,*,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,演示文档,路漫漫其悠远,少壮不努力，老大徒悲伤,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,人才测评的信度和效度,第二节 人事测量的信度,一、信度的定义,1.信度指测量结果的,可靠性或一致性,。,测验量表或问卷必须具有较高的信度。,例如：,能力与学习成绩测验：0.90以上。,性格、兴趣、价值观测验：0.80以上。,2.误差,（1）抽样误差：,由抽样变动而造成的误差。,信度估计时抽样误差可以忽略不计。,（2)系统误差,：与测验目的无关的因子所引起的恒定的、系统的、有规律变化，存在于每次测验中的误差。,系统误差与效度有关，与信度无关。,（3）随机误差,：使用测量工具进行心理测量时所造成的误差，无规律性。,测量误差与信度、效度都有关，信度则完全受测量误差的影响。,3.信度考虑的问题,（1）稳定性问题,测验分数一致性的程度。,一个人的获得分数与“真实分数”之间的接近程度。,测验的测量一致性是否可以达到实际应用的程度。,（2）影响稳定性的原因,什么因素造成了这种误差？,这些效应的相对作用如何？,二、信度的作用,1.信度的表示信度系数,信度系数一般指同一样本所得的两组资料的相关。,信度系数的理论公式：,r,xx,=r,xr,2,=S,T,2,/S,X,2,其中，S,T,是真实分数标准差，S,X,是实得分数标准差。 r,xr,=S,T,/S,X,也称为信度指数。,（2）说明可以接受的信度水准,一般的能力测验与成就测验，信度系数应该在0.90以上；人格、兴趣等测验的信度系数通常应该在0.800.85之间。,当r,xx,0.7时，可用于团体间的比较；当r,xx,0.85时，可用于鉴别个人。,（1）解释真实分数与实得分数的相关信度可以解释总方差中有多少比例是由真实分数的方差决定的。信度系数告诉我们测量的误差比例是多少。,2.信度的作用,三、信度的评定方法,1.重测信度,（1）定义：重测信度又称为稳定性系数，用同一测验，在不同时间对同一群体施测两次，这两次测量分数的相关系数(采用积差相关系数)即为重测系数。,（2）重测信度所考察的误差来源：,时间的变化所带来的随机影响。,例如由气候、偶然的噪音或其他干扰，以及引起被试本身身心状态变化的因素，如疾病、疲劳、情绪波动、焦虑等原因造成的对测量结果的影响。,（3）注意问题,重测间隔的时间。,重测信度一般只反映由随机因素导致的变化，而不反映被试行为的长久变化。,不同的行为受随机误差影响不同。,（4）适用范围,解决问题型测验不适宜使用。,不大容易受重复影响的测验，如感觉一运动测验或人格测验，比较适合用重测法计算信度系数。,2.复本信度,（1）定义：复本信度又称等值性系数，它是以两个测验复本(功能等值但题目内容不同)来测量同一群体，然后求得应试 者在这两个测验上得分的相关系数(积差相关)。,（2）测验目的：考察两个测验复本的题目取样或内容取样是否等值。,（3）测验方式,同时施测：实践中，一半被试先做其中的一个复本，另一半被试先做另一个复本。,不同时施测：所测得的是重测复本信度，更为严格。,（4）优缺点,优点：,能够避免重测信度的一些问题，如记忆效果、练习效应等；,适用于进行长期追踪研究或调查某些干涉变量对测验成绩影响；,减少了辅导或作弊的可能性。,局限性：,只能减少而不能消除练习的影响；,有些测验的性质会由于重复而发生改变。,有些测验很难找到合适的复本。,3.内部一致性信度,(1)定义：主要反映测验内部题目之间的关系，考察测验的各个题目是否测量了相同的内容或特质。,内部一致性信度分为分半信度和同质性信度。,（2）同质性信度,定义：所有测验题目测量的只是单一特质或内容，表现为所有测验题目得分的一致性。,（3）分半信度,定义：通过将测验分成两半，计算这两半测验之间的相关性而获得的信度系数。,方法：在测验实施后将测验分为等值的两半，并分别计算每位被试在两半测验上的得分，再求出这两个分数的相关系数。,一般采用奇偶分半的方法，即将测验按奇数题和偶数题分成两半。,4.评分者信度,（1）定义：,不同评分者对同样对象进行评定时的一致性。,（2）方法：,最简单的估计方法就是随机抽取若干份答卷，由两个独立的评分者打分，再求每份答卷两个评判分数的相关系数。,（3）计算方法：,积差相关法,斯皮尔曼等级相关法,肯德尔和谐系数（评分者在三人以上，而且又采用等级记分）,四、影响信度的因素,1.样本团体的性质,样本团体的性质对信度的影响主要有以下三个方面：,(1)样本团体的分数分布,任何以相关系数表示的信度系数都会受样本团体分数分布的影响。分数分布越广，信度系数就相对越高，分数分布越窄，信度系数就会越低。,(2)样本团体的异质性,一般来说，取样团体的异质性越大，信度系数就相对越高。,(3)不同团体间能力水平的差异,2.测验的长度(题目的多少),一般来说，测验越长，信度值越高。,一方面，测验越长，题目取样或内容取样就越充分，结果就越可靠。另一方面，较长的测验也不容易受到猜测的影响。,3.测验的难度,天花板效应一个测验的难度太低，测验分数会非常集中并聚在高分端。,地板效应测验难度太大，所有分数都集中在低分端。,它们都会使测量到的分数分布太窄，导致信度降低。,只有当测验的难度水平能够使测验分数分布范围最大时，测验的信度才会比较理想。,一般来说，当所有被试的平均分为测验总分的一半，并且分数从零分到满分分布时，测量的信度最高。,第三节 人事测量的效度,一、效度的定义,1.理论定义：,效度指与测量目标有关的真实分数方差（即由测量目标变量所产生的方差）与总分方差的比率。,r,XY,=S,v,2,/S,X,2,，S,v,其中是有效方差，S,X,是总方差。,而S,X,2,=S,T,2,+S,E,2,=S,V,2,+S,I,2,+S,E,2,可见，造成测验分数变化的原因出自三大来源：测量对象本身的变化，量具的精度造成的系统误差，量具使用中造成的随机误差。,2.信度和效度的关系,（1）信度考虑的是随机误差的影响，而效度的误差还包括系统误差。,例：游标卡尺，钢琴,（2）信度是效度的必要条件。,效度高必然信度高，但信度高并不保证效度必然会高。,效度的最大值是信度系数的平方根。,例：磅秤测量身高；南辕北辙,3.效度的性质,（1）“测验的效度”指的是“测量结果的效度”，即测量结果的准确性程度。,（2）效度是连续的，只有高低差别，而非“全有”或“全无”变量。,（3）效度的高低是针对测量目标而言的。,（4）效度并非直接测量得到的，而是从已有的证据推理而得的。,二、效度评定的方法,（一）内容效度,1.定义：检查测验内容是否是所要测量的行为领域的代表性取样的指标。,内容效度分析时要注意两方面的问题：,1)应避免将测验取样的行为领域过于泛化。,2)要注意测验分数中无关因素的影响。,2内容效度的评估方法,（1）没有可用的数量化指标，只能靠推理和判断评估。,（2）依赖条件：,测验内容范围明确；,测验内容的取样有代表性。,（3）确定方法：通常是由专家根据测验题目和假设的内容范围作系统的比较判断。,也可间接借用其他统计指标说明，如评分者信度，复本信度等。,确定内容效度的步骤,1)确定总体范围，即描述有关的知识与技能及所用材料的来源；,2)编制双向细目表，确定内容和技能各自所占的比例，并由测验编制者确定各题所测的是何种内容与技能；,3)制定评定量表来测量测验的整个效度及其他特点。,3.内容效度的应用,(1) 最适合于评估,教育,和,职业成就,测验。,内容效度的评价可以回答以下两个问题：,样本的代表性；,无关因素的影响程度。,(2) 评价某些用于,选拔,和,分类,的人事测验。,(3),不,适用于,能力倾向测验,和,人格测验,。,（二）效标关联效度(效标效度),1.定义,：反映测验分数与外在标准(效标)的相关程度，即测验分数对个体的效标行为表现进行预测的有效性程度。,效标关联效度往往用于预测性测验。这种测验中，根据测验分数作出的预测一般用于甄选决策。,2.效标关联效度的类型,（1）预测效度,定义,：反映由测验分数对任一段时间间隔后被试行为表现的预测程度,。,适用范围,：对人员进行选拔、分类和安置的人事测验。,（2）同时效度,含义,：,效标材料和测验分数同时搜集。,应用范围,：,因为同时效度的评估不需要长期追踪，所以应用比较普遍。,（3） 同时效度和预测效度的差异测验目的不同。,前者多用于诊断现在的状态，后者多预测未来的结果。,3.效标和效标测量,(1)效标,:衡量测验有效性的参照标准。,(2)效标测量,:可操作的测量指标。,(3)效标分类：,观念效标,：效标的实质概念内容。,效标测量,：即效标的具体度量方法。,(4)保证效标测量客观性的要点：,避免偏见的影响(特别是等级评定)。,防止效标污染。,效标污染,由于评定者知道测验分数而影响个人的效标成绩的情形。,4.常用的效标,(1)学术成就。,这种指标常作为智力测验的效标，其逻辑假定是：智力高(以高IQ分数为标志)的人，其学术成就也应当越大。,相应的常见的效标测量有：在校成绩、学历、标准成就测验分数、教师对学生智力的评定、工作中的研究成果、有关的奖励和荣誉等。,也可以作为某些多重能力倾向测验和人格测验的效标。,(2)特殊训练成绩。,能力倾向测验：被试在将来某种特殊训练中所取得的成绩。,多重能力倾向测验：学校中类似课程的成绩。,(3)实际工作表现。,这种效标可用于起选拔作用的一般智力测验、人格测验及能力倾向测验等。,(4)团体对照。,方法：用两个在效标表现上有差别的团体，比较他们在预测源分数上的差别。,应用范围：,学业成绩或工作业绩。,人格测验（团体对比法）。,(5)等级评定。,这种评定往往由应试者的老师、同学、上级、同事等观察者作出。,这种评定不局限于对应试者某种成就(如工作绩效)的评定，也可以包括观察者根据测验所欲测量的心理特质在被评定者身上的表现而作出的一种个人判断。,评定可以作为任何测验的效标，尤其适合人格测验，因为人格测验的客观效标很难找到。,(6)先前有效的测验。,一个新测验和先前有效测验的相关也经常作为 效度的证据。当新测验只是现有有效测验的简式时，后者的成绩完全可以作为一种效标测量。,纸笔测验可以用效度已知的操作测验成绩作效 标测量；团体测验可用个体测验作为效标。,只有当新测验比先前公认的有效测验更简单、更省时、更经济时，才能用后者作为效标。,（三）构想效度,1.定义：,测验的构想效度是指测验能够测量到理论上的 构想或特质的程度。,所谓构想通常指一些抽象的、假设性的概念或特质，如智力、创造力、言语流畅性、焦虑等。这些构想往往无法直接观察，但是每个构想都有其心理上的理论基础和客观现实性，都可以通过各种可观察的材料加以确定。,构想效度关注的问题是：测验是否能正确反映理论构想的特性。,2.确定构想效度的步骤,(1)建立理论框架，以解释被试在测验上的表现；,(2)依据理论框架，推演出各种有关测验成绩的假设；,(3)以逻辑和实证的方法来验证假设，根据这些累积材料决定这种理论 是否能恰当地解释现有材料，如果不能作出恰当解释，则应该修正上述假设，直到能作出恰当的解释为止。,3.确定构想效度的一般方法,(1)测验内部的方法:如测验内容效度、内部一致性等指标；,(2)测验间的方法:如相容效度、因素分析、会聚效度和区分效度等指标；,(3)效标效度的研究:如发展变化等指标；,(4)实验和观察方法:检验是否有构想效度。,4.确定构想效度的指标,1)发展变化。,智力测验中最常用的标准是年龄差异。通常是考察实际年龄来观察测验分数是否逐年增加。,2)与其他测验的相关。,3)因素分析。,因素分析是分析行为资料内部关系、结构特性的一种统计技术，比较适合于对构想效度的研究。通过因素分析可以找出测验中所包含的特质。,4)内部一致性,用来考验内部一致性的方法主要有三种：,(i)考察总分数较高和较低两类人在各题目上通过率的大小，比较每个题目上总分最高的27的被试与总分最低的27的被试，如果前者在该题上的通过率显著大于后者(一般要求在30一40以上)，则认为题目是有效的，否则应淘汰或修改。,(ii)计算题目与总分的相关，如未达显著水准，应予淘汰。,(iii)求分测验与总分的相关。在编制这种测验时，常要求各分测 验与总分有显著相关，如果这一相关未达显著水平，则应予删除。,5)会聚效度和区分效度,坎贝尔(DTCampbell)和费斯克(DWFiske)1959年提出的构想效度的一种考验方法。,会聚效度：一个测验与测量相同特质或构想等理论上有关的变量有高的相关。,区分效度：一个测验与测量不同特质或构想等理论上不同的变量有低的相关。,三、影响效度的因素,（一）测验的因素,1测题中所用词汇和句型不能过于困难。,2试题的意思应该清楚。,3所编制的测题应该适合所要测量的学习结果。,4测题中不能提供额外线索。,5测题的编制要合理。,6选择题的正确答案不能有明显的组型。,7测题数目增加测题的数目,8测题的难度要适当。,(1)常模参照测验测题平均难度应在0.5左右，并有适当的难度分布。,(2)标准参照测验测题难度应该与教学目标的要求相一致，不需要区分学生的优劣，,（二）测验实施和计分方面,1.测验情境，如场地的布置、材料的准备等。,2.是否遵照测验使用手册的各项规定进行标淮化的施测。,3.指导语是否已将答题方式说明清楚；,4.是否按要求进行时间限制。,(三)被试的主观方面,被试的兴趣、动机、情绪、态度和身体健康状况以及是否充分合作与尽力而为等，都会影响到测验结果的可靠性和正确性，即效度和信度。,（四）样组方面,1样本的代表性,2样本规模：,样本的规模越大，测量误差就越小。,3样本的异质性,如果一个团体的测验分数完全相同，即样本具有同质性，则这个团体测验分数与准则分数的相关为0，也就是效度系数为0。因此，如果其他条件相等，样组分数全距越大，则效度系数越高。,附：确定干涉变量的方法吉谢利(EEGhiselli),用回归方程求得每个人的预测效标分数，将他们与实际效标分数相比较，可以得到差数D，如D的绝对值很大，说明测验中可能存在干涉变量。,根据样本团体的构成分析，选择不同的对照组，分别计算效度，从而找出干涉变量。,根据干涉变量将欲测团体分为高预测性和低预测性两个亚团体，从高预测性团体获得的测验的效度较高。,（五）效标的性质,1.一般来说，如果其他条件相同，所测量的行为或心理特质与效标行为或特质越相似，效度系数就越高。,2.效标与测验分数之间的关系是否线性。,皮尔逊积差相关的前提假设是，两个变量的关系是线性的均匀分布。如果测验分数与效标之间的关系是非线性的，采用皮尔逊积差相关会低估相关的大小。,测评方法,形式,有效性,成本,建议适用对象,评价中心,活动,最高,最高,中高级及以上干部,行为事件访谈法,录音谈话,很高,高,各级干部及市场人员,结构化面试,问答,高,高,中初级干部及市场人员,人格问卷,纸笔问卷,中等,低,各级各类人员,知识、能力测试,纸笔/模拟,中等,中等,普通咒工、基层干部,自传履历,资料,低,低,新招聘人员,推荐信函,资料,低,低,各级各类人员,民主评议,纸笔评定,中等,中等,各级各类人员,附表1：各种测评方法的特点比较,方法,效度,公平程度,可用性,成本,智力测验,中,中,高,低,性向和能力测定,中,高,中,低,个性与兴趣测验,中,高,低,中,面谈,低,中,高,中,工作模拟,高,高,低,高,情景练习,中,未知,低,中,个人资料,高,中,高,低,同行评定,高,中,低,低,自我介绍,低,高,中,低,推荐信,低,-,高,低,评价中心,高,高,低,高,附表2：各类测评方法在四项指标上的评价,