素质测评11new

第十一章第十一章素质测评的效度分析素质测评的效度分析效度的定义效度的定义效度与信度的关系效度与信度的关系如何估计素质测评的效度如何估计素质测评的效度影响效度的因素影响效度的因素第十一章第十一章 素质测评的效度分析素质测评的效度分析一、效度的涵义一、效度的涵义效度（Validity）：指测量的有效性。即能测量到所要测量的目标的程度。效度的理论模型效度的理论模型测评分数测评分数=真分数真分数要测量要测量的特征的特征随机误差随机误差不一致不一致+系统误差系统误差与所测特征与所测特征无关的特征无关的特征+二、效度与信度的关系二、效度与信度的关系信度考察具有偶然性、不稳定性的随机误差的大小；效度考察稳定的、有规律的系统误差的大小。一般而言，效度的作用比信度的作用更为重要。信度高的测试不一定效度高。但效度高的测验往往它的信度也较高。三、效度的性质三、效度的性质测验的效度 测量结果的效度：测量结果的准确性程度，而非测验本身。效度是连续性的，效度高低只是程度上的差别，不是“全有”，“全无”的变量。避免评价某某一测评的结果为“有效”和“无效”。四、如何评估效度？四、如何评估效度？内容效度构想效度效标关联效度1 1、内容效度、内容效度Content Validity测验的行为样组能代表所测量的特质的程度。也即采用的测评工具能够测量到某些特质的程度。内容效度的评估方法（1）一般而言，没有可用的量化指标，只能靠推理和专家判断来进行评估。较好的内容效度依赖于两个条件：测验内容范围明确；测验内容的取样有代表性。（2）也可采用一些统计方法：如：评分者信度；复本信度。内容范围内容范围内容范围：代表了能用来测量个体某个特征的所有行为样组，而每个测评工具都应是一个特定行为范围的抽样。内容范围应具备的特点：边界结构边界结构内容效度的评估方法社会问题政治问题文化问题欧洲1819世纪455美洲1819世纪353亚洲1819世纪334双向细目表示例内容效度的应用最适合于评估教育和职业成就测验。最适合于评估教育和职业成就测验。也适于某些用于选拔和分类的素质测评。因为这种测评中，测验内容是实际工作的一个样本，应包括实际工作所需要的技能和知识。所以，应该通过内容效度的分析来确定测验是否的确测量了实际工作中所需的知识和技能。不适于能力倾向测验和人格测验不适于能力倾向测验和人格测验。它们不是建立在某种教学课程或工作知识和技能的基础上。同一测验对于不同被试来说测量的是不同的心理过程。2、构想效度Construct validity，指测验能测量到的理论上的构想或特质的程度。构想（construct）：抽象的假设性的概念。如智力、创造力、言语流畅性、焦虑等。构想不能直接测量，需要借助测评工具。2、构想效度“构想”的特点：（1）抽象性（2）和具体的可观察的事件相联系确定“构想”的步骤（理论模型的建立）：明确那些和测量的构思相关的行为样组；明确该构思和其他一些构思是否相关；明确其他构思相关的行为样组。2、构想效度成就动机成就动机 树立有一定挑战性 的目标；冒适当的风险 对自己的行为负责 喜欢反馈 努力做某件事，直 到达到目标做事有事先安排独立完成工作积极主动与客户沟通主动性创新性分析能力人际能力/两个测验的构想效度比较假设与构想之间的关系实际相关A测验B测验树立挑战性的目标强，正相关0.60-0.32冒适当的风险强，正相关0.710.14对自己的行为负责强，正相关0.650.10喜欢反馈强，正相关0.580.21努力做某事，直到达到目标强，正相关0.620.32做事有事先安排弱，正相关0.25-0.23独立完成工作弱，正相关0.310.45积极主动和客户沟通 无相关-0.220.39如何估计构想效度？（1）测验内方法 通过分析测验内部构造（2）测验间方法 考察几个测验间的相互关联（1）测验内方法A.以内容效度作为构想效度的指标；B.被试回答测题时的反应过程；C.测验的同质性（库特理查逊20号公式等）D.因素分析法 根据相关性的大小把变量分组，使得同组内的变量相关程度高；不同组变量间的相关较低；由此可以判断测验究竟测到了几个彼此独立的因素。（2）测验间方法A.相容效度相容效度 理论上，测验相同构想的各测验之间应该有较高的相关。而测量不同构想的测验之间相关要很低。如，评价新编制的智力测验时，通常要计算这个测验与韦氏量表的相关。（2）测验间方法B.聚合效度和辨别效度聚合效度和辨别效度聚合效度又称为求同效度。其基本思想：如果两个测验是测量同一特质的，即使使用不同方法进行测量，它们之间的相关也应该是高的。辨别效度又称求异效度，其基本思想：如果两个测验测量的是不同特征，即使使用相同的方法进行测量，它们之间的相关也应该是低的。例如：比较用面试、测验、观察法3种方法分别测评成就动机这个特征所得分数的相关性。（2）测验间方法C.发展水平的变化发展水平的变化智力测验中最常用的标准是年龄差异。智力测验中最常用的标准是年龄差异。儿童的智力随年龄的增长而增长，那么，智力测验分数也应该随着年龄的变化而变化。因此，如果测验有效，测验分数应该反映这种变化。3、效标关联效度Criterion-related validity 也称效标效度（criterion validity）反映测验分数与外在标准（效标）的相关程度。或言之，用测验分数对个体的效标行为表现进行预测的有效性程度。效标关联效度常用于预测性测验，用于甄选决策。何谓“效标”？效标：考察测验效度的外在参考标准，或言之，被预测的行为水平。它是用来检验效度的标竿。例：一个机械能力倾向测验，其效标可以是成为机械师后的工作表现；对于一个管理技能测验而言，其效标可以是将来管理工作的绩效。“明星员工”可以作为员工选拔的效标；“学业成功”可以作为大学生入学考试的效标效标测量效标测量：可操作的测量标准。观念效标：效标的概念内容。例如：对于筛选销售人员的销售技巧测验而言，其观念效标是“销售工作的成功”，而效标测量往往用“年销售量”。效标污染：由于评定效标者预先知道测验分数而影响效标确定的情形。例如：一方面要评价管理者的管理技能，另一方面要评价管理者的实际管理业绩作为效标。常用的效标学术成就特殊训练成绩实际工作表现团体对照等级评定先前有效的测验效标效度的分类根据收集效标的时间不同，可以将效标效度进一步区分为：预测效度（predictive validity）同时效度(concurrent validity)预测效度其效标资料往往是测量结束后隔一段时间才获得。它反映的是由测验分数对任一段时间间隔后被试行为表现的预测程度。理想的评估效度的方法，但不合实际。同时效度同时效度其效标材料和测验分数差不多同时搜集。同时效度的评估不需要长期追踪，所以应用比较普遍同时效度和预测效度的差异根源不再与收集效标的时间，而是在于测验目的地不同。前者在于诊断现在的状态，后者多预测未来的结果。“某人成功了吗？”“某人会成功吗？”如何评估效标效度？效度系数：指测验分数和效标分数之间的相关系数。当测验分数和效标分数都是定距数据时，可采用积矩相关系数。假设有10名候选人经职业兴趣测验而选定推销员工作，其测验分数见表第一行，而第二行是经过若干年后他们某段时间内的销售金额总量。试问该测验的预测效度？被 试12345678910测验X303432472024 27252216销售额Y 2.53.8340.712.2 3.5 2.8 1.2五、影响效度的因素测验的因素样本团体的因素效标的性质1、测验的因素测验题目的质量实施测验时的干扰因素被试的影响因素测验的长度2、样本团体的性质对于同一个测验，效度团体的性质不同，效度会有较大的差别效度团体的性质包括年龄、性别、教育水平、智力水平、动机水平等有关特性。例如：同一项算术测试，对于能力较差的被试可能测量的是数学运算能力，但对于能力强的被试，可能测量的不过是对以前所学内容的会议能力和计算能力。同一能力倾向测验，对开车有兴趣的司机的预测效度要高于司机总体。3、效标的性质一般而言，如果其他条件相同，所测量的行为或心理特征与效标行为或特征越相似，效度系数就越高。思考题思考题z 1、效度与信度的关系？z 2、内容效度适用于人格测验吗，为什么？z 3、什么是构想效度？z4、常用的效标有哪些？z 5、你认为如果要考察一个管理人员的能力，可能的效标是什么，为什么？