《心理测量》测量的效度(45P)

测量的效度测量的效度案例一 美国杜克能源公司某蒸气站被美国杜克能源公司某蒸气站被12名黑人雇名黑人雇工告上了法庭，缘由是该公司把他们都当勤杂工告上了法庭，缘由是该公司把他们都当勤杂工使用，每天的任务就是扫地和清洁，他们原工使用，每天的任务就是扫地和清洁，他们原本指望能被提升到像运煤工这样层次更高的岗本指望能被提升到像运煤工这样层次更高的岗位上，但公司说他们的智力测验分数不够，而位上，但公司说他们的智力测验分数不够，而该公司的该公司的14个黑人员工中有个黑人员工中有13个做勤杂工，诉个做勤杂工，诉讼的理由是智力测验有种族歧视。而公司说没讼的理由是智力测验有种族歧视。而公司说没有任何歧视，岗位安排完全根据测验结果来定有任何歧视，岗位安排完全根据测验结果来定，没有歧视黑人。，没有歧视黑人。 法庭要求公司提供测验对职位胜任的预测力法庭要求公司提供测验对职位胜任的预测力。案例二 某大学学生期终考试后向校方提出质疑，某大学学生期终考试后向校方提出质疑，说教授给出的考试范围是教科书中的说教授给出的考试范围是教科书中的110章章，但考试内容却都集中于前三章，这样的考试，但考试内容却都集中于前三章，这样的考试无法检验真实的学习成绩，也就是考试并没有无法检验真实的学习成绩，也就是考试并没有提供一个让我展现所学全部知识的机会。提供一个让我展现所学全部知识的机会。第一节第一节 效度概述效度概述定义定义: 测验达到测量的目的测验达到测量的目的,即测到了即测到了要想测量的对象要想测量的对象. 效度反应了测验的准确性效度反应了测验的准确性 与目的有关的真分数在实测分数中所占的比例与目的有关的真分数在实测分数中所占的比例 (在实测分数中有效真分数所占的比率在实测分数中有效真分数所占的比率) 实测分数实测分数=真分数真分数+误差误差(随机误差随机误差) 与目的与目的 与目的与目的 有关有关 无关无关(系统误差系统误差)一个稳定但无效的智力测验一个稳定但无效的智力测验 1. 你出生在几月份? 2. 你母亲姓什么? 3. 1+1=? 4. 一个星期有几天? 5. 下面哪个是三角形? A. B. C.信度与效度的关系信度与效度的关系 信度是效度的必要条件信度是效度的必要条件,但不是充但不是充分条件分条件.要想一个测验的效度高要想一个测验的效度高,其信度其信度必须得高；但信度高必须得高；但信度高,效度未必高效度未必高.影响效度的误差来源影响效度的误差来源1.测验题目不能反应要测量的特征测验题目不能反应要测量的特征.2. 实施过程偏离了标准化的程序实施过程偏离了标准化的程序.3. 被试不能如实回答被试不能如实回答.测验效度的类型测验效度的类型 效标效度效标效度 内容效度内容效度 结构效度结构效度第二节第二节 效标效度效标效度(准则关联效度准则关联效度)什么是效标什么是效标: 反应测验目的的行为参照反应测验目的的行为参照.什么是效标效度什么是效标效度: 测验分数与效标行为间的一致性测验分数与效标行为间的一致性程度程度 理想效标的四大条件理想效标的四大条件1. 有效性有效性2. 可靠性可靠性3. 可操作性可操作性4. 实用性实用性预测性和同时性效度预测性和同时性效度 预测性效度：测验分数和以后的某个效标之间预测性效度：测验分数和以后的某个效标之间的相关的相关 同时性效度：同时获得测验分数和某个效标之同时性效度：同时获得测验分数和某个效标之间的相关间的相关七种效标类型七种效标类型安娜斯塔西的分类安娜斯塔西的分类(1977)学业成绩学业成绩特殊训练课程成绩特殊训练课程成绩实际工作表现实际工作表现对照组对照组精神病诊断精神病诊断评定评定先前已有的测验先前已有的测验效标效度的计算方法效标效度的计算方法1. 相关法相关法 求取测验分数与效标变量之间的求取测验分数与效标变量之间的相关程度相关程度,即效度系数即效度系数. 1) 积差相关积差相关 在两组数据都是连续变量在两组数据都是连续变量,且两者存在线性关且两者存在线性关系时使用系时使用公式公式:被被 试试12345678910测验测验(x)20343247202427252216销售额销售额(y)2.53.8340.712.23.52.81.22) 二列相关二列相关 在测验分数和效标这两个变量中一个是连在测验分数和效标这两个变量中一个是连续变量续变量,另一个是二分变量时使用另一个是二分变量时使用.公式公式:例例: 智商与学校类型的关系智商与学校类型的关系p 重点中学被试百分比重点中学被试百分比 66/352 = 0.1875q 普通中学被试百分比普通中学被试百分比 286/352 = 0.8125 重点中学被试智商均数重点中学被试智商均数 114 普通中学被试智商均数普通中学被试智商均数 96St 总体标准差总体标准差 14.53y 常态曲线下，常态曲线下，p 所对应的纵轴高度所对应的纵轴高度 0.26853) 多元相关多元相关 在测验分数和效标变量中有一个是连续变量在测验分数和效标变量中有一个是连续变量,另一个是二分以上的变量时使用另一个是二分以上的变量时使用. 用用Juspen公式公式4) 等级相关等级相关(spearmans rho) 在两组变量都是等级时使用在两组变量都是等级时使用 用斯皮尔曼等级相关系数用斯皮尔曼等级相关系数. 5) 四格相关四格相关 在两组变量都是二分变量且都是人为的时使用在两组变量都是二分变量且都是人为的时使用. 用皮尔逊余弦用皮尔逊余弦 法法. 如两组变量都是二分变量如两组变量都是二分变量,但至少其中的一组但至少其中的一组是真实的二分法时用是真实的二分法时用phi相关相关 二二.区分法区分法 以被试在效标上的表现分组以被试在效标上的表现分组,然后再对两组然后再对两组被试在测验中的成绩用被试在测验中的成绩用t值进行显著性差异的检值进行显著性差异的检验验.公式公式:区分法的缺点是如果样本规模大区分法的缺点是如果样本规模大的时候的时候,没有显著性也能算出显著性差没有显著性也能算出显著性差异来异来,所以要配合重叠量的使用所以要配合重叠量的使用.1. 以称职组的平均数为指标以称职组的平均数为指标,看两组中超过这一看两组中超过这一平均数的人次百分比平均数的人次百分比.比例越低说明差异越大比例越低说明差异越大,如如称职组的平均数为称职组的平均数为6.05,不称职组超过此分数的有不称职组超过此分数的有7人人,称职组超过这一分数的有称职组超过这一分数的有38人人,人次比为人次比为7/38,重叠的部分为重叠的部分为18%,差异很大差异很大.2. 统计称职组中分数低于不称职组平均数的人数统计称职组中分数低于不称职组平均数的人数,和不称职组中分数高于称职组平均数的人数和不称职组中分数高于称职组平均数的人数.然然后两数相加后两数相加,再除以总人数再除以总人数.如如:称职组称职组20人人,不称职不称职组组20人人,不称职组中分数超过称职组平均数的有不称职组中分数超过称职组平均数的有7人人,称职组中分数低于不称职组平均数的有称职组中分数低于不称职组平均数的有3人人,那么那么 有有25%的重叠部分的重叠部分.3. 算出两组人分数分布共同区域的百分率算出两组人分数分布共同区域的百分率,即重叠的区域即重叠的区域,如重叠区域越大如重叠区域越大,说明差异越说明差异越小小,而重叠小说明测验有效而重叠小说明测验有效.3. 命中率命中率测验有效性的指标之一就是作出正确决定的测验有效性的指标之一就是作出正确决定的比率比率,即决策的命中率即决策的命中率. 效标成绩效标成绩测验预测测验预测失败失败成功成功成功成功( A ) 失误失误( B ) 命中命中失败失败( C ) 命中命中( D ) 失误失误第三节第三节 内容效度内容效度定义定义: 测验题目对所要测量的内容范测验题目对所要测量的内容范围的代表性程度，考验题目样本围的代表性程度，考验题目样本是否代表了内容总体是否代表了内容总体。内容效度的两个要点内容效度的两个要点1. 测题对测量对象的有效性测题对测量对象的有效性2. 全部测题对测量对象的涵盖程度全部测题对测量对象的涵盖程度例子例子对一个优秀篮球运动员技能的测量对一个优秀篮球运动员技能的测量测量目的测量目的: 一个优秀篮球运动员需要具备的技能一个优秀篮球运动员需要具备的技能对内容领域的描述对内容领域的描述: 投蓝，运球，抢篮板。投蓝，运球，抢篮板。测验测验A: 在各个位置上投蓝在各个位置上投蓝40次次;测验测验B: 各种情景下的运球各种情景下的运球30次次.确定内容效度的方法确定内容效度的方法专家判断专家判断 请某领域里的专家来评判测验的内容是请某领域里的专家来评判测验的内容是否编排的合理否编排的合理.缺点缺点: 1) 没有量化指标没有量化指标; 2) 对内容效度的判断不一致对内容效度的判断不一致; 3) 教育思想或心理学观点不同教育思想或心理学观点不同,所以对内容范所以对内容范围的理解也不同围的理解也不同.内容效度比（内容效度比（CVR） 内容效度比低的题目就应该被淘汰内容效度比低的题目就应该被淘汰.然后计算然后计算全部测题的内容效度比的平均数全部测题的内容效度比的平均数,作为内容效度作为内容效度的指标的指标.其他辅助的方法其他辅助的方法2.统计分析法统计分析法3.再测法再测法4.经验法经验法5.内在一致性内在一致性内容效度与表面效度的区别内容效度与表面效度的区别表面效度是指测验看起来所要测量的表面效度是指测验看起来所要测量的东西东西,是被试或外行看来是有效的测验是被试或外行看来是有效的测验.表面效度与内容效度并不总是一致的表面效度与内容效度并不总是一致的.表面效度能间接影响测验的效度表面效度能间接影响测验的效度,所以所以测验编制时也要适当关注表面效度测验编制时也要适当关注表面效度.提高内容效度的有效方法：提高内容效度的有效方法： 编制命题的双向细目表编制命题的双向细目表记忆记忆了解了解应用应用分析分析综合综合评价评价合计合计第一章第一章8210第二章第二章12621030第三章第三章4422618第四章第四章2101284642合计合计6262814206100第四节第四节 结构效度结构效度定义定义: 测验能够测量到理论上的结构或测验能够测量到理论上的结构或特质的程度特质的程度.某一智力理论的四项假设某一智力理论的四项假设:1.智力随年龄而增长智力随年龄而增长;2.智商是稳定的智商是稳定的;3.智力与学业成绩有密切关系智力与学业成绩有密切关系;4.智力受遗传的影响智力受遗传的影响.某注意力的理论某注意力的理论,注意有如下特征注意有如下特征:1.稳定性稳定性2.集中性集中性3.转移性转移性4.分配分配5.范围范围收集结构效度资料的方法收集结构效度资料的方法1.测验内方法测验内方法 研究测验的内部构造来界定所测量的结研究测验的内部构造来界定所测量的结构范围构范围. 1) 内容效度内容效度 2) 内在一致性内在一致性 3) 因素分析因素分析2. 测验间方法测验间方法 研究几个同类测验间的相互关系来考研究几个同类测验间的相互关系来考察它们是否测量相同的心理结构察它们是否测量相同的心理结构. 1)相容效度相容效度 2) 会聚效度和区分效度会聚效度和区分效度3. 发展变化发展变化4. 实验操作实验操作5. 结构方程建模结构方程建模