效度和效度检验

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,效度和效度检验,Validity and Validation,1,关于效度和效度检验的问题,效度的概念,效度的性质,效度检验的前提,效度的证据,效度检验的设计,2,效度的概念,现行美国教育和心理测试标准一书对效度作出了如下定义：,Validity is a unitary concept. Although evidence may be accumulated in many ways, validity always refers to the degree to which that evidence supports the inferences that are made from the scores. The inferences regarding specific uses of a test are validated, not the test itself.,效度是一个统一的概念，尽管我们可以以不同的方式收集,关于效度的证据，效度总是指证据支持我们从考试成绩所作出,的各种推测的程度，效度检验检验的是对考试的使用所作的推,测，而不是考试本身。,3,美国教育和心理测量协会（1985）：,Validity means the degree to which the appropriateness,meaningfulness, and usefulness of the specific inferences made from the test scores.,效度是指根据考试分数所作出的特定的推测的适,当、有意义和有用程度。,效度的概念,4,效度的性质,效度指的是考试结果解释的合理性，它不是指考试本身。我们有时出于方便，说“考试的效度”，实际上正确的说法是对考试结果所做的解释的效度。,效度是就程度而言的，不是要么有效，要么无效。因此，不要说考试结果有效或无效，而应该从确定程度的类型的角度来考虑效度，如高效度、中等效度和低效度。,效度总是与考试结果的解释或某种特殊的用途有关。世界上没有对所有目的都有效的考试。在讨论效度时，必须考虑对考试结果所做出的专门解释或用途。考试结果对做出的每个不同的解释都有不同的效度。,5,效度的性质,效度是一个统一的概念。美国心理测量学会在“教育和心理测量标准”一书中，已经抛弃了多种效度的传统概念，将效度看作是以各种不同类型的证据为基础的统一的概念。,效度是一个总体的评价判断。它要求用各种证据并且从后效影响的角度来判断考试结果解释和使用的合理性和合适性程度。,6,效度与信度概念的辨析,假设有一道试题：,水稻的茎不能加粗的主要原因是茎内没有（ ）。,A. 形成层 B. 维管束 C. 木纤维 D. 韧皮纤维,假设试题具有下列问题：,1、有点科学性问题,2、考查牵涉到了化学知识,3、考查了学生没有学过的内容,4、部分考生抄了别人的正确答案,提问：这些问题说明这道试题是信度有问题，,还是效度有问题？,7,效度检验的前提条件,考试评价的目的要与考试机构的任务和价值观相适应,考试应该有利于高校选拔合格的新生；,有利于促进中学推进素质教育,有利于培养学生的创新精神和实践能力,要明确地确定或描述要测量的心理结构（知识、能力或其他特征），对分数或其他评价结果要作出的解释。,测量目标和行为标准,确定结构的特征是需要谨慎，只能将考试技术能够测量的特征或行为包括在结构的特征描述之中，不能测量的特征不能包括在其中,结构的特征一旦确定，就是排它的、武断的。,确定所要收集的证据的类型和数量,8,效度的证据,考试内容,考生的应答过程,评分标准与定义的心理结构及其行为标准的一致性,考试的内部结构,考试与效标（标准）的关系,9,考试内容方面的证据,确定每道试题测量的行为目标，涉及到内容领域那些内容；,比较考试的内容结构与学科内容领域的结构是否一致。,收集证据的方法,考试机构自己对照考试规范或考试大纲进行检查,发放问卷调查表给学科教师或专家进行调查,由专家按照详细的一系列标准给每道试题和整张考卷进行定量打分或定性评价,效度的证据内容,10,效度的证据,考生的应答过程,考试是从认知心理学的角度来看待考试结果反映考生心理结构的程度，也就是说从考察学生回答问题时发生的心理过程或思维过程的角度来看待结构效度的。使用某些问题或试题来测量思维能力时，需要问题或试题能够引发考生进行一定的思维活动，这个活动反过来引发考生显示出我们希望考生显示的行为。只有在这样的情况下，问题才是有效的，得到的结果才能是考生某一心理结构的测度。,分析考生答题的思维过程的主要方法包括,调查问卷分析,计算机模拟分析,面谈记录分析,11,评分标准与定义的心理结构 及其行为标准的一致性,命题时制定的评分标准应该与定义的心理结构及其行为标准相一致,具体评分时，评分标准的细化应该以行为标准的表现出来与否为得分步骤，而不一定是以做出来一步给多少分。有可能做出来的两步都是一个行为表现。,12,考试与效标的关系,效度检验过程中，我们还要收集另外一类证据或信息，这就是能够证明我们的考试结果与某个其他的“标准”之间关系的证据或信息，这个“标准”与我们的考试测量了考生相同的能力，我们将这个标准称为效标。效标应该是反映考生行为的另外一个考试的结果。,与效标相关的证据,研究的考试分数与效标考试的分数相联系,效标实际上是考生的某种行为表现，考生在该行为上的得分，可以用来预测未来。,高中阶段学习的效果中考,大学阶段的学习效果高考,13,考试与效标的关系,研究考试与效标之间的相关关系,根据研究考试的结果预测未来考试的结果方式,线性回归预测,14,考试与效标的关系,X,-考试,Y,-效标,x-,待检验的考试样本,y,-,效标考试样本,s,-,待检验的考试样本标准差,S,-,待检验的考试总体标准差,r,xy,-,待检验的考试样本 与效标考试样本间的相关关系,研究考试与效标之间的相关关系,根据研究考试的结果预测未来考试的结果方式,线性回归预测,15,考试与效标的关系,效标考试的类型,预期效标估计,同期效标估计,预期效标估计,用分数来预测将来的行为,获取效标测试的相关系数,对所有相关的考生进行测试,等待一定的合理的时间,收集效标测试的分数,计算相关系数,16,考试与效标的关系,同期效标估计,检查与同期考试的相关关系,检查能力水平不同的考生，在两个考试中考试结果的差别。,效标应该是同样类型的考试。,所谓同样类型的考试是与我们研究的考试测量相同的能力或心理结构的考试，如果没有这个前提，我们就失去了把二者间的相关关系解释为效度证据的基础。,17,考试的内部结构,考试的结构方面的证据,考试的结构方面的证据是要证明考试测量它所设计测量的心理结构的精确程度,结构方面的证据的收集是一不断的过程。,不同测量目标或行为目标之间的相关关系,不同测量目标或行为目标的因子分析,实验设计。,18,考试的内部结构,考试的结构方面的证据,不同测量目标或行为目标之间的相关关系,不同,行为变量之间的相关关系,不同行为变量与考试总分之间的相关关系。,不同行为变量与考试总分减去相应变量分数后的相关,不同测量目标或行为目标的因子分析,19,Thank You,20,考试内容证据收集量表举例,21,考试内容证据收集量表举例,22,考试内容证据收集量表举例,专家姓名：,日期：,说 明：阅读表中每一条行为目标，阅读相应试题及其评分标准，检查试题及其评分标准与测量的行为目标是否一致，并按照以下标准进行评分：,+1=,试题与行为目标一致或高度一致,0=,试题与行为目标大致一致,-1=,试题与行为目标不一致,如果对试题与行为目标的一致性有任何评价意见，请写在相应的栏目中。,目标,1,：理解文章的主要内容。,试题 评 分 评 价 意 见,试题,65 _ _,试题,66 _ _,试题,69 _ _, ,目标,2,：归纳文章的主旨大意。,试题,63 _ _,试题,67 _ _,试题,73 _ _, ,23,考生应答过程分析调查问卷表,24,考生应答过程分析,面谈分析,崇明岛开发前景良好的可再生能源是,_,（单项选择）,A,水能,B,风能,C,核能,D,地热能,考试结束后对部分考生进行面谈时发现，他们回答问题时的思维过程有如下几种：,1,、崇明岛没有核电站，选项,C,不对；没有听说崇明岛有地热资源，选项,D,也不对；崇明岛地处长江口，靠近东海，水资源非常丰富，因此，当时选择,A,为正确。,2,、崇明岛没有核电站，选项,C,不对；听说崇明岛有温泉浴场，因此当时选择,D,正确。,3,、核能不是可再生能源，选项,C,不对；现在上海有很多温泉浴场，估计崇明也有，因此当时选择,D,正确。,25,考生应答过程分析,面谈分析,崇明岛开发前景良好的可再生能源是,_,（单项选择）,A,水能,B,风能,C,核能,D,地热能,考试结束后对部分考生进行面谈时发现，他们回答问题时的思维过程有如下几种：,4,、崇明岛地处长江口，水资源非常丰富，因此，当时选择,A,为正确。,5,、核能不是可再生能源，选项,C,不对；上海乡土地理书上没有介绍过上海丰富的地热资源，选项,D,也不对；崇明岛地势平缓，岛内没有大的河流，不会有丰富的水能资源，因此，选项,A,也不对；那么只有选项,B,是正确的。,26,考生应答过程分析,面谈分析,崇明岛开发前景良好的可再生能源是,_,（单项选择）,A,水能,B,风能,C,核能,D,地热能,考试结束后对部分考生进行面谈时发现，他们回答问题时的思维过程有如下几种：,6,、核能不是可再生能源，选项,C,不对；上海乡土地理书上没有介绍过上海丰富的地热资源，选项,D,也不对；崇明岛地势平缓，岛内没有大的河流，不会有丰富的水能资源，因此，选项,A,也不对；崇明岛地处长江口，长江与东海交汇处，岛内地势平缓，附近没有高山等阻挡，风能应该比较丰富，因此，选项,B,是正确的。,27,考生应答过程分析,面谈分析,崇明岛开发前景良好的可再生能源是,_,（单项选择）,A,水能,B,风能,C,核能,D,地热能,设计这一试题是想了解考生“分析、解释各类地理事物的空间结构、联系及其发展变化规律”的能力”。,从考查的行为目标看，显然只有第,6,种思维活动是正确的思维过程。,第,1,到,4,思维活动，反映了考生这方面能力还有欠缺；,第,5,项思维活动，只是从应试技巧的角度，排除了其他三种选择，但并没有真正理解为什么风能是崇明岛开发前景良好的可再生能源。尽管其回答是正确的，但这一题上的结果并不能作为其这方面能力的标志。,28,根据测量的行为目标的表现水平赋分,某市2004年底有住房面积1200万平方千米，计划从2005年起，每年拆除20万平方千米的旧住房。假定该市每年新建住房面积是上年住房面积的5%。,（1）分别求2005年底和2006年底的住房面积；,（2）求2024年底的住房面积。（计算结果以万平方米为单位，且精确到0.01）,2005年底的住房面积为：,3分,2006年底的住房面积为：,3分,2024年底的住房面积为：,4分,4分,29,根据测量的行为目标的表现水平赋分,2005年底的住房面积为：,3分,2006年底的住房面积为：,3分,2024年底的住房面积为：,4分,4分,分析解决问题的能力,计算能力,1,2,3,写出求和公式1分,写列出求和算式2分,正确计算出结果3,写出求和公式1,写出求和算式2,30,根据测量的行为目标的表现水平赋分,25（8分）鸡蛋不能放进微波炉加热，否则鸡蛋会爆炸。但直接把鸡蛋放在锅里用水煮是不会爆炸的。你如何解释这现象？,【内容领域】物质科学/运动与相互作用,【行为目标】理解科学原理,【难度】0.4,【题型】简单题,31,根据测量的行为目标的表现水平赋分,32,根据测量的行为目标的表现水平赋分,33,根据测量的行为目标的表现水平赋分,12,从温度的高低来分析,例1：因为微波炉是直接加热的，很容易使鸡蛋温度过高而爆炸。而用水煮是间接加热的，而且水的沸点是100,0,C，不会对鸡蛋造成过度加热。,例2：因为微波炉中的温度超过100,0,C，而水中煮最多100,0,C，所以不会爆炸。,19,其他部分正确的回答。,34,根据测量的行为目标的表现水平赋分,35,根据测量的行为目标的表现水平赋分,72,水是湿的或微波炉内是干的，所以爆炸,例1：因为水是液体，而微波炉内是干热的气体，所以鸡蛋放进去可能会爆炸。,例2：因为鸡蛋在微波炉煮时太干，所以鸡蛋会爆炸，而鸡蛋在水中煮时四周都有水。,79,其他错误回答,例1：因为生鸡蛋是液体，鸡蛋熟后是固体，放进微波炉煮，生变熟后物体膨胀，所以爆炸，但放入水中煮是水的沸腾煮熟鸡蛋的。,例2：因为在微波炉里没水，是像真空一样的，而且鸡蛋又有壳，而在水里煮是可以的。,例3：锅里带有油、水，使鸡蛋滑，锅受热也均匀。而微波炉中，它只能烧到一面，而另一面则是生的，产生了温度差。,36,根据测量的行为目标的表现水平赋分,37,不同,行为变量之间的相关关系,基本思想,考试的每一个,行为变量测量的是同一测量目标的不同的方面，它们之间既相互有联系，又有区别，它们对测量考生在所考学科方面的知识与技能、方法与能力都可以做出贡献。,一般判别要求,一般认为考试不同,行为变量的相关关系不应太高，也不应太低，一般应该在0.3到0.6。,如果两个部分的相关系数相当高，如0.85或0.9，就可以怀疑这两部分是否测量了相同的行为目标。,38,不同,行为变量 与考试总分之间的相关关系,基本思想,总分应该是考试的测量目标的更加一般的测度，每一,行为变量都应该对测量目标做出较大的贡献 。,一般的判别要求,某一,行为变量与考试总分间的相关关系应该比较高，一般应在0.7以上。,39,不同,行为变量与考试总分 减去相应变量分数后的相关关系,基本思想,考试总分中包含了考试各个,行为变量的贡献，某一行为变量与总分的相关关系实际上也受到该行为变量自相关的影响，获得的相关系数可能偏大。基于这个考虑，一种常见的做法就是：计算某一行为变量与总分的相关系数时，从总分中删除该行为变量的分数。,一般的判别要求,不同,行为变量与考试总分减去相应变量分数后的相关关系 ，如果仍然能在0.7以上就很好了。,40,内部结构方面的证据 变量之间的相关关系,41,因子分析（,Factor Analysis）,因子分析的基本思想,用少数的假设变量来代替观察的变量。,用因子分析方法确定内部结构中，,观察的变量就是每道试题要测量的具体的行为目标，考生在该道试题上的得分，就是该变量上的一系列观察值；,假设的变量就是我们想要解释的结构、测试方法或其他影响考生行为的因素。这些假设的变量称为因子。,因子分析所获得的结果之一就是因子负荷,因子负荷反映了观察的变量和假设的因子间的关系。,42,因子分析（,Factor Analysis）,43,因子分析结果解释,提取出了9个因子 。,第一个因子解释了总方差的57%，其他各个因子解释的方差均不到总方差的10%。,可以认为当年高考英语上海卷主要测量了考生某一方面的能力，根据当年考试手册英语部分，可以认为这个能力就是英语语言运用能力。,44,