遵循教育测量学原理,提高命题水平.ppt1

,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,遵循教育测量学原理，提高命题水平,朱,行,建,开发区教育促进中心,xczxj,2009.2,天津 大港,学业考试是一项教育与心理测量活动，加之该项考试有一定的高利害性特征，这就对学业考试的科学性和合理性有着更高的要求。下面将针对以往学业考试命题中存在的问题，并依据教育与心理测量学原理，提出学业考试命题时应遵循的基本原理,一,、,选择题,的选项分析,*,如果正确的备选答案被所有的考生选择，说明该题目太容易，或者可能是题目中提供了某种暗示，使正确答案过于明显。,*,如果某个错误答案没有一个考生选择,，,说明该选项不具有迷惑性，错误过于明显，除增加阅读时间外，不起任何作用。一般说来，除非有,2,以上的人选择，否则该备选答案就应该删掉或修改。,*,如果所有考生都选择了同一个错误答案，有可能是答案本身出现错误，或者教学中发生了错误。,*,如果高分组考生的选择集中在两个答案上，且选择率接近，则说明可能有两个正确答案，或者从某种意义上讲，另一个选择也有一定道理。,*,如果高分组考生对正确答案的选择与低分组考生相等甚至低于后者，说明该题所考察的内容无法区分考生的水平。,*,如果考生在某个题目上未作答的人数过多或选择各个备选答案的人数几乎相等，说明该题可能过难或题意不清，被试无法作答或凭猜测作答。,下列运算中正确的是,A. x,2,+x,2,=x,4,B.xx,4,= x,4,C.(xy),4,=xy,4,D.x,6,/x,2,=x,4,正确答案为,D,。,组别 各选项选择百分数（）,A,B,C,D,总体,4,2,0,94,高分组,0,0,0,100,低分组,10,7,0 83,该题有,94,的人通过。对于考生来说，这道题目过于容易， 因为,C,选项的错误太明显，不具有迷惑性。,二、试题,的难度分析,试卷（题）的难易程度。一般用试卷（题）的平均得分率或答对率表示，通常在,0,1,之间，值越大，表示越易，值越小，表示越难。一般认为,0.3,以下为难题,0.3,0.7,为中等，,0.7,以上为容易,.,在命题时，通常过易（,0.9,以上）过难,(0.2),以下的题目尽量不出,难度水平的确定,计算难度系数、进行难度分析，其目的是为了筛选题目。题目难度水平究竟多高才是合适的，这取决于考试的目的和性质。,对于具有选拔功能的考试而言，应该尽量使其难度系数接近录取率。比如录取率为,5,，那么题目的难度也最好确定为,5,，使得,5%,的优秀考生通过,初中学业考试一般为,0.75,难度的调节有多种可能因子,是单个还是多个知识点？是单个原理、概念、规则、方法还是多个组合？,是较为直观的还是抽象的概念？,信息的形式怎样，是文字、图表还是数字？,解题时所有的思维方式属于什么层次？,要求学生回答时的用语、方式是否容易表达、规范，是直接表达答案，还是需要转换才能表达？,试题所设情境是否为考生所熟悉、陌生度是否较高？,试题所给的新信息是否容易被了解和接受？,试题是否可能有多个答案，是否要求考生进一步选择最佳答案；,试题是否已经将可能产生的歧义、误解的各处用说明语作了防止或提醒。,08,年物理难度为,0.75,单项选择题（,30,分）难度系数均在,0.7,0.9,；填空题（,27,分）难度系数均在,0.7,0.9,；不定项选择题：两个难度系数为,0.7,，一个难度系数为,0.5,（中档题），一个难度系数为,0.4,；综合题：热学计算题和电学计算题难度系数分别为,0.9,和,0.8,，,三,、,信度,检验,指测量结果的稳定性、内部一致性或可靠性程度，亦即测量结果是否真实，测量误差越小，信度就越高。信度是任何一个测量的必要条件，只有信度高的测量才能成为教育工作有用的工具。否则，测量的结果是无意义的、无效的。信度通常有分半信度和,信度两种，其系数一般在,0.8,以上。,评卷误差控制,同一份语文试卷最大评分差异达,33,分，最低差异为,13,分，平均差异为,28.2,分,评分者信度,答题要点的设置,若要提高评分者信度，减少评分误差，首先可以从答题要点的设置入手。主观题答案的标准化，可以使评分者依据所提供的标准进行评分，使之尽量客观化，减少评分者主观因素以及外界不稳定因素的影响,例,3:,请你回忆一下，妈妈在家中的厨房做饭的过程，用到了哪些我们学过的物理知识？请说出两个场景，并分别说明每一个场景所包含的物理道理,。,标准答案设置如下：,场景一：用高压锅做饭。,物理道理：气压越大，液体的沸点越高。,场景二：用电饭锅做饭。,物理道理：电流的热效应。,评分标准：,共,3,分，每正确写出一个场景及其物理道理得,1.5,分。只写出场景而未答出（或答错）物理道理不得分；答出物理道理，但场景叙述不清，每一个扣,0.5,分。,多个评分者评分,提高,评分者信度的另一项有效措施就是利用多个评分者进行评分。多个评分者评分，可以平衡彼此之间的主观因素的影响。另外，当多个评分者之间的评分出现矛盾时，可以通过讨论来减少分歧，使评分能够更好地反映考生的真实水平。,由多个评分者进行评分，以提高评分者信度，这在语文试卷作文题的评分中显得更为必要，也最为有效。一般来说，至少需要两位有经验的教师对同一篇作文进行评分，当他们评分差异较大时，应该进行讨论；如果讨论后仍不能达成一致意见，可以请第三位老师再进行评分，以最终一致的结果为准。,四、效度,检验,是指测量结果的准确性和有效性的程度，亦即测量是否达到了预期的目的。是否测出了需要测量的东西，是否体现了考试目标，是衡量试卷最重要的指标。效度的分类：内容效度、效标关联效度和结构效度。 内容效度：通俗的话说是测量内容的代表性程度，即内容覆盖率，可分为知识内容和能力要求内容。（通常用知识双向细目表来实行）结构效度包括题型、难度结构。,08,年物理,八、九年级内容比例,试题中各年级内容所占比例：八年级的内容占,40,分，九年级内容占,60,分。这也是为了降低难度，九年级的知识刚学完相对熟悉。各部分所占分值比例大体与课时比例相对应。力、电主干知识占,74%,，其余占,26%,。,各,部分知识的比例,力学：,44,分、声学：,3,分、光学：,12,分、热学：,11,分、电学：,30,分,信度与效度的关系：,效度高才能是信度高，信度高不一定效度高。因此在处理信度与效度的关系上，首先要保证高的效度。两者可形象的比喻为打靶，集中和准确。,五、试题的区分度分析,是试题对考生实际水平的区分程度，具有良好区分度的测验，实际水平高的应该得高分，实际水平低的应该得低分，故区分度又叫鉴别力。它是试题评价最主要的指标。 区分度计算是用试题与试卷得分的相关系数表示，通常在,0,1,之间，越大越好。,美国考试专家伊贝尔关于试题区分度的评价标准如表,区 分 度,评 价,0.4,以上,优 秀,0.3,39,良好，如能改进更好,0.20,0.29,尚可，需要改进,0.2,以下,劣，必需淘汰,区分度与信度关系：区分度越好，则试卷的信度越高。,区 分 度 信 度,0.20 0.63,0.30 0.84,0.40 0.915,0.50 0.949,区分度与难度的关系，,中等难度时，考生分数分布呈正态分布，试题的鉴别力最强,难 度,1 0.9 0.7 0.5 0.3 0.1 0,区分度,0 0.2 0.6 1 0.6 0.2 0,由表可见，当难度为,0.5,时，区分度最大， 。,例,4,：按照提示，填出课文原句。,开发大西北，我们实施了退耕还林、退耕还草的绿色生态战略。可以料想，不久的将来，古人吟唱的“,_,，,_,，,_,”的良好生态环境必将在大西北重现。（用,敕勒歌,中的诗句填写）,美国大唱所谓的“人权”，其实是,_,，目的在于干涉他国内政。（用,醉翁亭记,中的一句话填写）,正确答案：,天苍苍，野茫茫，风吹草低见牛羊,醉翁之意不在酒,区分度结果分析,平均分 最高分 难度系数,P,H,P,L,D,（,1,）,0.8,2,0.4,9 2.5,4,.,885,（,2,）,0.9,2,0.45,88.5,7.5,.,808,由上表可知，第,2,题两个小题的区分度（鉴别力指数）都达到了非常优良的水平，能够很好地对不同能力的考生进行区分。,例,4,：,Whats the mans job now?,He still delivers newspapers by bicycle.,He has become a successful man.,He delivers goods all over the country by trucks.,Both B and C.,正确答案为,C,。,组别 各选项选择百分数（）,A,B,C,D,总体,0.5,21.5,28,50,高分组,0,21,37,42,低分组,1,2,36 60,区分度,0.01,这道题的通过率为,28,，表明对于考生来说，这道题难度较大。进行选项分析发现，错误选项,D,的选择率为,50,，高低分组中都有很多的考生选择了,D,；而错误选项,A,的选择率为,0.5,，几乎没有人进行选择。,该题目所存在主要问题有：首先，不需阅读文章，只根据题干就完全可以排除,B,和,D,两个选项；第二，选择,C,与,D,的考生占绝大多数，而选择,A,的考生几乎没有，说明考生做错这道题不是因为阅读理解能力不够，而是对“,job,”这个词的把握不够准确，即这道题考察的是考生对“,job,”一词的理解和使用能力，这与考察学生阅读理解能力的本意不符；第三，高分组和低分组考生的通过率没有差异，说明该题目无法考察学生的真正能力。,谢谢大家！,诸位再见！,