命题技术的探讨

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,对学业水平考试命题技术的探讨,湖南省教科院基础教育研究所,徐远征,基本概念：,考试命题,将考试内容与要求转化为考试试题的过程。,命题技术,将考试内容与要求转化为考试试题所采用的命题策略与方法，对考点及素材的处理与设计，以及研制和使用命题工具的能力，命题技术是命题者命题能力的具体体现。,一、考试的类别、特点与功能,（一）常模参照性考试（选拔考试）,1.,常见的常模参照性考试,普通高校招生考试，出国留学考试，公务员考试，有的学校分快慢班的考试，高中学生数学、物理、化学、生物、信息技术,5,个学科的奥林匹克竞赛、（高考模拟考试）等。,2.,常模参照性考试的性质、特点与功能,性质：,以个体分数在常模中的相对地位来解释考试分数意义和价值的考试。与“目标参照性考试”相对。属于相对评价。常模即某团体的成绩，其主要指标是平均分和标准差。,离开考生群体来解释考生的分数是没有意义的。,特点：,特别关注试题的区分度，而区分度又与难度密切相关。实践中，,通常是从高分到低分择优选拔考生，这种优胜劣汰的选拔方式是常模参照考试的主要特征。,功能：,区分考生的不同水平，有利于选拔优秀的考生。,案例：,湖南省常德市一中是湖南省首批示范性高中。,1956,年全国高考，该校以平均分,43,分夺得了湖南省物理学科高考红旗，并派代表出席了全国群英会。,（二）目标参照性考试（水平考试）,1,常见的目标参照性考试,学校或班级内进行的单元检测、期中考试、期末考试，,初中毕业学业考试（中考），,普通高中模块学习学分认定考试，普通高中学业水平考试，获取汽车驾照的考试等。,2,目标参照性考试的性质、特点与功能,性质：,以预定的教学目标为标准确定个体成绩的考试。与,“,常模参照性考试,”,相对。属于绝对评价。教学目标通常可理解为教学的基本要求。,特点：,特别关注目标的达成度。试题难度的确定以教学目标为依据，对试题的区分度没有要求。通常用合格与不合格（或等级）来进行评价。,功能：,旨在判断考生是否达到教学目标以及教学的有效性程度。,3.,目标参照性考试命题在日常教学应用中已经被异化,例如：摸底考试、单元考试、月考、期中考试、期末考试，这些在日常教学中进行的考试本都属于水平考试的范畴，但长期以来由于我们忽略了对水平考试的研究，把大多数水平考试都变成了选拔性考试或准选拔性考试。甚至有的教师已经把命制难题当作是“激化”学生学习热情的手段。显然，这种“增压”式的教学方法是违背教育教学规律和学生认知规律的，给学生带来的常常是焦虑和恐惧。,（三）普通高中学业水平考试是典型的水平考试,1.,指导思想,促进学校全面贯彻党的教育方针，全面实施素质教育，全面落实普通高中新课程方案。,2.,基本原则,全面考察，注重基础，面向全体，强化管理。,3.,基本定位,评估学生基本的学习水平、能力及德智体美各方面发展状况；评价普通高中学校和校长的办学思想、课程理念、教学水平，引导学校通过学业水平考试抓好教学、提高质量和完善管理，引导社会和家庭形成正确的教育观、质量观和人才观。,4.,总体要求,学科及格率为,95%,以上，全科合格率为,90%,左右。,2009,年,-2013,年，全省学业水平考试全科合格率分别为,67.23%,、,82.41%,、,91.89%,、,87.82%,、,88.75%,。,二、试题的质量指标,难度、信度、效度和区分度,（一）难度与难度控制,选拔性考试如高考，通常要求将试题平均难度系数控制在,0.50.55,，试题的难度区间大致在,0.330.77,之间。,水平考试：通常要求将试题的平均难度控制在,0.8,左右。我省普通高中学业水平考试要求难度控制在,0.80.85,之间，试题的难度区间大致是,:0.55 0.85,以上（其中容易题,0.85,以上，中档题,0.70.85,，稍难题,0.550.70,），而且，容易题、中档题和稍难题的分值比为,7:2:1,。,1.,什么是难度？,难度是指试题的难易程度，是体现试题与学生实际知识和能力水平相适合程度的量化指标。,试题的难度是由学生的答题情况反映出来的，通常用得分率（通过率）来表示。也有用失分率（未通过率）来表示的。,2.,难度控制的意义：,（,1,）依据教学要求，命题时有目的地控制试题的难度和试卷的平均难度，有助于提高命题的科学性和针对性。,（,2,）试题的难度不仅对区分度有直接的影响，而且还直接影响试题的信度和效度。,（,3,）难度是评价试题质量最重要、最基本的指标。,（,4,）试题的难度和试卷的平均难度，对考试的及格率有非常大的影响。,对于水平考试,:,有资料介绍，当学生成绩（标准化考试）呈正态分布时，若平均难度系数为,0.8,，则及格率可达到,99.86%,；若平均难度为,0.75,（只下降,0.05,个单位），则及格率急剧下降为,84.1%,。,3.,难度控制的方法,难度预估,命题时命题人依据自己的实践经验，在对影响试题难度的可控因素进行认真分析的基础上，按照一定的程序，对试题难易程度预先作出的定量估判，得出预估难度系数。基本步骤如下：,（,1,）分析影响试题难度的可控因素,试题中设置的情景（包括图表）与条件的复杂程度；,试题中包含的知识点与信息量的综合程度；,试题中提出问题属性和学生对该问题的熟悉程度；,试题中处理信息、分析推理的思考程度。,（,2,）借用三个难度级别（容易题、中档题、稍难题）和相应的难度系数范围（容易题,0.85,以上，中档题,0.70,0.85,，稍难题,0.55,0.70,），对影响试题难度的上述四个因素的难易程度进行分析和判断，并对每一个因素赋予相应的难度值。,（,3,）,假设影响试题难度的四个可控因素对试题的影响程度大致相当，我们便可根据所赋予的四个难度值初步计算出该试题的预估难度系数。,（,4,）,对试题给出一个经验判断值，结合计算值，确定该试题的预估难度。,4.,学业水平考试命题实践中有关难度控制的认识误区,把难度控制看着是为降难度而降难度，忽视了对教学基本目标的研究，以及这些基本目标对试题难度的合理要求。,初次命题的教师抱怨：,“,难度实在是没法再降了，再降就不会命题了,”,。,对什么是好试题、高水平试题的认识模糊，缺乏从考试的性质、特点和功能的高度评价试题意义和价值的认识。,初次命题的老师担心：,“,试题没有一定的难度，就象白开水一样没有味道，也会让人说命题人没有水平,”,。,目前，参与命题的老师对难度控制都有了统一的正确认识,（二）信度,1.,什么是信度？,信度是衡量考试分数一致性或可靠性程度大小的量化指标。通常是用两次测验结果的相关系数来表示，系数为,1,，表明分数完全可靠，若为,0,，表示完全不可靠。,2.,检测信度的方法：,重测法,试题的稳定性：用同一份试卷对同一批学生进行重复测验，如果考试结果学生得分一致性高，则考试的信度就好。,复本法,试题的等值性：命制内容、难度等值的两份试卷，如我们学业水平考试编制的正卷和副卷，对同一批学生进行重复测验，如果考试结果学生得分一致性高，则考试的信度就好。,同质法（折半法）,试题间的一致性：将试题分为两等分，对同一批学生进行重复测验，如果考试结果学生得分一致性高，则考试的信度就好。,信度计算公式表明：若各试题之间难度相差较大时（两极分化：难题很难，容易的题很容易，没有过渡），信度值将会偏低。,标准化考试的信度值应在,0.9,以上；学业水平考试这样大规模考试的信度值应在,0.7,以上。我省普通高中学业水平考试各科信度均在,0.8,左右。,（三）效度,1.,什么是效度？,效度是指测试结果与测试目标的符合程度，是,测试内容反映学科课程内容有效性程度的指标,，即所命制的试题是否测到了想要测试的内容。,2.,效度的分类及估算方法：,常见的有内容效度、结构效度和效标效度。,内容效度是最常用的一种方法。,内容效度,是指试卷对所要测知识内容的覆盖程度，,覆盖程度越高，试卷的内容效度越好。,就一道试题而言，如果运用其他学科知识或有关常识就可作出解答而不需要运用本学科专业知识，或者试题内容不是我们想要测试的内容，则该试题的效度就很低，命题者对此应给予重视。,3.,估计内容效度的方法,逻辑分析法,根据教学大纲的要求，提炼出学生应掌握知识内容的范围和深度，然后以逻辑分析的方法估计测验在多大程度上代表了这些内容，在多大程度上能够测量出所要测量东西的程度。,比较分析法,完成试卷编制后，对试题进行分析和归类，并以试题题号为纵坐标，制定一个类似于双向细目表的试题检核表，然后将检核表与双向细目进行比较，确定各部分（知识覆盖率、不同内容和目标的百分比）指标相符合的程度，以此判断内容效度的高低。,我省普通高中学业水平考试对效度的控制，主要体现在对各学科知识覆盖面必须达到,80%,以上的具体要求上。,4.,效度与信度的关系：,信度是效度的必要条件，但不是充分条件。,一个测量的效度高，其信度必然高；,一个测量的信度高，其效度不一定高；,一个测量的信度低，其效度不可能高。,(,四,),区分度,1.,什么是区分度？,区分度是把不同水平的学生区分开来的量化指标。区分度的数字范围在,-1,和,+1,之间。,对于选拔性考试，要求试题的区分度高，要能够拉开不同水平学生之间的分数距离，使高水平者得高分，低水平者得低分；如果区分度低，则反映不出不同水平学生之间的差异。通常，区分度若在,0.3,以上，就是较好的试题，若在,0.4,以上，就是较优秀的试题。,对于水平考试，一般不特别强调区分度，有的试题区分度甚至会等于,0,，因为水平考试试题的难度是根据教学内容及目标确定的。但对于区分度为负值的试题（差生比优生更容易得分）则必须删去。,试题的难度与区分度共同决定了试题对不同水平学生的鉴别性，且对信度和效度有重大影响。,2.,区分度与难度的关系：,难度是区分度的必要条件。,难度越接近,0.50,，试题的区别作用就越大；,较难的试题，对高水平学生的区分能力强；,较容易的试题，对低水平学生的区分能力强；,中等档次的试题，对中等水平学生的区分能力强。,难度（,P,）,1.00 0.90 0.70 0.50 0.30 0.10 0.00,区分度的最大值,0.00 0.20 0.60 1.00 0.60 0.20 0.00,关于水平考试命题的思考：,1.,命题的核心问题是什么,？,2.,确定试题难度的基本原则有哪些？,3.,评价命题者命题水平的标准是什么,？,4.,怎样的试题才是有水平的试题,?,三、试题分析的基本统计量,平均分、标准差、差异系数和分布形态,1.,平均分,平均分（一种常用的集中量数）是学生分数相加求和再除以学生总数的统计量，反映了学生考试成绩向某一分数点集中的趋势，是学生集体考试分数的最好代表，能粗略地反映学生成绩的平均水平。,通过平均分可以直接判断试题的平均难度。我省,2011,、,2012,、,2013,年普通高中学业水平考试各科的平均分都在,84,、,85,、,82,分以上，各科难度系数即为。,0.84,、,0.85,、,0.82,以上。,（但进行试题分析时，仅仅比较平均分还不能完全清楚地说明分数分布的全貌，通常还要利用平均分来计算标准差、差异系数等，用以描述分数分布更深刻的内涵。）,2.,标准差,（,1,）什么是标准差？,标准差（一种差异量数，也称变异数）是指一组考试分数离平均分的平均差距（距离），是描述学生集体考试成绩离散（分化）程度的统计量，反映了学生个体分数之间波动性大小（即两极分化程度的大小）。标准差的测量单位是“分”。,（标准差的计算：每一个学生的分数与平均分的差的平方和，除以学生总数，再开平方，即得标准差。）,（,2,）标准差的意义：,标准差越大，表示学生考试分数分布区域越广，离散程度越大；标准差越小，则表示考试分数的分布区域较窄，集中在平均分附近。,对于选拔性考试，其标准差通常在,20,分,25,分左右；对于水平考试，其标准差应该在,10,分左右，最好是在,10,分以内。,我省学业水