试卷分析指标及其解读.ppt

试卷分析指标及其解读,医学教育研究室杨现洲,一、考试与试卷分析二、试卷分析方法三、定量分析的主要指标四、定量分析结果的解读五、提高试卷质量的措施六、综合分析规范,一考试与试卷分析,（1）常模参照性考试：考试的目的主要是在于考查被试者的个体差异，一般用于衡量被试者的相对水平。只有将被试者的得分放到考试所在的团体中，从而直接或间接地以被试者在该团体中的相对等级或相对位置来评估被试者的能力水平。,1.1考试的分类,（2）目标参照性考试：也叫标准参照考试，强调的是被试者对考试目标和内容的掌握程度。因而能反映出被试者的绝对水平及在知识掌握上的强点和弱点，并能对被试者在参照标准上的表现做出解释。,1.2课程考试,课程考试是高校评估学生学习成绩，检验教师教学和学生学习效果的主要形式，是高校教学过程中不可或缺的环节。课程考试目的：对学生学习状况和相关知识掌握程度，教师教学计划的完成程度及效果进行检查；对学生的学业水平、能力做出判断、区分和解释。,1.3试卷分析,试卷分析：是指对学生考试成绩、试卷信度、效度，试题的难度、区分度，考试命题、试卷编制、阅卷评分等内容进行定量和定性分析，以评价考试质量、反思教与学效果的活动。试卷分析是教师教学活动的重要环节，也是教研室的基本工作之一。,1.4试卷分析的目的,评价考试质量，检验考试的可靠性、有效性。通过对考试的信度、效度、试题的难度、区分度等方面作分析，可以判断此次考试的质量。只有有效的、可靠的考试，才能作为评价教学质量或衡量学生学习情况的依据。,改进考试工作，提高试题和试卷编制质量。通过对试卷一系列指数的分析，能为我们进一步修改试题、编制试卷提供依据，提高编制试卷的技能、技巧，使测验更趋科学；获取教与学效果的反馈信息。对试卷的深入分析，能反馈大量的信息，及时发现教与学中存在的问题，便于采取有针对性的措施或建议，改进教学。,二试卷分析方法,2.1定量分析方法,是指通过对试卷和考试成绩的数理统计分析，得出有关试卷的成绩分布、平均分、标准差、试题难度、试题区分度、考试信度、考试效度等数据特征，用以说明试卷命题质量、教师教学和学生学习效果的分析方法。,综合分析是指在定量分析数据结果的基础上，结合考试的具体情况，进行归纳、分析、综合、概括，从而得出具有普遍意义的结论的分析方法。如结合定量分析数据结果对不同专业考生具体差异，考生在学习中普遍存在的问题，教学中的薄弱环节等进行分析。另外，对试卷命题质量中比如题目表述是否科学、文字表述是否正确以及阅卷情况等直接进行定性分析。,2.2定性分析（综合分析）,2.3完整的试卷分析应是定量分析和综合分析相结合从教育测量学理论角度看，定量分析的数据是不完全客观的数据，由此产生的定量分析的结果需要通过综合分析来加以判断和解释。综合分析是试卷分析的主体，定量分析只能为综合分析提供辅助的参考依据。脱离定量分析过程的综合分析是片面的，没有综合分析的定量分析是教条的。,三定量分析的主要指标,（1）成绩频数分布统计表：以5或10分为一个分数段，统计每个分数段包含的学生数，组成成绩的频数分布统计表。,3.1成绩分布统计,（2）成绩频数分布图：将该统计表各分数段的中值和该组学生数对应点依次制成条形图，形成中间高两边低的成绩频数分布图。,（3）成绩分布曲线图：,（1）正态分布：以平均值为中心，左右两侧频数分布基本对称，靠近均数两侧的频数较多，而距均数两侧较远时，频数逐渐减少。,3.2成绩分布曲线图分类,高分或低分考生数量较少，中间部分数量较多,且其分档情况在成绩解释上比较合理。说明测试结果与学生的实际情况一致，各种难度的题目比例合理。,（2）正偏态分布：说明试题难度偏高，难度较大的题目比例偏大，或是教与学效果较差。呈这种分布的试题有利于将成绩优秀的学生和中等程度的学生区别开，但不利于将中等程度的学生和成绩较差的学生区别开。,（3）负偏态分布：说明试题难度偏低，难度较低的题目比例偏大，或者教与学的效果较好。呈这种分布的试题有利于将成绩较差的学生和中等程度的学生区别开，但不利于将中等程度的学生和成绩优秀的学生区别开。,一套质量较高的试题，理想的考试成绩分布曲线图应该是呈正态分布。课程考试作为一种目标参照性考试，学生成绩呈正态或近似正态分布，都是正常、合理的。,3.3标准差和极值,标准差：描述一组分数离散情况的最常用、最可靠的统计量。考试成绩的标准差用来判断考试分数的集中程度。标准差理想控制范围在7-10；极值：指考试出现的最高分数和最低分数,极值既是数据完整性的体现,又是数据的关键观察点；课程考试不应出现0或满分的成绩,0分属于异常数据,出现多个满分则提示较难考题数量严重不足。,3.4试题难度（P）,试题难度（P）是指能够正确回答试题的人数和参加考试的总人数之比，即指某题的通过率和正答率。试题难度系数与试题实际难易程度正好相反。一般认为，难度指数P在0.30.7之间为合适，低于0.3太难，高于0.7太易，0.5左右最好。,3.5试题区分度（D）,区分度（D）是指试题区分考生能力的程度，它基于一个假设：即高能考生比低能考生更有可能正确回答试题。区分度的取值在-1.01.0之间，D值越大，试题的区分能力越强。D0时，为积极区分；D0时，为消极区分；D=0时，无区分能力。,效度是指试卷的有效性和准确性程度，它反映的是考试测量到的与所要测量的二者之间的符合程度。课程考试主要考虑内容效度。即指选取的具有代表性的样本组成的考试内容是否能够恰当地代表教学内容(教学目标)总体。,3.6试卷的效度,对课程考试而言，试卷效度是决定考试质量的重要因素。但目前还没有一种切实可行的统计方法可以用来合理地计算试题取样的恰当程度。目前对效度的评价，大多是由专家或经验丰富的教师依据考试大纲与考试命题的双向细目表对每道试题进行比较分析来作出估计。,3.7试卷的信度,信度是指试卷的稳定性和可靠性程度。将同一份试卷，对同一组参加考试者进行反复测验，所得结果一致，那么这份试卷就具有很高的信度。信度系数的计算方法有多种，如稳定性信度系数、等值性信度系数、内部一致性信度系数。学校试卷分析软件采用的是克伦巴赫（Cronbach）系数法。教育测量学理论认为，对于测验专业理论与能力的试卷，其信度应在0.90以上，信度在0.70以下的试卷不宜采用。,四定量分析结果的解读,4.1成绩分布,偏离正态分布有两种情况，一是试题难度普遍较大，考生得分普遍较低，使得低分端出现高峰，呈正偏态分布；二是试题难度普遍较小，考生得分普遍较高，使高分端出现高峰，呈负偏态分布。当考试分数分布呈明显偏态时，可通过改变试题难度的比例加以调整，使之大体上呈正态分布。,4.2试题难度,非正常影响因素试题质量：超纲，偏题，怪题，有错误，选项迷惑性太差或太强；教学有遗漏，或者对重点强调不够；学生不努力，或者对知识点掌握不够；学生作弊,4.3试题区分度,研究证明，难度系数P越接近0.5，区分度越好；当难度系数P介于0.40.6或0.30.7之问时，区分度较为理想；而当难度系数p0.7时，区分度较差。要把学生的能力、水平进行最大程度的区分，试题难度值的分布也应以正态为好。试卷中试题难（P0.3）:中等(0.3P0.7):易(0.7P)的比例为10：70：20较合适；,4.4试题区分度低的几种原因试题本身质量差，命题不妥，用词不当，不符合命题技术；（45.5）试题本身很好，教师在教学中存在漏洞，影响学生答题；（20.3）试题本身很好，教师教学方面也没有问题，而是学生自身的原因，如学习不努力，没有掌握好教学内容等原因。（34.2）资料来源：孙宝志等高等医学教育现代考试方法,试题实例,4.5考试信度偏低的几种原因,题量偏少，试卷覆盖面小，考试不足以反映学生对知识的掌握情况；试题太难或者太容易，导致优生和差生都不能或者都能正确回答；试题区分度太差，不足以区分不同水平的学生；学生作弊、考试评卷给分尺度不一。,试卷信度实例分析,五提高试卷质量的措施,5.1制定命题双向细目表。命题双向细目表是一门课程教学内容和掌握层次两个维度下的一种考试命题抽样方案，它命题人员着手命题、审题、制卷和作效度验证的一个根本依据。,试题中教学大纲要求的比例关系：熟悉：掌握：了解50：30：20,试题与认知分级的比例关系：年级回忆：解释：问题解决12年级60：30：1023年级50：30：2045年级40：30：30资料来源：孙宝志等高等医学教育现代考试方法,5.2考试前对试卷质量的检验和审查，降低考试试卷的误差。考试前组织专家和经验丰富的教师，对试卷质量进行分析、评价。,考前试卷质量评价表,评价结果可以分为三个层次评价：2025分为优；1519分为合格；15分以下为不合格。,5.3重视考试结束后的试卷分析及其反馈信息的利用。对教师教学中存在的问题，及时采取措施改进，尽量避免下一轮教学出现同样的问题。5.4建立和完善试题库或套题。及时将试卷分析后的试题定量分析指标数据输入试题库，淘汰不符合要求的试题。逐步采用计算机辅助生成试卷，并对试卷质量在考前进行定量预测和筛选。,六试卷综合分析,6.1命题质量分析,（1）试卷内容是否覆盖教学大纲主要知识点；各试题考核的知识点是否与教学目标相一致；试题考核的内容是否是本学科的重点内容；（2）试卷的题型、题量是否合适，是否有考核学生综合运用知识能力的综合性题目；（3）试卷语言表述是否准确，题意是否明确，有无错误或容易产生误解和争议的内容；（4）试卷设计是否科学、规范。名词术语、计量单位、图表格式是否规范。,6.2学生掌握情况分析,（1）从学生成绩和定量分析结果看，学生对本课程知识如基本概念、基本原理、基本技能掌握情况以及综合应用所学知识分析、解决问题的能力如何？（2）分析学生失分较多和较少的题目，找出原因；,6.3总结与建议,（1）根据上述分析总结考试命题、教师教学和学生学习中存在的问题与不足，分析其原因；（2）对今后改进课程教学和考试命题提出改进措施，对学生学习提出建议；,6.4.近两年试卷抽检发现的问题,（1）试卷设计和印制。部分课程试卷未注明学年和学期，没有标准页码；大多数试卷没有设计各类大题的得分和评阅人签名表格；个别课程试卷的选择题没有注明是“单选”还是“多选”；（2）命题质量。部分试卷在题型安排上不合理；综合性题目数量较少；简答或论述题的分值平均分配，没有根据试题难度赋分；部分试卷的试题存在表述层次不清或文字表述不当，题意不够明确；,（3）阅卷情况。评分标准和参考答案卷不规范；大多数试卷均无阅卷教师的签名；有些课程评分尺度不统一；个别试卷有判卷错误和统分错误；（4）定量分析。多数试卷试题难度分布不够合理，导致试卷总体难度偏易，区分度较小，部分课程考试成绩分布为正偏态，说明试题命制或是教学效果有待改进；,（5）综合分析多数分析报告较为简单，流于形式，未能深入分析成绩分布、试题难度、区分度、试卷信度所反映的试题命制和课堂教学中存在的问题；一些院系的试卷分析报告雷同。大多数课程的改进措施较为空洞、笼统。说明对试卷分析还不够重视。,试卷分析和考试研究参考资料：高等医学教育现代考试方法，孙宝志、金魁和主编，辽宁科学技术出版社；试卷定量分析系统中的几个参数及其应用，田考聪、彭斌，医学教育探索，2004年第4期；试卷研究网：,