《心理测量学》课件第八章 教育成就测验的编制与实施

Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,心理测量学,*,Click to edit Master title style,第八章 教育成就测验的编制与实施,第八章 教育成就测验的编制与实施,教育成就测验概述,1,标准化教育成就测验的编制与实施,2,教师自编测验,3,教育测验题库建设方法,4,心理测量学,第八章 教育成就测验的编制与实施,教育成就测验概述,第,一,节,一、教育成就测验的性质,二、教育成就测验的分类,三、教育成就测验的作用,心理测量学,第一节 教育成就测验概述,教育成就测验是在个体经过一个阶段的学习或训练之后，对其知识、学识和技能的发展水平所进行的测定，是一种专门为教育情境而设计的测验。,心理测量学,第一节 教育成就测验概述,教,育,成,就,测,验,性,质,最佳行为测验,所测的内容是,认知性心理品质，,包括,知识和能力两方面,心理测量学,第一节 教育成就测验概述,二、教育成就测验的分类,1.,按测验编制方法分：标准化教育成就测验和教师自编测验,2.,按测验内容分：单科测验和成套成就测验,3.,按测验用途分：考察性测验和诊断性测验,4.,按测验评分的参照系分：常模参照测验和标准参照测验,5.,按测验的题型分：客观型试题和论文式试题,心理测量学,第一节 教育成就测验概述,三、教育成就测验的作用,1.,反馈,2.,评价,3.,选拔和安置,心理测量学,第八章 教育成就测验的编制与实施,标准化教育成就测验的编制与实施,第,二,节,心理测量学,第二节 标准化教育成就测验的编制与实施,一、标准化成就测验的历史回顾,二、标准化教育成就测验的编制,三、标准化教育成就测验实施中应注意的问题,四、常见标准化成就测验简介,心理测量学,第二节 标准化教育成就测验的编制与实施,一、标准化成就测验的历史回顾,始创者：约瑟夫,梅尔,赖斯（,Joseph M. Rice,）；,教育测验运动的鼻祖：,爱德华,李,桑代克,（,Edward L. Thorndike,）；,1845,年，波士顿教育家,贺瑞斯,梅因（,Horace Mann,）提出在一定条件下施测和计分的书面考试；,1864,年，英国人乔治,费舍尔（,George Fisher,）编制了第一套可靠计分的客观性成就测验；,19,世纪末,20,世纪初，美国的教育改革运动,心理测量学,第二节 标准化教育成就测验的编制与实施,二、标准化教育成就测验的编制,（一）测验编制的方法,（二）成就测验编制的两种取向,（三）测验的标准化要求,（四）标准化成就测验编制的步骤,心理测量学,第二节 标准化教育成就测验的编制与实施,（一）测验编制的方法,1.,理论法,2.,经验法,3.,理论与经验结合的方法,（二）成就测验编制的两种取向,1.,课程取向,2.,广泛取向,心理测量学,第二节 标准化教育成就测验的编制与实施,（三）测验的标准化要求,1.,测验编制过程标准化,2.,测验实施标准化,3.,测验评分标准化,4.,测验分数解释标准化,心理测量学,第二节 标准化教育成就测验的编制与实施,（四）标准化成就测验编制的步骤,-,以斯坦福成就测验为例,1.,确定测验的目的,2.,准备和编写项目,3.,在全国范围内施测,4.,最终测验的确定,5.,最终测验的标准化,6.,确定测验代表的水平,心理测量学,第二节 标准化教育成就测验的编制与实施,三、标准化教育成就测验实施中应注意的问题,（一）测验选择的一般原则,（二）在多种信息背景下对学业成就的评估,（三）标准化成就测验的性别差异,心理测量学,第二节 标准化教育成就测验的编制与实施,（一）测验选择的一般原则,1.,目的性和实用性,2.,信度、效度和常模,3.,沃比岗效应对测验选择的启示,心理测量学,第二节 标准化教育成就测验的编制与实施,沃比岗效应（,Lake,Wobegon,effect,）指的是某些地区使用标准化成就测验时，会得到测验分数高于常模水平的现象，而这种现象有可能并不说明该地区学生的成就水平是真正高于常模，而仅仅是一种虚假现象。,心理测量学,第二节 标准化教育成就测验的编制与实施,沃比岗效应的存在提醒我们，在选择标准化测验时必须考虑到,测验内容的时间、社会制度和地域的制约性问题,，如课程和教材的内容有了相应变化，就不应该再使用陈旧测验。还要考虑到被试的经验，不要重复使用同一个测验。另外，还应该注意适时更新测验常模。,心理测量学,第二节 标准化教育成就测验的编制与实施,（二）在多种信息背景下对学业成就的评估,心理与教育测量的目标是用数量化的方式对测量对象的心理进行客观描述，它仅仅是一种有用的研究手段和测量工具，而不是唯一的办法,。,要全面评估一个学生的成绩，还要有其它的信息源，如母语、民族、过去的成绩、会谈、智力测验、教师报告、父母报告等。一些测量学者断言,“,心理测验必然会向着一个新的阶段,心理评价发展,”,（陈中永，,1992,）。,心理测量学,第二节 标准化教育成就测验的编制与实施,（三）标准化成就测验的性别差异,目前的多数标准化成就测验在某些分测验上都会存在性别差异，问题在于，测验的使用或编制者要明白，这些测验在多大程度上显示了正常的性别角色的差异，在多大程度上沿袭了不公正或者具有歧视性的差异。,心理测量学,第二节 标准化教育成就测验的编制与实施,四、常见标准化成就测验简介,（一）斯坦福成就测验系列,（二）,4-6,年级多重成就测验,（三）,Woodcock,掌握阅读测验,心理测量学,第二节 标准化教育成就测验的编制与实施,（一）斯坦福成就测验系列,斯坦福成就测验系列（,Stanford Achievement Series,）是最早的综合成就测验 。初版发布于,1923,年，适合于幼儿园至,13,年级的学生，主要测量学生的阅读、语言、数学等领域的基本技能。该测验系列包括斯坦福早期学校成就测验（,SESAT,）、斯坦福学业成就测验（,SAT,）和斯坦福学业技能测验（,TASK,）。,心理测量学,第二节 标准化教育成就测验的编制与实施,SAT,有六个水平，分为初级,1,型,(1.5,2.9,年级,),、初级,2,型,(2.5,3.9,年级,),、初级,3,型,(3.5,4.9,年级,),、中级,1,型,(4.5,5.9,年级,),、中级,2,型,(5.5,7.9,年级,),和高级型,(7.0,9.9,年级,),。,TASK,有两个水平，分别为,(8.0,12.9),年级,(TASK1),和,9.0,13,年级,(TASK2),。,心理测量学,第二节 标准化教育成就测验的编制与实施,2003,年，斯坦福成就测验进行了比较大的改革，推出了该测验的第,10,版（,Stanford 10,）一种没有时间限制的考试。斯坦福成就测验分为阅读、,Lexile,阅读能力测量、数学、语言、拼写、听力、科学、社会科学,8,个部分。,斯坦福成就测验对学生成绩的报告包括,5,种形式的导出分数：百分等级、标准九分数、年级当量和正态曲线当量。,心理测量学,第二节 标准化教育成就测验的编制与实施,（二）,4-6,年级多重成就测验,范晓玲，龚耀先,2003,年编制了,4-6,年级多重成就测验（,The Multiple Achievement Tests of The 4- 6 Grades,，,MATs,）。目的是为了评价小学生学习的相对水平，监控其学历水平及教育咨询服务。,心理测量学,第二节 标准化教育成就测验的编制与实施,MATs,有两个分量表：,语文分量表（,YU,）包括注音注字（,Y1,）、词汇（,Y2,）、阅读（,Y3,）、语法（,Y4,）、文学常识（,Y5,）五个分测验；,数学分量表（,SHU,）包括数概念（,S1,）、数运算（,S2,）、数应用（,S3,）、几何（,S4,）、数推理（,S5,）五个分测验。,心理测量学,第二节 标准化教育成就测验的编制与实施,（三）,Woodcock,掌握阅读测验,Woodcock,阅读掌握测验,(Woodcock Reading,Mastey,Tests,，,WRMT),是由美国心理学家理查德,伍德科克,(Richard Woodcock),编制的一个成套阅读诊断测验，主要用于测查儿童阅读能力的发展水平和存在的阅读问题，也可用于高中毕业生或成人的阅读诊断，属于个别测验。,心理测量学,第二节 标准化教育成就测验的编制与实施,1987,年修订版的常模年龄范围是从幼儿园到十二年级，有,G,型和,H,型两个副本，共有,6,个分测验 ：视听学习测验；字母识别测验；字词识别测验；词语辨析测验；字词理解测验；语段理解测验。,测验的原始分数可转换成年龄当量、年级当量、百分位数和标准分数、聚类分数及教学水平剖面图、百分等级剖面图和诊断剖面图。,心理测量学,第二节 标准化教育成就测验的编制与实施,1998,年修订版（,Woodcock Reading Mastery Test-Revised/Normative Update, WRMT-R/NU,）对常模进行了更新，其适用对象扩展到从,0,岁到,75,岁，常模分数包括百分等级、标准分数、,T,分数、年龄当量、年级当量、相关表现索引（,RPI,）等。,心理测量学,心理测量学,第八章 教育成就测验的编制与实施,教师自编测验,第,三,节,心理测量学,第三节 教师自编课堂测验,一、教师自编课堂测验的特点,二、教师自编课堂测验的步骤与方法,三、教师自编课堂测验应注意的问题,心理测量学,第三节 教师自编课堂测验,一、教师自编课堂测验的特点,1.,测验形式灵活多变，与测验目的完全一致,2.,测验内容与教材内容高度一致,3.,测验难度切合学生的实际水平,4.,测验编制简易快速,心理测量学,第三节 教师自编课堂测验,二、教师自编课堂测验的步骤与方法,1.,审查测验目的和测验要达到的目标,2.,制定测验编制计划,3.,命题与组卷,心理测量学,第三节 教师自编课堂测验,1.,审查测验目的和测验要达到的目标,教师自编测验首先要审查测验的目的，如要明确测验对象是谁以及其学习水平和特点；还要明确测验内容、教学要求和目标是什么；此外尤其重要的是要明确测验的性质是什么，是为了安置、诊断、反馈，或者是了解学生对新课程内容的准备情况 。,心理测量学,（一）,测验目标与教育,目标分类,测验目标的确定是以教育目标分类理论为基础的。,（一）布卢姆等人的教育目标分类法,（二）加涅的教育目标分类法,（三）,梶田叡一的教育目标分类法,（四）我国认知目标的分类,心理测量学,布卢姆的,分类法,加涅的,分类法,梶田叡一的教育,运动技能,认,知,领,域,评价,综合,分析,应用,理解,知识,智力技能,认知策略（问题解决）,高级规则,规则,概念,辨别,言语信息,智力技能,技能领域,适应,练习,模仿,观察,态度领域,形成价值情结,组织价值体系,形成价值观念,反应,接受,行为后果,认知因素,情感因素,态度,体验目标,精神运动领域目标,情感领域目标,认知领域目标,提高,目标,精神运动领域目标,情感领域目标,认知领域目标,基础目标,精神运动领域目标,情感领域目标,认知领域目标,心理测量学,（四）我国认知目标的分类,A,、五分法,知识,理解,应用,分析与综合,创造,B,、四分法,识记,理解,简单运用,综合运用,心理测量学,第三节 教师自编课堂测验,2.,制定测验编制计划,这一步主要包括制定测验蓝图或双向细目表以及确定达到测验目标的最好项目类型,。,首先，根据教学目标和教材内容设计一个包括知识和能力两个维度双向细目表 。,其次，根据各种题型的特征和侧重考查被试能力特质的哪一方面合理选择 。,心理测量学,（一）制定命题双向细目表,命题双向细目表是命题的蓝图，它详细说明了测验的内容、测验目标、对试题数量、考试时间、测验分数分配等，都起着重要的作用。,常见的命题双向细目表有：,1,、反映测验内容与测验目标关系的双向细目表；,2,、反映测验内容与测验目标、题型之间关系的双向细目表；,3,、反映题型与难度、测验内容之间关系的双向细目表；,4,、反映题型与难度、测验目标之间关系的双向细目表；,心理测量学,反映测验内容与测验目标关系的双向细目表,测验目标,知识 理解 应用 分析与综合 创造,合计,100,测验内容,合计,心理测量学,心理测量学,反映测验内容与测验目标、题型之间关系的双向细目表,内容,选择题,简,答题,证明题,应用题,分析题,合计,知识,理解,知识,分析综合,应用,分析综合,创造,应用,合计,心理测量学,反映测验内容与测验目标、题型之间关系的双向细目表,测验内容,（内容块）,选择题,简,答题,证明题,应用题,分析题,合计,知识,理解,知识,分析综合,应用,应用,分析,综合,创造,平面,空间两条直线,空间直线和平面,空间两个平面,2,3,3,8,4,3,2,2,13,15,9,9,5,3,5,4,2,3,5,15,15,35,35,合计,2,18,7,28,18,8,9,10,100,心理测量学,设计命题双向细目表的基本原则要求：,命题原则,1,：明确测验的目的，使试题的内容和形式符合测验的目的和要求，能够测出所要测量的知识和能力。,命题原则,2,：试题内容的取样要有代表性，即要对测量目标有充分的覆盖面，且各个部分内容的比例要适当。,心理测量学,第三节 教师自编课堂测验,3.,命题与组卷,首要问题是教师应该严格按照测验计划进行，特别是要严格按照测验双向细目表规定的教学目标编制出符合要求的试题。,具体包括：编制试题、确定答案、评分标准、测验指导语，确定呈现项目的顺序，确定呈现项目的最好方式。,心理测量学,第三节 教师自编课堂测验,三、教师自编课堂测验应注意的问题,1.,教师要深入研究教材，深入调查学生,2.,要客观评价自己的命题技术，合理使用各种题型,3.,要注意总结命题经验，提高命题技术,4.,要尽量控制评分误差，防止简单粗糙,5.,要做一些测验质量的分析研究,心理测量学,第八章 教育成就测验的编制与实施,第四节 教育测验题库建设方法,心理测量学,第四节 教育测验题库建设方法,题库定义：,狭义题库指测验性能明确的若干题目的有序集合。,广义题库指以狭义题库为中心建起的带有若干附加功能的计算机系统。,建库目的：,提高考试质量，保证考试的公正和公平。,心理测量学,第四节 教育测验题库建设方法,一、题库设计与系统编程,(,一,),题库系统宏观设计,心理测量学,(,一,),题库系统宏观设计,1,题库指导理论设计,指导理论设计综合考虑：,开发目的 精度要求,技术水平 人财物投入能力,经典测量理论指导优点：,熟知， 模型简单,投入小 适用于常规测验,心理测量学,(,一,),题库系统宏观设计,2,题库指标体系设计,设计题库指标体系同时也就是设计题库中试题的存放规则和试题的调用方式。,设计目的：,1,、标明试题性能,2,、规定试题存储和调用规则,心理测量学,心理测量学,(,一,),题库系统宏观设计,2,题库指标体系设计（续）,指标体系设计原则：,科学性原则 完备性原则,简易性原则 独立性原则,可操作性原则,心理测量学,(,一,),题库系统宏观设计,2,题库指标体系设计（续）,指标体系设计步骤：,1,、初拟指标,2,、精选指标,3,、精炼指标：,4,、指标细分层（类）,心理测量学,(,一,),题库系统宏观设计,2,题库指标体系设计（续）,教育测验题库常用指标：,认知目标层次,难度 内容,内容地位 题型,心理测量学,(,一,),题库系统宏观设计,3,题库题量分布设计,设计目的：,明确命题任务、保证题库结构合理,设计总原则：,科学合理,心理测量学,(,一,),题库系统宏观设计,3,题库题量分布设计（续）,科学合理标准：,能组成性能符合要求的各种试卷；,能组成尽量多的同规格平行试卷；,保证题库有尽量多的试题有较高利用率。,心理测量学,(,一,),题库系统宏观设计,3,题库题量分布设计（续）,设计依据：,对本课程各种试卷的组成结构有全面了解,需设计的指标：,题型 难度 内容,内容地位 认知目标层次,心理测量学,一、题库设计与系统编程（续）,（二） 题库计算机系统设计,1,系统管理功能设计,（,1,）用户管理,（,2,）命题人员信息管理,（,3,）考生信息管理,（,4,）数据文件管理,心理测量学,（二） 题库计算机系统设计,2,试题管理功能设计,（,1,）试题的录入。,（,2,）试题的修改与删除。,（,3,）试题的查询。,（,4,）试题的使用记录查询与记录撤销。,（,5,）电子命题卡设计。,心理测量学,（二） 题库计算机系统设计,3,数据分析功能设计,试题相应参数,试卷质量信息,被试水平分析,心理测量学,（二） 题库计算机系统设计,4,组卷、测试功能设计,计算机按蓝图自动组卷,机测程序,心理测量学,第四节 教育测验题库建设方法,二 试题命制,（一）命题组织,心理测量学,（一）命题组织,命题人员要求：,明确题库建设的目的意义和方法；,明确题库指标的意义和界定方法，编码方法；,明确命题任务；,明确命题要求和命题卡的使用方法。,心理测量学,（一）命题组织,分配命题任务要求：,总体上统筹考虑，,结合个人特长,以内容章节为依据,任务应该形成文字,命题的组织形式：,不限,心理测量学,二 试题命制,(,二,),个人命题,1,制定个人命题计划,研读资料：,教材和考试大纲,指标体系设计材料,个人领取的命题任务资料,心理测量学,(,二,),个人命题,1,制定个人命题计划（续）,命题任务具体化：,自上而下进行，整个任务先分配到章节，包括各种比例分配，再落实到各考核知识点上，还要有一定比例综合性试题。,心理测量学,(,二,),个人命题,2,命题技术要求,编制试题注意事项（,6,项）：,内容的科学性、用词用语的准确性、,有公认的正确答案、不超纲、,认知层次和难度等级不错位。,心理测量学,(,二,),个人命题,2,命题技术要求,编制试题注意事项（续）：,制定答案和评分规则注意事项：,保证答案正确，全面。,评分应尽量分步给分，给分尽量不要有伸缩性。,心理测量学,(,二,),个人命题,2,命题技术要求,编码注意事项：,要对编码规则非常了解,要非常细心，编码不应有误,心理测量学,(,二,),个人命题,3,复查,复查的任务：,（,1,）再次评价每道试题的科学性,（,2,）再一次确认所有指标编码的准确性,（,3,）检查题量分布是否符合任务书要求,心理测量学,第四节 教育测验题库建设方法,三、审题、试测、入库,（一）审题,心理测量学,（一）审题,审题内容（八点）：,1,、内容是否科学、健康，是否适应时代发展要求。,2,、语言是否规范、确切，设问指向是否明确、不易误解。,心理测量学,（一）审题,审题内容（续）：,3,、迷惑选项是否有效，选项用词有无暗示。,4,、答案是否正确。,5,、评分规则是否客观细致。,心理测量学,（一）审题,审题内容（续）：,6,、题型是否规范，是否合符本题库规格要求。,7,、指标编码是否准确，有无遗漏、错位现象。,8,、命题卡的填写是否完整、规范，字迹是否清楚。,心理测量学,（二）试测与数据分析,1,2,3,第一步,做好,试卷的编制,第二步,要选好,测试被试,第三步,组织,命题人员,亲自阅卷,组织试测：,心理测量学,（二）试测与数据分析,数据分析：,使用题库自备的或现有商业软件进行,估计试题的各项统计参数,根据试题参数对每道试题质量进行评估,心理测量学,（三）入库,录入员输入要求：,委派专业录入人员,保证文字题卡内容的绝对完整和可靠,录入后应该认真校对,换人校对，避免心理定势,心理测量学,（三）入库,电子题卡导入要求：,由系统管理员承担。,导入前应该完成文字的校对工作,导入时需特别注意编码、编号不能错位,心理测量学,第四节 教育测验题库建设方法,题库建成后还必须对整个题库系统进行各方面的功能检验。,题库需要长期的维护和更新,。,心理测量学,第四节 教育测验题库建设方法,本章参考文献,1,朱智贤,.,心理学大词典,:,教育心理学部分,.,北京：北京师范大学出版社，,1989,：,64-681.,2Lewis,R.Aiken,著，张厚粲，黎坚译,.,心理测量与评估,M.,北京：北京师范大学出版社，,2006.,3,安妮,安娜斯塔西，苏珊娜,厄比纳著，廖小春，竺培梁译,.,心理测验,M.,杭州：浙江教育出版社，,2001.,4,戴海崎，张锋，陈雪枫,.,心理与教育测量,M.,广州：暨南大学出版社，,2003.,心理测量学,5,吉尔伯特,萨克斯著，王昌海等译,.,教育和心理的测量与评价原理（第四版）,.,南京：江苏教育出版社，,2002.,6,郑日昌，蔡永红，周益群,.,心理测量学,M.,北京：人民教育出版社，,1999.,7,冯智文,.,美国中小学成就测验的功能和作用,J.,云南教育，,2007,，,(6),：,47-48.,8,马惠霞，龚耀先,.,成就测验及其应用,J.,中国心理卫生杂志，,2003,，,17(1),：,60-62.,心理测量学,9,马惠霞，龚耀先,.,多重成就测验的初步编制,J.,中国临床心理学杂志，,2003,，,11(2):81-85.,10,陈中永,.,心理评价将成为心理测量发展的新阶段,J .,心理学探新，,1992,，（,2,）：,38-42.,11,武世兴,.,美国基础教育的教育测量,哈考特评估公司与斯坦福成就测验,.,基础教育参考，,2007,，,(12),：,42-44.,12,范晓玲，龚耀先,.4-6,年级多重成就测验的编制,J.,中国临床心理学杂志，,2005,，,13,（,3,）：,253-257.,心理测量学,13,范晓玲，龚耀先,.4-6,年级多重成就测验的编制,II:,信度考验,J.,中国临床心理学杂志，,2006,，,14,（,6,）：,553-559.,14,范晓玲，龚耀先,.4-6,年级多重成就测验的编制编制,:,效度考验,J.,中国临床心理学杂志，,2008,，,16,（,1,）：,5-12.,15,刘远我,.,重视教师自编测验在教育评价中的作用,J.,江西教育科研，,1993,，（,5,）：,46-48.,16,索桂芳,.,论高校教师自编测验的程序及方法,J.,邯郸学院学报，,2007,，,17(2):73-74.,心理测量学,谢 谢！,