心理测量第8章心理测验的编制.ppt

第八章测验的编制 编制测验的一般程序 确定测验目的与计划设计测试项目项目的测试和分析合成测验测验使用的标准化及编制使用说明 确定测验目的 测验对象即这个测验编成之后将要用于哪些团体和个人 测验目标测验目标是指所编测验是用来测量什么心理变量或者行为特征的 测验用途 功能 所编出的测验是要对被试做描述 还是选拔 预测或者诊断 测验用途或功能不同 在编制题目的取材范围和试题难度都有差别 拟定编制计划 编制计划 实际上就是对测验的总体设计 指出测验的内容结构和项目形式等 以及对每一个内容 目标的相对重视程度 一般采用双向细目表呈现 表2 1小学自然常识测验编题计划 双向细目表中两个维度的具体内容 因所编制测验的性质不同而不同 在学科测验中 横向维度一般表示教学目标 纵向维度一般表示教材内容 在心理量表编制中 如果一个维度表示测量目标 心理特质 那么 另一个维度就表示外显行为 测验计划的用途 在编制阶段 测验计划指出应该编多少和编哪些种类的项目 项目编好后 可将项目的实际分布情况与测验计划对照 以确定测验项目是否恰当地代表了所要测量的领域 核对重要方面的内容是否遗漏 在记分时可按表中百分比确定每类项目的分数 产生测题 产生测题就是编辑测验的项目或题目 产生测题一般包括收集测验有关资料 选择测题的形式 编写 修订测题等工作 产生测题的过程 搜集有关资料选择项目形式编写和修订项目 搜集有关资料 1 资料要丰富有关所要测量的心理特质的理论同行已经编制的有关测量这种心理特质的国内外量表访问专家 教师 在一线工作的有关人员 征求他们的意见 收集与测题有关的资料了解受测群体的实际情况2 资料要有普遍性所选择的材料应该具有文化公平性 如 对于智力测验来讲 所收集的资料对于不同文化背景 不同经济地位 不同地区的个人和团体应该是公平的 测验编制经验丰富者在编制测题时 往往会考虑以下几个测题的来源 已出版的标准测验 理论和专家的经验 临床观察和记录 选择题目形式 第二节详述 考虑以下几点测验的目的和材料的性质接受团体的特点各种实际因素 编写并修订题目 编写题目应注意的问题题目的范围要与测验计划所列的双向细目表一致题目的数量要多一倍甚至几倍 以备删选和编制复本题目的难度必须符合测验目的和需要题目的说明必须清楚明白 项目的试测和分析 初步筛选出来的项目虽然在内容上和形式上符合要求 但是否具有适当的难度与鉴别作用 必须通过实践来检验 也就是要通过预测进行项目分析 为进一步筛选项目提供客观依据 试测 即预备测验 在测验时应注意以下问题预测对象应来自将正式测验准备应用的群体实施过程与情境应力求与正式测试时的情况相近预测时限可稍微宽松一些 最好使每个被试都能将项目完成 以搜集比较充分的反应资料 使统计结果更为可靠在预测过程中 应随时记录被试的反应情形 项目分析 对项目的分析包括质的分析和量的分析两个方面 质的分析是从内容取样的适当性 题目的思想性以及表达是否清楚等方面加以分析 量的分析是对预测结果进行统计分析 确定项目的难度 区分度 备选答案的适宜性等 编制一套测验 只依据一次预测的结果所做的项目分析是不够的 由于预测的被试样本可能会有取样误差 故由此得到的项目分析结果未必完全可靠 为了检验所选出的项目的性能是否真正符合要求 有时需选取来自同一总体的另一样本再测一次 并根据结果进行第二次项目分析 看两次分析结果是否一致 如果某个项目的测试结果前后相差较大 说明该项目的性能值得怀疑 这种在两个独立样本中进行项目分析的过程叫做复核 ReliabilityStatisticsCronbach sAlphaCronbach sAlpha 309 删除13 16 20题后的结果 合成测验 项目的选择项目的编排编造副本 项目的选择 在选择项目时 不但要考虑项目分析所提供的资料 还要考虑测验的目的 性质与功能 最好的项目 就是只测定所需要的特征 并能对该特征加以有效区分的难度合适的项目 一般来说 项目的区分度越高越好 这是选择项目的一条重要标准 特别是对于选拔测验 此标准尤为重要 选择项目的另一个指标是难度 难度多大为合适并无一个绝对的标准 而要根据测验目的来确定 有的要求难一些 有的则要求容易一些 有的可不考虑难度 根据项目分析资料选出的项目 还要与测验计划再次对照 看看材料内容以及所测量的行为目标是否与计划相符 必要时加以适当调整 此外项目的数量还必须适合于所限定的时间 项目的编排 项目选出之后 必须根据测验的目的与性质 并考虑被试作答时的心理反应 加以合理安排 测验项目常见的排列方式并列直进式混合螺旋式 编造复本 为增加实际的效用 一种测验有时需要有两个以上的等值型 称作复本 复本越多 使用起来越便利 测验的各份复本必须等值 所谓等值需符合下列几个条件 各份测验测量的是同一种心理特质各份测验包含相同的内容范围 但题目不应有重复各份测验题型相同 题目数量相等 并且有大体相同的难度分布 只要有足够数量的题目 编造复本的手续是很简单的 先将所有适用的题目按难度排列 其次序为1 2 3 4 5 6 如果要分成两个等值的测验本 可采用下面的方式 A本 1 4 5 8 9 12 13 16 17 B本 2 3 6 7 10 11 14 15 18 如果要分成三个等值的测验本 可采用下面的方式分 A本 1 6 7 12 13 18 19 24 B本 2 5 8 11 14 17 20 23 C本 3 4 9 10 15 16 21 22 采用上面的分法可使复本之间在难度上基本相等 从而获得大体相同的分数分布 复本编好后 应该再试测一次 以判定各本是否等值 测验使用的标准化 一套好的题目并不一定是一个好的测验 对于测验的基本要求是准确 可靠 为了减少误差 就要控制无关因素对测验目的的影响 这个控制的过程 称做标准化 包括测验编制的标准化和测验使用的标准化两个方面 制作过程的标准化可保证量具本身符合要求 而使用过程的标准化可保证操作规范 使用得当 测验使用的标准化又可分为测验内容标准化 施测过程标准化 评分计分标准化 分数解释标准化 施测过程 尽管对于所有的被试使用了相同的题目 如果在施测时各行其是 所得的分数便不能进行比较 为了使测验条件相同 必须有统一的指导语和时间限制 指导语给被试的指导语属于测验刺激的一部分 它的内容通常包括对测验目的的说明和被试应该如何反应的指示 包括如何选择反应 记录反应以及时限等 对于纸笔测验来说 这些指示一般印在测验的开始部分 也可以印在另外一张纸上 要求简单明确 不引起误解 如果题目形式对被试是生疏的 还应该有一些例题 为了保证测验情境的一致 还要有对主试的指导语 主要是对测验细节作进一步的解释 以及其他一些有关事项 包括测验房间场地的安排 照明 桌椅 隔音 温度等 测验材料的分发 如何计时 计分 对被试的各种提问如何回答 以及在测验中途发生意外情况应该如何处理 时限确定测验的时限 要考虑施测条件和实际情况的限制 以及被试的特点 如对儿童 老人 病人施测时间不宜过长 不过更重要的是考虑测量目标的要求 通常所用的时限是使大约百分之九十的被试能在规定时间内完成全部测验 如果题目由易到难排列 应使大多数在规定时间内完成他会回答的问题 评分 记分 为使评分尽可能客观 有三点要求及时而清楚地记录反应情况 特别是对口试和操作测验 此点尤为重要 必要时可以录音和录像要有一张标准答案或正确反应的表格 即计分键将被试的反应和记分键比较 对反应进行分类 无论采用何种评分方法 都必须符合客观 准确 经济 实用四项原则分数评出后还要进行合成计算 即将各题目分数合成分测验分数 再将分测验分数合成测验总分数 准确无误是对计分的基本要求 分数解释 一个标准化测验 不但编制 施测和评分要标准化 对分数的解释也必须标准化 如果同一个分数可做出不同的推论 测量便失去了客观性 常模参照测验分数的解释标准参照测验分数的解释无论哪种测验 都要参照某个系统对原始分数加以转换 才能做出有意义的解释 搜集信度 效度资料 测验编好后 必须对其测量的可靠性和有效性加以评估 为此就要进行测量学方面的分析 搜集信度和效度资料 编制测验手册 为使测验能够合理地实施与应用 在正式测验编制完成后 还要编写一本手册 就下列问题作出详尽而明确的说明 本测验的目的和功用测验的理论背景以及选择项目的根据测验的实施方法 时限及注意事项测验的标准答案和记分方法常模表或其他有助于分数转化与解释的资料测验的信度 效度资料 包括信度系数 效度系数以及这些数据是在什么情境下得到的 第二节测验项目的编制 项目编制的基本原则科学性原则目的性原则代表性原则合理性原则经济性原则 项目编制的具体要求 题目格式应明确具体 不要让被试误解题目之间彼此独立 不可互相重复或牵连题目文句要简明扼要 题目意义必须明确 不能含糊题目不可含有暗示本题或其他题正确答案的线索所题问题应避免涉及社会禁忌与个人隐私题目应有确切答案题目难度适宜尽量做到施测与评分省时 客观性试题的编制要领 客观性试题又称固定应答型试题 是让受测者从测验编制者事先定好的答案中辨认出正确答案 成就测验 教育测验 包括选择题 是非题 匹配题等 客观题的优缺点 优点 评分简单准确 适合测量记忆 理解 应用 分析等几个层次的认知目标 保证所测内容的覆盖率和代表性 缺点 编制测验花费时间和精力较多 不适合测量被试综合 评价等高层次的认知目标 在答题时难以排除猜测 选择题 选择题在结构上由两部分组成 一为题干 以直接问句或不完全陈述句的形式出现 另一个为选项 包括1个正确答案和3 5个错误答案 或若干个正确答案和若干个错误答案 前者称为单选题 后者称为多选题 文字 图形 数字等不同性质的测验材料都可以采用选择题的形式 它可以考察被试记忆 鉴别 分析 理解 推理和应用等多种能力 因而在标准化心理与教育测验中用的很多 请你选择一种喜欢的颜色 绿色茶色紫色蓝色红色白色黄色智力测验 主要是测量推理能力 编制中使用的选择题 1 猫头鹰是鸟正如白鲨是 a动物b鱼类c鸟类d爬行动物 2 平地与土丘的关系就如同峡谷与 的关系 a沟壑b山谷c丛林d河流e高山 无正确答案 在设计选择题时应注意以下问题 1 题干所提的问题必须明确 尽量使用简单而且明晰的词语 做到题干意义完整 即使被试不看选项亦能完全理解 2 选项要简明扼要 切忌冗长 选项中共同的词语删掉 放到题干中去 可使题意更明确 同时减少被试看题时间 例 牛顿最伟大的贡献在 A生物学方面B物理学方面C社会学方面D经济学方面 3 单项选择中每题只给一个正确答案 其他属诱答 若是找最合适的答案 应用这样的问句 下列答案中哪个最合适 以免引起困惑 4 各选项长度应相等 尽量不要有长有短 同时 选项与题干的联系要非常密切 诱答也必须一致 以免被试很容易就排除了诱答项目 例 黄河发源于 A甘肃B西藏C浙江D四川 5 选项最好用同一性质和形式 如同为人名 地名 数字 时间等 长度最好相等 例 法国的首都是 A伦敦B巴黎C1792D阿尔俾斯山 6 正确答案应随机排列 避免出现规律 优点 适用范围广 既可以适用于文字和数字的材料 也可以适用于图形的材料 评分简单 省时 客观 相比于判断题更少受猜测因素的影响 缺点 编拟迷惑答案比较困难 无法测量出被试的言语表达能力和概括 组织能力 这与简答题 论述题相比是不足的 尽管选择题减少了机遇的影响 但猜测的影响仍然不能完全排除 判断题 喜欢在大庭广众之下发表自己的见解 是否你常常主动给朋友写信或打电话吗 是否 编制判断题应注意以下几点 1 内容应以有意义的事实 概念或原理为基础 避免无关紧要的问题或琐碎的细节 2 每题只应包含一个概念 避免两个以上的概念在同一题中出现 从而造成似是而非或半对半错 3 论点要简明扼要 意义明确 不要有艰深难懂的词句或含糊不确定的文字描述 4 避免使用具有暗示性的特殊词句 5 肯定和否定的题数应大致相等 且随机排列 6 题数不能太少 匹配题 例题 诗圣关汉卿词圣吴道子书圣杜甫史圣欧阳修文圣司马迁曲圣王羲之画圣苏轼 戏曲故事多来源于民间传说 将下列剧目与对应的剧种连线 天上掉下个林妹妹 京剧 天仙配 包龙图打坐在开封府 黄梅戏 红楼梦 夫妻双双把家还 豫剧 铡美案 谁说女子不如男 越剧 花木兰 编写匹配题的要领 一个题目的各个刺激项目及各个反应项目应该在内容上是同质的在指导语中要讲清匹配依据 告诉被试每个反应可用几次配对项目项目不可过多或过少 每个刺激项目有且仅有一个反应项目匹配按一定逻辑次序排列同一组项目印在一页上 主观性试题的编制要领 主观性试题又称自由应答型试题 非客观性试题 论文性试题 是让受测者用自己的语言或行动来对某一问题做出回答 包括排列题 改错题 填充题 简答题 应用题 论文题 操作题 联想题等 主观题的优缺点 优点 编制容易 不允许猜测和简单背诵 能测量复杂的能力 缺点 评分难度大 不够客观 题目少 取样缺乏代表性 改错题 1 全校的师生和老师都参加了这次活动 2 校园里开满了五颜六色的红花 3 河南省的人口是我国最多的省份 4 故宫 天坛 亚运村都是值得游览的名胜古迹 填空题 1心理学作为一门独立的学科是从德国心理学家 于 年建立第一个心理学实验室开始的 2 世界上第一个智力测验是使由 与 编制的 3 已掌握的技能对以后的技能产生影响 这种心理现象称为 论述题 1 如何培养学生的创造性 2 联系实际分析造成师生关系紧张的常见原因 谈谈如何建立良好的师生关系 3 论述同伴关系在青少年发展中的价值 操作题 操作题是介于一般认知结果的纸笔测验和在未来真实情境的实际活动之间的测验 是让被试实际操作 如画图 走迷津 拼配物体等 可作为纸笔测验题的补充 编制操作测验有四条原则 1 明确所要测量的目标 并将其操作化 2 尽量选择真实性程度较高的项目 3 指导语要简明扼要 主要让被试明白要他们做什么和在什么条件下做 如使用什么工具 时间限制以及评价的依据等 4 制定评分标准 确定计分方法 第三节测验等值与题库建设 在心理与教育测量中 把测量同一种心理特质的不同测验分数 通过一定的数学模型转换成统一单位系统中的过程称为测验等值 题库建设 试题库建设是教育现代化的需要 是教考分离 最大限度提高办学效益 实行标准化考试的需要 也是课程建设的一个重要组成部分 用试题库进行考试是命题方式的重要改革 是实现由传统人工命题到采用计算机随机命题的根本性转变 题库建设的意义 优良试题储存库测量系统稳定性 一致性 通用性较好提高命题工作的效率 减轻命题教师的负担命题过程规范化 科学化