计算机辅助评价的应用例举.ppt

中国水利水电出版社 第10章计算机辅助评价的应用例举 目录 10 1计算机自适应测验10 2技能性测评与网络化评价10 3计算机化阅卷 10 1计算机自适应测验 10 1 1计算机自适应测验的意义10 1 2计算机自适应测验的原理10 1 3计算机自适应测验的实现条件与施测程序10 1 4计算机自适应测验的编制步骤及策略10 1 5基于MET CATS系统的自适应测试 计算机自适应测验的意义 自适应测验是根据被试的不同特质水平与题目的不同难度与区分度 对被试施测不同的测验题目 使这些题目与被试的实际水平尽可能相适应 这样使测验更具有针对性 从而每施测一道题就能获得最大的信息量 早期的自适应测验是一种由人工来控制的自适应测验 有较大的局限性 随着计算机技术的普及 计算机自适应测验展现了强大的生命力 计算机自适应测验的意义 计算机自适应测验 ComputerizedAdaptiveTesting 简称CAT 是建立在项目反应理论基础上的 是测验新理论与计算机技术结合的产物 该测验由计算机根据被试能力水平自动选择测题 最终对被试能力做出估计的一种新型测验 其目的在于通过被试正确回答题目难度的高低来评价其能力 而不是像传统的纸笔测验那样通过被试能正确回答题目的多少来评价其能力 计算机自适应测验的意义 计算机自适应测验具有以下其它测验无法相比的优点 它能因人而异地选题 题目针对性强 可以用较少的题目 较精确地估计被试的能力 它不必规定测验举行的时间 被试可选择自己最理想的时间进行测验 这是因为计算机自适应测验是因人而异的 不必因害怕泄露试题而规定统一的测验时间 计算机自适应测验的意义 它可采用多媒体技术 可创设各种生动 形象的情景 使测验呈现方式能满足多种测验目的 同时更能激发被试的测验动机 能及时了解测验结果 并能方便地通过网络将测验结果传送到所需部门或个人 计算机自适应测验的原理 计算机自适应测验的理论基础是项目反应理论 项目水平的评估是在被试每完成一道题后就马上进行 评估的结果又是选择下一道题的依据 因为自适应测验要求试题难度与被试能力相适应 计算机自适应测验的原理 计算机自适应测验选题的依据是下列项目信息函数 计算机自适应测验的原理 自适应测验有两种形式 一种称为定长测验 即事先确定测验的长度 一旦做到规定的试题数 计算机就自动结束测验 另一种是可变长度测验 它只规定测量精度 不规定测验的长度 计算机自适应测验的实现条件与施测程序 1 CAT实现的条件设定探查性程序 设定高效率的题目选择程序 设定能够快速估计被试水平参数和该参数估计精度的程序 制定合理的测量终止标准 建立性能优良的题库 计算机自适应测验的实现条件与施测程序 2 CAT施测程序 计算机自适应测验大体可分为两个阶段 第一阶段是考生能力水平的探索阶段 以求取该考生的能力初值 第二阶段是对考生能力的不断修正 计算机自适应测验的编制步骤及策略 计算机自适应测验的编制一般包括了数学模型的选择 题库建设 选题策略和试题曝光度的控制 计算机自适应测验的编制步骤及策略 1 曝光度的控制策略所谓曝光度是指试题的使用率 用某试题使用人数除以测验总人数所得的商表示 试题曝光度的控制是为了题库安全 试题曝光度高会造成泄题而影响测验的效度 计算机自适应测验的编制步骤及策略 目前 通过降低高区分度题目的使用率而提高低区分度题目的使用率的曝光控制方法主要有以下几种 随机法概率法动态优先权法 分层法 计算机自适应测验的编制步骤及策略 2 题库参数的控制和优化题库中题目的新增 删除或屏蔽都会影响题库中参数的分布 为了在参数分布不合理时及时调整题库的参数 可设计信息统计模块 用来评价题目参数和知识点参数的分布 当题目参数和知识点参数的分布不合理时给出警告信息 计算机自适应测验的编制步骤及策略 具体评价函数如下 其中f x 是最佳分布密度函数 g x 是当前实际分布密度函数 计算机自适应测验的编制步骤及策略 3 选题策略随机与穷举相结合 减少约束的并行性 呈现最大信息量表 基于MET CATS系统的自适应测试 MET CATS系统是一个针对 现代教育技术 国家精品课程的在线自适应测试系统 MET CATS系统原型中的试题类型为客观选择题 其内容涵盖了 现代教育技术 课程所有章节 与传统笔试试题不同的是 计算机自适应测试的每道试题不仅包括试题正文 选项 测试知识点 而且还增加了试题的难度参数 区分度参数和猜测参数 这些试题主要来源于历年试题 其难度和区分度是通过测试结果统计分析得出的 基于MET CATS系统的自适应测试 1 MET CATS系统的运行过程MET CATS系统自适应测试遵循自适应测试的基本流程主要包括如下步骤 1 用户登录系统 系统验证用户信息 2 设置一个初始能力水平估值 3 根据能力水平估值在试题库中选择一道最适合被试能力水平的试题 基于MET CATS系统的自适应测试 4 将抽取的试题呈现给被试 并获取被试对试题的反应结果 5 根据被试对试题的反应结果重新评估被试的能力参数 6 重复 3 5 步骤 直到终止条件满足 7 向被试反馈测试结果 测试结束 基于MET CATS系统的自适应测试 2 MET CATS系统的评价过程MET CATS系统将能力测试范围设置 3 3 其评价起点是默认被试初始能力为0 即中等能力水平 根据被试的初始能力 系统在中等难度水平 0 5 b 0 5 的试题中随机地选择一道试题作为初始试题 开始自适应测试 10 2技能性测评与网络化评价 10 2 1IT技能性测评10 2 2网络化评价10 2 3国家普通话水平智能测试系统简介 IT技能性测评 目前国内外对计算机辅助测评的技能性测评主要集中在IT技能测评领域 这无疑是应用推动和需求导向的结果 因为IT技能测评量大面广 应用前景广阔 IT技能性测评 IT技能性测评 iTutor应用流程 网络化评价 主要体现在以下几方面 注重对学生技能与能力的评价 支持 做中学 基于对问题解决过程与结果的跟踪 诊断和评价 提供个性化的学习支持服务 国家普通话水平智能测试系统简介 国家普通话水平智能测试系统是在国家语委 十五 重点科研项目支持下研发而成 是迄今为止唯一通过国家语委鉴定并全面应用于国家普通话水平测试中的智能测试和管理系统 该系统不但可准确的对考生命题说话之外的所有测试题型进行自动评测 而且实现了普通话水平测试全流程网络化 智能化的管理 国家普通话水平智能测试系统简介 国家普通话水平智能测试系统架构 国家普通话水平智能测试系统简介 计算机测试流程示意 10 3计算机化阅卷 10 3 1电子阅卷10 3 2网上评卷10 3 3计算机自动评分 电子阅卷 电子阅卷机 OpticalMarkReader 简称OMR 也称光标阅卷机 光标阅读机 它是一种集光 机 电于一体的计算机外设录入设备 以其快速 可靠的性能在标准化考试和各种统计中得到了广泛应用 网上评卷 网上评卷准确的定义是 计算机网上辅助评卷 它以计算机扫描技术和网络技术为依托 首先对考生答题卡进行扫描 扫描同时完成对选择题选项的填涂识别和非选择题答题内容的图像存储 包括整图图像和以大题 或小题 为基础的切分图像 网上评卷 接下来 选择题填涂信息由计算机根据标准答案自动判分 非选择题各题的答题信息 即答题内容的切分图像 由评卷系统呈现在计算机屏幕上供评卷教师评卷判分 最后 还要完成对考生各科选择题得分和非选择题各题得分的统分合成 形成考生的单科成绩和总成绩 计算机自动评分 计算机自动评分 Computer AutomatedScoring CAS 是指使用计算机程序来模拟人工评分的标准及内部过程 对开放式题目和表现性活动进行评分及反馈 早在20世纪60年代初 研究者就开始尝试CAS系统的开发 计算机自动评分 三个国外现有的计算机自动评分系统 项目短文评定系统 ProjectEssayGrader 简称PEG 智能短文评价者 IntelligentEssayASSesSOr 简称IEA 电子评分者 E rater