网络考试系统的设计与实现 - 知识工程研究中心

网络考试系统的设计与实现The Design and Implementation of a Web-Based Testing System杨 娟* 程建钢* 韩锡斌* 曹 岩* 王学优* 清华大学教育软件研究中心 E-mail:yangj00* 清华大学现代教育技术研究所 Tel: 010-62782405本文介绍了网络教学平台的评测子系统网络考试系统的设计与实现。文章简要介绍了网络考试系统的题库系统的设计，其中包括三个子库：试题库、试卷库和学科知识结构库。然后分别介绍了考试系统六大模块的开发：组卷模块、发布模块、考试控制模块、阅卷模块、统计分析模块和发还模块。着重讨论了组卷模块，特别是手动组卷模块功能的设计和实现。关键词：网络教学平台 网络考试系统 组卷1 引言纵观计算机化测试的研究和应用的历史，（如图1所示）可以看到，随着计算机技术的发展，计算机在测试中的应用从当初单纯的判分，到IRT模型出现后的自适应考试，再到现在的基于网络的情境化、模拟化测试, 发挥的作用越来越大。试题的形式也在此过程中发生着变化，从固定在单一试卷中的试题发展到了可以自由组合的题库，再到现在的多媒体试题库。随着题库的建立，组卷变得方便了，测试的形式也发生着变化，由所有学生同考一张试卷的大规模的集体测试发展到了同一场考试使用等同考查效力的不同试卷的小组测试，随着题库的增大和计算机技术的发展，个别化的测试试卷成为研究人员和教师们新的关注对象。图1 计算机在测试中的应用195019601970198019902000集体测试小组测试个别化测试电子判分/阅卷IRT模型题 库Item Banking固定顺序的测试 Fixed Sequence Test多媒体试题Multimedia Items自适应测试基于网络的测试情境试题simulation testing计算机在测试中的应用历史这个时间轴反映的不仅仅是计算机的作用的增大，更多反映的是计算机的使用使教师和教育测量专家们的许多设想逐渐能够得以实现。因此，技术的先进与否不能作为评判一个教学平台的好坏的关键，只有最适合教学需求的才是最好的。作为网络教学平台，就是要帮助教师实现教学理念，作为网络教学平台中最为重要的组件之一评测系统，当然也要秉承这个宗旨：帮助教师实现教育测量功能。网络化教学过程中需要进行阶段性评测，考试是目前较为主流的测量方法，因此网络测试系统是网络教学平台的学习支持子系统的重要组成部分。网络考试系统的题库系统得到了改进，可以支持多种媒体形式的试题，同时，借助便利的组卷模块可以得到多份等同试卷，还可借助发布模块做到同卷不同形式，以此来实现部分“个别化测试”的功能。实际上，网络考试系统目前还是处于小组化测试阶段。严格意义的个别化测试，需要结合连续评价系统，即跟踪学生的学习过程，通过对学生在学习量、技能、学习路径及表现等方面变化的观察，动态的完成对学生知识水平原熟练程度的测评，然后有针对地进行个别化测试。本文重点讨论了网络考试系统的总体结构与功能设计、三类题库的介绍，以及考试流程中组卷、发布、考试过程控制、阅卷、成绩发还以及统计分析等六个主要功能模块的设计与实现。2 网络考试系统设计与题库简介2.1 系统总体结构设计考试系统的用户分为教师和学生两种，工作流程分为题库与组卷、考试及批阅和统计分析三个阶段；支持系统的数据库分为：标准化题库、试卷库、答卷库、统计信息库和学科知识结构库。系统的功能模块分别为：试题编制、试题管理、试卷生成、身份确认、考试与提交、试卷批阅、统计分析、成绩归档、成绩发布等。考试系统的一般流程如图2所示：图2 系统流程图整个考试系统包含了用户管理、权限认证，试题与试卷资源建设与维护，考试过程控制和统计分析、信息反馈等四大部分，分别由各自的数据库支持，包括用于用户管理、权限认证的教师信息库和学生信息库，支持试题与试卷资源建设与维护的试题库和试卷库，考试过程控制中涉及的答卷库，统计分析信息反馈中涉及的统计信息库以及在组卷和统计分析中起辅助作用的学科知识结构库等（如图3所示）。 图3 系统结构图网络考试系统用户管理权限认证试题与试卷资源建设与维护考试过程控 制统计分析信息反馈学生信息库教师信息库试题库试卷库答卷库统计信息库学科知识结构库2.2 题库系统介绍题库系统包括试题库、试卷库和学科知识结构库。题库系统模型：经典测验理论、题目反应理论。经典测验理论适合于传统形式的测试,而题目反应理论更适合于自适应测试。考虑到目前的网络教学中，个别化测试和教师组卷的集体化测试同时存在，因此同时采用两种测验理论。两种理论基础上建立的题库无非在描述上有差异，因此采用描述库和题库分开的办法，即建立一个统一的题库，再分别按照经典测验理论和题目反应理论建立描述库。这样能够共用一个题库，而且在组卷时可以只调用描述库。试卷库保存了所有的试卷以及其信息。试卷库的功能为：一、做备份，有据可查；二、为以后的组卷提供依据：教师可以调出试卷库中的试卷或直接使用，或作参考，或在此基础上稍加改动形成新试卷；三、通过从试卷库中选取已公开的试卷，供学生进行自测，检查学生对知识点的掌握情况。学科知识结构库包含了知识点库和课程知识结构库。知识点是组成课程结构的基本单元，知识点库保存了大量的知识点信息。章节结构库则由教师在备课或建立题库之前按照课程的结构和讲授大纲自行建立。在设置章节结构过程中，教师必须为每一节添加知识点，这样能够把整个课程的知识点有机的组合起来，便于组卷。每道题在入库时都注明该题所涉及的知识点及知识点权重（试题在该知识点上的考察分量，由认知度转换而来），从而在试题与学科知识结构之间建立联系。3 考试流程功能模块设计与实现基于经典测验理论的试题库进行的组卷、发布、监考、阅卷、发还和统计分析等模块的设计与实现。3.1 组卷组卷分为手工组卷和自动组卷两部分。手工组卷的特点在于为教师提供方便的查询试题和分析试卷的功能。一般教师进行组卷时，希望能够有一个清晰的知识结构图，在此基础上能够清楚地了解试题的知识点分布。本系统组卷按照章-节-知识点-试题的层次关系进行。由教师预先建立章节结构，把章节与知识点联系起来：教师按照科目的结构添加章节，并在每个节后添加知识点。试题库中试题和知识点相对应，这样就可以把题库和章节结合起来，能够使题库为多个教师所使用。当然教师能够查到的试题只能属于公共题库和教师个人的题库。组卷时，教师可以选择章、节和知识点，组卷程序为教师列出所选知识点所对应的试题，供选择。根据题库中题量的多少由教师自行决定选题方式。题量较小时，可以一次列出所有的试题；题量较大时，则选一个知识点，列出考察该知识点的试题。如果一道试题包含不同的知识点，那么该试题只有在选中权重最大的知识点时才会列出。当然，如果教师要求获得更大范围的试题，这时列出所有涉及该知识点的试题。例如：一道题包含三个知识点：A，B，C，权重分别为：A（0.5）B (0.3 ), C (0.2)。组卷时，如果教师选中知识点A，这道题会自动列出，供选择，再选中知识点B或C时，这道试题就不会被列出。如果教师需要B或C知识点上的更多试题，他可以要求获得更大范围的试题，这样这道试题才会列出。这样做的好处在于：（1）突出试题的主要考察点，试题虽然涉及了多个知识点，但考察的知识会有所侧重，没有必要把着重考察知识点A的试题放到知识点B或C的待选试题集中；（2）避免试题重复，虽然在选题时，有相应的程序进行“剔重”处理（当重复选中某一试题时提出警示），但是由于有相当一部分题会涉及到多个知识点，如果不加以权重的考虑，在各知识点上都分别列出，就会造成待选题的冗余。对于教师而言，大量的重复试题会加大他们的工作量，因此在组卷程序中采取上述策略进行预先“剔重”处理。图4为试题选择界面。图4 试题选择页面在选题过程中，随时把教师选中的试题添加到“已选试题列表”中，同时显示出试卷所考察的知识点分布情况,为教师随时调整选题方案提供参考。知识点分布情况显示如图5：图5 知识点分布图比率 难度第一章第一节知识点A 11% 中知识点B 5% 较难.第二节知识点D 3% 较易图5中，知识点的占分比率为涉及到该知识点的被选试题的分数乘以权重所得到的权重分的总和，难度以涉及到该知识点的所有被选试题中难度最高的试题为准。在组卷完成后，还要进行试卷的总分设置，测验时间设置以及其他一些属性设定：试题顺序是否随机，选择题的选项顺序是否随机（后两项属性将在试卷发布时发挥作用）。完成组卷后，试卷存入试卷库，同时，向试题库返回信息刷新最终被选试题的曝光时间。自动组卷模块，预先定义一组衡量试卷优劣的指标，在组织试卷时，用户根据自己的组卷要求，对这些指标提出一定的要求，组卷模块按照一定算法从题库中挑选试题组成试卷，使其各项指标的实际值与教师提出的目标值尽可能的接近，最大限度地满足用户的需求。智能组卷包含组卷要求、试卷指标、生成方法、选题方法和试卷评价这四个要素，而试卷指标又是各道试题的试题指标计算得到的，因此我们还要加上试题指标和试题指标到试卷指标的计算方法这样两个要素，总括起来，智能组卷共包含组卷要求、试卷指标、试题指标、试卷评价以及选题方法等6个要素。组卷要求包括了覆盖面大，重点突出，各章节分数分布均衡，各题型分数分布合适，难度符合目的，总分、总时符合要求，以及考察知识点不相重复等多项层次不同的要求。这些较为抽象的组卷要求必须明确化：根据教师常见的“要求”设置试卷指标，用来数量化衡量一张试卷；通过给各项指标设置权重，或将其划分到不同重要性等级的方法，反映出特定考试中教师对各项指标的不同重视程度；组卷时让教师对这些预定指标提出希望值，然后系统据此选题组卷。试卷指标分为四类：最基本指标：总分、总时、题数；基本指标：考试的出题范围和重点考察内容；常见指标：试卷的难度和区分度；涉及试卷的均衡协调的指标：试卷的题型比例、知识点比例等。根据试卷指标和试题指标间的内在联系，由试题指标生成试卷指标，这种生成方法在选题过程中即成为选择条件。组卷实质是在试题库范围内挑选一个子集，实现方法可以分成两类：一类是确定值的，一类是模糊值的。确定值是指，挑选出一个子集，让它的各项指标精确的等于预定值，这有点类似于一个方程组求解的问题。自变量是各道试题的各个指标值可以看作是一个mn的矩阵，应变量是各个试卷指标，可以看作一个l1的矩阵，方程形式是试卷指标f（各项试题指标），方程数是总的试卷指标数，而自变量的定义域是整个题库中的试题组成的集合。对于这个有十几个自变量，十几个方程的方程组的求解问题，目前还没有有效的解法，即使有解法，也常常会遭遇无解的情况，因此这种解方程的方法不予采用。相应的，模糊值是指，挑选出一个子集，让他的各项指标值和预定值之间的差异尽可能的小，首先，我们有十几个目标函数和这些函数的预定值，然后我们可以为每一张试卷计算这十几个目标函数的实际值，然后将目标值与实际值比较一下，求出差值，然后，或者是根据这个差值用加权平均等方法算出一个综合的差值，或是直接使用这十几个差值，来进行优化，使这些差值极小，以此得出最符合教师要求的试卷。详细的介绍将另文叙述。3.2 发布教师完成组卷后，试卷尚未发布，学生端还看不到试卷，在发布前，教师可以随时修改试卷，一旦发布，该试卷就不能再更改。发布的过程就是在学生端为每个学生创建一份试卷，把所有的试题信息，包括题干，选项（其实是试题和选项的id），试题顺序，选项顺序写入每个学生的试卷表中。发布过程可以通过触发器完成。如果教师设定属性：试题顺序随机，选择题选项随机，那么生成每份试卷时都随机排列试题顺序和选项顺序，能够生成多份形式不同的试卷。3.3 考试过程控制学生端一旦进入考试页面开始考试，计时器就开始计时，在页面跳转时，计时暂停，待新页面载入后继续计时，到了规定的时间，自动上缴试卷。在考试过程中采用一页面显示一题的方式，同时用一状态框列出已答试题和正在作答试题，便于学生掌握自己的答题情况。学生可以修改已作答的试题。最后学生上交试卷，或者到时自动上交。考试页面如图6。图6 学生端考试页面3.4 阅卷计算机自动批阅判断题、选择题等客观题，主观题则提交给教师批阅。在教师批阅时，不仅显示 学生的答案，还显示参考答案和评分标准，便于教师参考进行评分。教师批阅完后，主观成绩也入库，与客观成绩汇总，形成试卷最后的成绩。3.5 成绩发还阅卷完毕后，即使是完全计算机评阅的试卷也必须经过教师的察看后，才能发还。因为教师可能需要对学生的成绩进行一定的调整。教师一旦确认了试卷成绩，所有的成绩就发还给相应的学生。3.6 统计分析统计和分析其实应分为两个模块：统计学生总体的得分情况，用图形表现各分数段的学生人数，从而了解学生总体的掌握情况；分析单个学生各知识点的得分，从而了解其对于各知识点的掌握情况，分析各知识点上学生的解答情况。4 结论基于Web的网络考试系统的研制与设计对远程教育具有重要的理论和应用价值，本项目比较系统地设计了网络考试系统，建立了题库、知识点库、试卷库等数据库，完成了从手动组卷到统计分析一系列功能模块的设计和实现，介绍了智能组卷系统的设计方案。参考文献1 李拥军.基于World Wide Web远程测试的研究与实现.现代远距离教育.2000（75）：41-44.2 吴平.远程考试系统的设计.中国远程教育.2000（162）：46-48.3 余胜泉，何克抗.网络题库系统的设计与实现.教育技术通讯.4 余胜泉，姚顾波，何克抗.通用试题库组卷策略算法.教育技术通讯.5 钱俊，刘艳芳，丁凤涛.网络题库建设和管理.6 张江，黄迪明，廖建明.通用考试系统的设计与实现,电子科技大学学报.2001.30（2）：157-161.7 唐丰.清华大学毕业设计论文.8 蒋理.网络考试系统设计.微机发展.2000（6）：71-72.This paper discusses the design and implementation of an online testing system, which is the subsystem of Tsinghua Education Online E-learning platform. Item bank, paper bank and knowledge bank are introduced briefly. Six modules of testing system including testing authoring module, test publishing module, testing administration module, scoring module, data analysis, and feedback module are introduced. This paper focuses on the testing authoring module and described its design in detail. Key words：Web based testing test generate test authoring