江苏省英语听力口语自动化考试介绍

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,江苏省,英语听力口语,自动化考试介绍,牛津大学出版社(中国)有限公司,中国科学院自动化研究所,2008年8月,1,目录,考试概要介绍,考试的模式和管理,计算机自动阅卷原理,评估报告及教学反馈,2,1.1 主要内容,自动阅卷平台,人机对话听力口语,考务平台,考生语音数据,考务和考场编排系统,题库管理系统,考生成绩及,个性化诊断报告,这是一场英语听力口语合并的全自动化考试,出题自动化,，以海量题库为基础；,考试自动化,，采取人机对话方式；,判卷自动化,，全部阅卷由计算机完成；,结果反馈,，自动化生成评估报告。,3,1.2 本项目四大特点,人机对话的测试系统，将听力和口语合二为一，省时省力、减少事故；,现状：100万考生口语考试，3天组织，工作量很大；,人工：1老师/天/100份卷，总量100万考生；,机器：1个市，2台服务器/3天判卷；,大幅度减少考试可能出现的差错和事故率。,海量题库、人机对话，同一考场不同考卷；,题库的海量性从考试机制的角度,有效阻止了考试作弊现象；,通过技术手段有效,抑制猜题、押题等弊端；,从长远建设角度，经过3到5年努力建立起百万级题库，并且年更新10%。,4,1.2 本项目四大特点,计算机完成全部英语听力和口语考试及评卷,公正性：人工阅卷方式受制于教师体力和精力状况，很难保证成绩的客观性、准确性和公平性，不同老师之间可能出现较大差异；,计算机判卷不仅克服了人工判卷中这些很难避免的不利因素，,极大提高阅卷和评估的客观性和公正性，而且为,个性化评估和提供改进建议奠定了坚实的基础。,有效评估，反馈教学,六级评估报告，从省、市、区县，到学校、班级和个人；,中国第一次以量化方式提供考试评估反馈,；,这样的评估报告对英语的教与学提供了真正的可信、可视化和可操作化的帮助。,5,目录,考试概要介绍,考试的模式和管理,计算机自动阅卷原理,评估报告及教学反馈,6,2.1 考试自动化系统架构,面向考试全程，全面、灵活、可定制的方案,考前：分级考务管理/考场编排系统、考试服务网站,考中：测试系统,考后：自动阅卷系统、报告生成系统,7,2.2 考务管理/考场编排系统,具有省、市、区县三级管理模式；可对考生考籍进行管理；提供多种考场编排方式，生成与考试相关的各种表格与文件，并能灵活打印,8,2.3 考试的组织与管理,候考室,考场1,考生提前,进入候考室,考场2,每考场,监考员1名,每考场,系统操作员1名,每考场带队,教师1名,每考点,考生培训员1名,每考点,主考1名,注：一个考点可包括一个或多个考场(计算机教室),9,2.4 考试系统,监考机,局域网,考试机,听音、录音,听音、录音,听音、录音,考生在监考机的控制下，通过考,试机实现听题目、录回答的过程。,注：以现有计算机教室为考场，每考场设有30-40台考试机,10,2.4 考试系统-学生人机交互,学生端软件操作简单易用，包括考号输入、设备测试、答题等，在语音提示下完成考试过程，出现误操作的几率很小,11,2.4 考试系统-考号输入,12,2.4 考试系统-设备测试,耳麦设备由省政府统一采购,13,2.4 考试系统-设备测试-录音样例,声音太小,声音太大（饱和）,设备测试时检查录音设备，确保录音正常，是自动阅卷的基础。,声音合适,14,2.4 考试系统-考试过程,考生面对计算机，,人机对话,15,2.4 考试系统-教师人机交互,教师端软件全程监控，学生端如有任何异常情况(设备测试、进度、录音异常等)，及时提示监考老师帮助学生解决问题,16,2.4 考试系统-测试现场,17,2.4 考试系统-其它保障措施,每个考场预设10%的备用考试设备，以备设备故障的考生当场或下场重考；,考前制定应急处理方案和故障解决手册，做好对考生设备异常、迟到缺考、网络故障、数据传输等个别情况的处理准备。,考试机故障解决手册,监考机故障解决手册,18,2.5 自动阅卷系统,评分标准,人机对话,考试系统,考生答案,自动阅卷服务器,(省政府统一采购),局域网,阅卷进度,监控,系统,管理,注：以一市10万考生计算，阅卷中心由两台阅卷服务器构成，3天可完成阅卷。,19,2.5 自动阅卷系统,导入考生的答卷文件；准确完成自动阅卷和评分；,20,目录,考试概要介绍,考试的模式和管理,计算机自动阅卷原理,评估报告及教学反馈,21,3.1 自动阅卷系统技术结构,22,3.2 语音识别用于口语评估的特殊性,限定条件下的语音识别,专门麦克风，一定题型；,有别于不受任何限制的自然口语识别；,口语评估基于标准语音库，而语音识别基于大量非标准库,中科院自动化所领先的语音识别技术,美国虽然还没有把语音技术应用于他们本国的学生评估，但是把这种技术应用到美国以外学生的英语考试已经很多年了。,23,3.3 阅卷特征提取,完整性,朗读型题目，能否顺利读完全文，以及顺利读完的比例；,话题简述型题目，能否完整表达题目的语意，清楚表达的语意比例；,完整性特征是评分的起评基本特征；,准确性,单词级评估，主要包括单词发音的元音、辅音、重音准确性,流利性,句子级评估，主要包括语速、插入（重复、修正）、连贯（连读、失去爆破、同化）等,韵律性,句子级评估，主要包括意群停顿（节奏）、重读弱读、语气语调,24,3.4 自动阅卷过程说明,Making tea with tea bags is faster and easier than making it with leaves in teapots,阅卷系统及其输入：,系统输入：考生朗读文本及语音,25,3.4 自动阅卷过程说明,综合各种特征给出评分,完整性特征：根据漏读情况计算完整性,准确性特征：单词发音、重音准确性,流利性特征：语速、插入、连读、失去爆破、同化,韵律性特征：意群停顿、重读弱读、语气语调,综合决策模块：综合上述特征给出最后评分,综合决策,完整性特征,准确性特征,流利性特征,韵律性特征,评分结果,门限设置,26,目录,考试概要介绍,考试的模式和管理,计算机自动阅卷原理,评估报告及教学反馈,27,4.1 省、市、区(县)、校、班级、个人六级评估报告,评估报告的主要内容包括：,考试总分统计：分别按照个人、班级、学校、区(县)、市、省进行分析和比较，并可自定义比较单位，如平均分、最高分、单项分等；,主要错误的寻找和指正：给出发音、考点、语速、重音等方面的分档评价和主要错误；,改进建议：针对主要错误给出练习改善的建议。,28,4.2.1 考试总分统计,34分及以上,（A档）,34-28分,（B档）,28-24分,（C档）,24-20分,（D档）,20分下,（E档）,3341(80.3%),511(12.3%),140(3.4%),82(2.0%),86(2.1%),29,4.2.2 单项分数统计,30,-,4.2.2 发音错误比率图,31,4.2.2 语速分布图,32,4.2.3 各大题得分情况分析,朗读短文,回答问题,平均分：8.79分(满分10分),平均分：8.74(满分10分),听短文或对话回答问题,复述句子,平均分：9.02分(满分10分),平均分：9.44分(满分10分),33,4.2.4 依据考点对各题得分情况分析,依据本次考试所涉及的功能意念点，对回答问题部分的成绩进行归纳,依据本次考试所涉及的交谈内容，对听短文或对话回答问题部分成绩进行归纳,依据本次考试所复述句子的长度，对复述句子部分成绩进行归纳,34,谢 谢！,35,演讲完毕，谢谢观看！,内容总结,江苏省英语听力口语自动化考试介绍。人机对话的测试系统，将听力和口语合二为一，省时省力、减少事故。现状：100万考生口语考试，3天组织，工作量很大。人工：1老师/天/100份卷，总量100万考生。从长远建设角度，经过3到5年努力建立起百万级题库，并且年更新10%。公正性：人工阅卷方式受制于教师体力和精力状况，很难保证成绩的客观性、准确性和公平性，不同老师之间可能出现较大差异。面向考试全程，全面、灵活、可定制的方案。考后：自动阅卷系统、报告生成系统。提供多种考场编排方式，生成与考试相关的各种表格与文件，并能灵活打印。注：以现有计算机教室为考场，每考场设有30-40台考试机。设备测试时检查录音设备，确保录音正常，是自动阅卷的基础。2.4 考试系统-考试过程。教师端软件全程监控，学生端如有任何异常情况(设备测试、进度、录音异常等)，及时提示监考老师帮助学生解决问题。口语评估基于标准语音库，而语音识别基于大量非标准库,