NOIP标准评测系统使用培训课件

Muokkaa otsikon tekstimuotoa napsauttamalla,Muokkaa jsennyksen tekstimuotoa napsauttamalla,Toinen jsennystaso,Kolmas jsennystaso,Neljs jsennystaso,Viides jsennystaso,Kuudes jsennystaso,Seitsems jsennystaso,Kahdeksas jsennystaso,Yhdekss jsennystaso,#,Arbiter,介绍,NOIP,单机版评测系统,(Arbiter),是,NOIP,信息学联赛指定的唯一标准评测工具,此评测系统采用与,NOI,网络评测系统完全一致的评测标准，对,NOI,选手的学习具有促进和指导作用，便于选手更好地适应,NOI,系列比赛。,Arbiter介绍NOIP单机版评测系统(Arbiter)是,1,系统特性,支持当前主流的,Linux,发行版本,Redhat/Fedora Core,Ubuntu,支持多种语言,(C/C+/Pascal),灵活的可配置性,功能多样化,时间控制的精确性（误差不大于,5ms,）,有效的内存使用限制,系统特性支持当前主流的 Linux 发行版本,2,开发历程,&,使用情况,此系统是经,CCF,授权，由尹宝林教授指导开发完成，目前的版本是,1.02,，具备良好的可靠性和稳定性。,在,NOIP2006,和,NOIP2007,中部分省份评测和全国复评中使用，验证了正确性和效率等关键性能。,NOIP2006,中有,7,个省试用，,NOIP2007,中有,20,个省试用，评测结果与全国复评结果的差别明显小于使用非标准评测系统的省份。,很多老师对系统提出了错误报告和改进意见，在此向他们表示诚挚的感谢！,开发历程&使用情况此系统是经CCF授权，由尹宝林教授指导,3,提纲,基本安装运行,配置考试,执行评测,成绩统计,评测插件编写,常见问题,提纲基本安装运行,4,建议使用环境,硬件环境、编译器版本以竞赛规则为准,当前使用,Redhat 9.0,版本，将来可能切换到,Ubuntu 7.10,版本上,建议版本：,建议使用环境硬件环境、编译器版本以竞赛规则为准,5,评测系统安装和启动,从,下载最新的评测系统安装文件，保存至当前用户,home,文件夹，并双击打开,安装完成后，会在桌面上创建一个快捷方式，双击即可启动评测系统,可打开附带的示例考试,(example),测试系统是否工作正常,评测系统安装和启动从下载最新的评测系统安,6,评测系统工作原理,标准输入数据,problem.in,标准答案文件,problem.ans,选手程序,problem,选手答案文件,problem.out,评测插件,problem_e,选手成绩,选手源程序,problem.c/.cpp/.pas,评测系统工作原理标准输入数据标准答案文件选手程序选手答案文件,7,比赛配置,一次比赛可以配置多场考试,一场考试可以配置多道试题,每道试题都提供了多个配置点，为比赛的组织提供了很大的灵活性,比赛配置一次比赛可以配置多场考试,8,试题配置点（一）,试题名称,题目及相关数据的唯一命名,决定了选手程序、评测数据的命名规则,使用英文，,4-10,个字符,提交方式,源代码,答案文件,试题配置点（一）试题名称,9,试题配置点（二）,测试点数目,/,分值,测试点数目，及每个测试点的权值，总权值应为,100,数据输入方式,文件输入（建议使用）,标准输入,试题配置点（二）测试点数目/分值,10,试题配置点（三）,时间限制,选手程序运行时间上限，以秒为单位,以进程的用户时间,(user time),为准,给予选手,1.1,倍运行时间限制，超时将被强行终止。防止选手程序运行时间过长,内存限制,选手程序占用内存上限，以,MB,为单位,(,虚拟内存,),试题配置点（三）时间限制,11,试题配置点（四）,使用语言,/,编译选项,目前支持在比赛中使用,C/C+/Pascal,三种语言,编译选手程序所需的选项，如,-lm,链接数学库,运行参数,运行选手程序所需的参数（较少使用）,试题配置点（四）使用语言/编译选项,12,试题配置点（五）,标准评测插件,字符串比较,单行,/,多行,/,全文,(,空格过滤,),整数比较,单行单个,/,单行多个,/,多行单个,/,多行多个,浮点数比较,单行单个,/,单行多个,/,多行单个,/,多行多个,(,精确度,),自定义插件,随测试数据提供，通常命名为,problem_e,通过对话框选取，将被复制到,filter/,目录下,试题配置点（五）标准评测插件,13,试题配置点（六）,所有题目配置完成后，可在,试题概要,界面检查试题配置信息是否正确,确认无误后选择,保存,后方可生效,试题配置点（六）所有题目配置完成后，可在试题概要界面检查试题,14,准备选手名单,自动导入,.CSV,格式,(Comma Separated Values),纯文本格式,每条记录占一行,以逗号为分隔符,可用,Microsoft Excel,或,OpenOffice Calc,编辑和导出,第一列为选手编号，第二列为选手姓名,选手编号格式为,省份代码,-3,位数字,，如,HN-007,文件编码为,GB2312,编码,手动添加,准备选手名单自动导入,15,CSV,文件的示例,Namelist.txt,HN-001,罗韬威,HN-002,张健,HN-004,孟来俊,HN-005,蒋哲良,HN-007,吴骏,CSV文件的示例Namelist.txt,16,准备评测数据,评测数据存放在,evaldata/,目录下,遵循以下命名规则,(,不包含中括号,),标准输入文件为,试题名称,测试点编号,.in,标准答案文件为,试题名称,测试点编号,.ans,准备评测数据评测数据存放在evaldata/目录下,17,准备选手目录,选手程序存放在,players/,目录下,每名选手拥有以自己编号命名的目录,选手目录下，每道试题拥有以试题名称命名的目录,选手程序保存在相应试题目录中，主文件名为试题名称，扩展名为,.c/.cpp/.pas,准备选手目录选手程序存放在players/目录下,18,注意事项,需严格检查卷面说明与试题配置是否一致,时间限制,内存限制,数据规模,编译选项,确认评测插件具有可执行权限,chmod+x,文件管理器,注意事项需严格检查卷面说明与试题配置是否一致,19,执行评测,评测系统可以多种方式灵活地执行评测,可以选定评测的考试场次,可以针对全部选手或选定选手,可以针对全部试题或选定试题,评测的过程中可以通过“评测选定选手”按钮右侧的进度条和考生列表中的指示灯来掌握评测的进度,执行评测评测系统可以多种方式灵活地执行评测,20,实用功能,查看选手源程序,双击考生列表中某道试题的分数可以弹出一个窗口显示考生该题目的源程序,实用功能查看选手源程序,21,成绩统计,评测系统提供了多种成绩数据统计视图，帮助比赛组织者了解比赛的各方面细节,总体统计,分组统计,试题统计,等级统计,成绩统计评测系统提供了多种成绩数据统计视图，帮助比赛组织者了,22,总体统计,本,TAB,页可以显示所有考生在本场比赛中所有场次的考试成绩及总分,可以自定义每个分数段的考生人数,可以打印或导出考生的总体成绩单，和每个考生的成绩单,总成绩单导出为,csv,格式,个人成绩单导出为,ps,格式,总体统计本TAB页可以显示所有考生在本场比赛中所有场次的考试,23,分组统计,该,TAB,页可以针对各省代表队成绩进行统计,可以选择自定义统计,即获得每个代表队前几名的总成绩,可以导出打印统计数据,分组统计该TAB页可以针对各省代表队成绩进行统计,24,试题统计,该,TAB,页可以显示每道题目的得分情况,以及一些重要的评测数据，如该程序题每个测试点的平均用时、最短用时等,用于帮助命题人了解此次考试的难度、解答情况等,试题统计该TAB页可以显示每道题目的得分情况,以及一些重要的,25,等级统计,该,TAB,页用于评奖,在右边输入评奖规则,(,既可以是人数也可以是百分比,),，就可以在左侧显示学生的得奖情况,等级统计该TAB页用于评奖,在右边输入评奖规则(既可以是人数,26,打印成绩单,在统计工具中导出成绩单后,每名考生的成绩都将被保存在,ps/,目录下，相应的考试天数及相应的考生编号目录下,ps,格式,(postscript),可使用以下软件查看或打印,linux,：,ghostview,evince,windows:ghostview,adobe acrobat,打印成绩单在统计工具中导出成绩单后,每名考生的成绩都将被保存,27,上报成绩,NOIP,省内评测结束后，需上报以下内容：,选手名单，包含选手编号和姓名，,csv,格式,成绩单，包含各题目分数和总分数，,csv,格式,选手目录，,players/,目录下的所有内容,选手评测结果目录，,result/,目录下的所有内容,上报成绩NOIP省内评测结束后，需上报以下内容：,28,插件编写的规范（一）,评测插件用于评测程序设计题目，由命题人员编写，在评测选手的答案时调用,评测插件根据评测系统给出的参数，判断选手答案的正误，并给出相应的得分,插件编写的规范（一）评测插件用于评测程序设计题目，由命题人员,29,插件编写的规范（二）,评测系统按照如下格式调用评测插件,:,filtername inputfilename outputfilename answerfilename,filtername,评测插件程序名称,inputfilename,测试输入文件名,outputfilename,选手程序输出文件名,answerfilename,标准答案文件名,注意,:,评测系统不保证,inputfilename,outputfilename,answerfilename,所指定的文件存在，评测插件实现时应进行检查,插件编写的规范（二）评测系统按照如下格式调用评测插件:,30,插件编写的规范（三）,评测插件向标准输出打印评测结果,输出结果由两行文本组成,第一行为评测信息,(evaluation_ info),，是评测插件对评测结果的一行文本描述，例如是否正确、错误原因等,第二行为该评测得分,(score),，是一个整数数字,评测插件给出的得分，就是该测试点的最终得分，评测系统不作任何附加的处理。多个测试点得分之和为该题总分,插件编写的规范（三）评测插件向标准输出打印评测结果,31,插件编写的规范（四）,返回值,程序正常结束时返回,0,，程序异常结束时返回非,0,整数,示例分析,插件编写的规范（四）返回值,32,常见问题（一）,1.,当创建一场考试后，将评测系统关闭，再打开时发现考试不存在了？,答：注意每次配置过后都要保存，否则配置不生效。,2.,评测时显示评测已经结束，但是所有考生的成绩依然为,0,分？,答：请查看,/tmp/_eval_score,文件的属性，如果是,root,用户所有将没有读写权限，在,root,用户下删除此文件。,如果，依然不能得到评测结果，请查看插件的是否有可执行属性。,常见问题（一）1.当创建一场考试后，将评测系统关闭，再打开,33,常见问题（二）,3.,评测时某些考生或某些考题出现意外的,0,分情况？,答：请查看该考生以及该考生的题目文件目录及文件是否存在。,4.,评测插件的功能是什么？,答：是对比每个测试点考生答案文件与标准答案文件的，它只判明对错，,10,分就是对，,0,分就是错误。具体分数是根据配置的测试点分数决定。,常见问题（二）3.评测时某些考生或某些考题出现意外的0分情,34,常见问题（三）,5.,如何在,windows,下显示,csv,文件和,ps,文件？,答：在,windows,下可以直接用,Excel,打开,csv,格式的文件，双击,ps,文件，,adobe reader,会自动将,ps,文件转换为,pdf,文件的。,6.Linux,下