杀毒软件测试用例.doc

案例81 某杀毒软件测试方案目标通过杀毒软件测试方案过程使得学生了解软件的确认测试方法过程。背景对于杀毒软件的确认测试主要是根据采用黑盒测试的方法，第一部分的常规测试是必须测试的内容，包括程序各功能性测试、界面友好性测试、时效性测试、安装/卸载测试、用户说明书测试、与其他软件的兼容性、与特定硬件的兼容性、可靠性（如长时间运行，休眠/唤醒等）、合法性（版权标示验证）等。第二部分的测试在某些情况下是可以省略的，因为国家计算机病毒应急处理中心、计算机病毒防治产品检验中心对杀毒软件会提供一些较权威的检测报告，没有检测报告的杀毒软件版本，甚至在检测报告中不存在的版本，我们有必要参照计算机病毒防治产品评级准则 GA 243-2000进行相应的测试。步骤1设计测试用例表：测试用例表一（常规测试）序号功能描述输入数据操作预期输出实际输出1安装从各种途径执行SETUP程序，所有选项按缺省参数安装过程中无报错所有界面图片/文字提示合法,正确,无歧义安装后或重新启动系统后正常启动程序随机软件不应要求密码或查A盘2执行SETUP程序，所有选项按最大参数3执行SETUP程序，所有选项按最小参数4卸载从各种途径启动并执行卸载程序,按照缺省项执行,询问是否保留共享文件时选保留全部卸载过程中无报错(能够处理实时监控尚在运行的情况)所有界面图片/文字提示合法,正确,无歧义卸载后重新启动系统系统和其他软件正常无垃圾文件(允许日志文件)残留5重复安装卸载后重复安装允许重复安装6启动从各种途径启动软件启动无报错显示画面正确7手工查毒初次启动扫描全硬盘正常扫描8配置不同参数(扫描所有文件或某些文件等)多次扫描,扫描一个分区配置过程无报错, 正常扫描,9定时查毒配置不同参数,选定不同位置执行定时查毒(每天一次,每周一次等)正常定时启动扫描,完毕后自动结束程序10实时监控设置不同参数,启动实时监控正常监控.不影响其他操作11升级从各种途径执行升级-在线升级升级过程无报错所有界面图片/文字提示合法,正确,无歧义随机软件无须密码,不查原盘12从各种途径执行升级-下载升级包本地升级13从各种途径执行升级-自动升级14硬件兼容性及可靠性在指定平台(标准配置)执行启动程序,启动扫描,关闭扫描,退出程序,重复10次过程中无报错,无系统失去响应,系统资源无过度消耗15打开实时监控较长时间系统资源无过度消耗16运行程序较长时间系统资源无过度消耗17打开实时监控运行STD/休眠唤醒10次正常恢复过程中无报错,无系统失去响应,无黑屏不能唤醒18关闭实时监控,启动杀毒程序运行STD/休眠唤醒10次19打开实时监控运行STP/休眠唤醒10次正常恢复过程中无报错,无系统失去响应,无黑屏不能唤醒20关闭实时监控,启动杀毒程序运行STP/休眠唤醒10次21打开实时监控运行定时自动待机/休眠唤醒10次正常恢复过程中无报错,无系统失去响应,无黑屏不能唤醒22关闭实时监控,启动杀毒程序运行定时自动待机/休眠唤醒10次23打开实时监控执行SCANDISK正常完成系统扫描过程中无报错,无死机,无系统失去响应24关闭实时监控,启动杀毒程序执行SCANDISK25打开实时监控,标准配置,出厂状态执行开关机10次正常完成过程中无报错,无死机,无系统失去响应26软件兼容性及可靠性打开实时监控运行系统各标配软件,启动和点击一级菜单正常运行各软件各软件无报错,无死机,无系统失去响应,系统资源无过度消耗27关闭实时监控,启动杀毒程序运行系统各标配软件,启动和点击一级菜单28打开实时监控运行重点软件(如浏览器,拨号程序,播放VCD)主要功能30MIN29用户说明书测试启动帮助/手册内容正确,无歧义30合法性检查软件名称,关于信息,标题栏等内容一致,版权归属正确(合法)31时效性更改系统时间到数年后,运行程序正常启动程序,允许正确提示版本较旧,需要升级32界面友好性运行程序各功能，调用程序的全部界面和对话框等各功能界面及对话框美观，操作方便，不易引起误操作。如果是国外杀毒软件还应当注意汉化情况如何33功能性运行上面没有涉及的其他功能，如是否支持（软盘/光盘）自引导等其他被测功能可以正常实现34强壮性杀毒软件或实时检测系统与操作系统连续运行数小时或更长不会引起资源消耗或其他未预见性错误测试用例表二（其他类测试）ID被测试功能输入数据操作预期结果此测试用例的意图评判标准60检测病毒具有一定数量和种类的病毒样本执行查毒操作对于确定的测试环境, 能够准确地报出病毒名称; 该环境包括: 内存、文件、扇区(引导区、主引导区)、网络等病毒检测率，没有任何一种杀毒软件可以检测出所有病毒，所以测试可以反映软件的查毒能力检测出的病毒数量和种类(包括变种)不明显少于其他同类知名软件61清除病毒具有一定数量和种类的病毒样本（最好为被感染各类文件）执行杀毒操作根据不同类型的病毒对感染对象的修改, 并按照病毒的感染特性所进行的恢复, 该恢复过程不能破坏未被病毒修改的内容病毒清除率，没有任何一种杀毒软件可以清除所有病毒，所以测试可以反映软件的杀毒能力可以清除病毒的数目应接近可以发现的病毒数目，对于自动杀毒情况下（非人为强制杀毒），不能破坏被感染文件62误报一些黑客程序、木马程序、其他恶意程序等执行查毒操作当查毒软件发现此类程序时，应当给出正确的判断，视情况给出不同的查毒结果误报率。很多程序运用了同病毒相同的机理或手段，所以可能造成杀毒软件的误报视情况给出不同的查毒结果，包括不提示有病毒，或通过病毒名给出正确提示，如harm.xxx.xxx等63应急恢复人为修改引导信息，造成系统瘫痪（当然修改时要保证至少可以手动恢复）执行应急恢复操作系统自引导功能恢复，系统中原有内容没有丢失或被破坏应急恢复能力，包括是否可以自启动对于支持系统应急恢复功能的软件，应保证在符合可恢复的条件下，能够正确恢复64防病毒能力常见病毒的样本启动病毒实时检测程序，浏览带毒文件(让病毒进入系统)检测程序应当能自动阻止带毒软件执行，防止病毒传播，并给出警告防病毒能力对带毒软件能够及时发现，报警，并提供删除、隔离、杀毒等选项功能65查杀病毒能力带病毒的压缩包，或在多级目录下的带毒文件查毒和杀毒杀毒软件可以发现并清除深层目录下的带毒文件。可以查常见压缩包，如zip包，甚至可以查多重压缩包，能正确处理带密码的压缩包查杀病毒能力,查压缩包是目前杀毒软件基本都支持的功能，但对于加密或多重压缩可能会出现问题查杀文件的数量应当同深层目录下的文件或压缩包中的文件数目相同，不出现漏查现象66误报清除病毒带病毒文件，多重感染文件或交叉感染文件首先进行杀毒，然后进行查毒执行完杀毒后，文件中不存在病毒，利用查毒软件无发现病毒的警告清除病毒的能力，某些病毒会重复感染同一文件，或多种病毒交叉感染造成重复感染，如果杀毒软件每次只能清除最外层病毒，则可能需要多次杀毒，才能彻底根除。误报情况，某些杀毒软件对杀毒后的病毒尸体仍然提示，造成误报杀毒软件可以一次性清除病毒，对病毒尸体不产生误报67查杀病毒能力各种载体文件，包括软盘、硬盘、光盘、移动磁盘等多次执行查毒或杀毒查杀文件的数目要同对应文件的实际数目相同检测杀毒软件对于各种文件类型的是别处理能力，如隐藏、系统、只读、.exe、.com.、.doc等每次检测的文件数目同物理上实际存在的文件数目68智能升级在线升级，或下载升级安装包版本正确更新，升级后软件各功能正常测试升级功能，杀毒软件是需要经常更新病毒库的，所以升级的方便和正确是很重要的杀毒软件提供的各种升级途径，均能正确升级。包括特殊情况的处理，如断点续传等69定期检测，及多实例运行执行定期检测；或在定期检测前手动进行检测；或同时运行多个检测。程序应当禁止多实例运行，定期检测开始时间准确，当定期检测时间到达时有手动检测，应避开手动检测操作执行检测时对系统资源的要求较高，因此如果容许多个检测同时运行很可能会出现报错同一时间仅可以运行一个检测进程70DOS查杀运行支持DOS方式进行查杀的杀毒软件（KV3000、瑞星等），在纯DOS模式或Windows下的DOS窗口模式在纯DOS模式或Windows下的DOS窗口模式下都能正确查毒，如果在DOS兼容模式下不能正确运行时，要给出正确提示此查毒模式还是很有必要的，尤其在系统瘫痪时，所以要保证该模式下的查杀病毒的正确性程序运行正常，可以有效处理各种格式的文件，如Windows下的一些文件2执行测试用例根据测试用例执行测试过程，并提交到bug管理系统。3跟踪bug解决情况跟踪bug管理系统中的bug信息，如果开发人员解决以后，进行验证。附件一、中华人民共和国社会公共安全行业标准计算机病毒防治产品评级准则 GA 243-2000 1 范围本标准规定了计算机病毒防治产品的定义、参检要求、检测及评级方法。本标准适用于计算机病毒防治产品的检测和评级。2 引用标准下列标准所包含的条文, 通过在本标准中引用而构成为本标准的条文。本标准出版时, 所示版本均为有效。所有标准都会被修订, 使用本标准的各方应探讨使用下列标准最新版本的可能性。GA 135-1996 DOS操作系统环境中计算机病毒防治产品测试方法3 定义本标准采用下列定义: 3.1 计算机病毒(简称病毒) computer virus 是指编制或者在计算机程序中插入的破坏计算机功能或者毁坏数据影响计算机使用, 并能自我复制的一组计算机指令或者程序代码。3.2 变形病毒 polymorphic virus 这种病毒在传染时变换自身的代码, 使得每感染一个病毒宿主, 被感染的病毒宿主上的病毒代码各不相同。3.3 检测病毒 detecting virus 对于确定的测试环境, 能够准确地报出病毒名称; 该环境包括: 内存、文件、扇区(引导区、主引导区)、网络等。3.4 病毒检测率 rate of detecting virus 指对于一组确定的病毒样本文件所能检测到含有病毒的文件比例。3.5 清除病毒 cleaning virus 根据不同类型的病毒对感染对象的修改, 并按照病毒的感染特性所进行的恢复, 该恢复过程不能破坏未被病毒修改的内容。3.6 病毒清除率 rate of cleaning virus 指对于检验机构的病毒样本文件所能清除其中含有病毒的文件比例。3.7 误报 false alarm 指病毒防治产品将正常系统或文件报为含有病毒, 或将正常操作报为病毒行为。3.8 误报率 rate of false alarm 指病毒防治产品将正常系统或文件报为含有病毒, 或将正常操作报为病毒行为的比例。3.9 病毒宿主 virus host 病毒能够感染的对象(如: 文件、引导记录区等)。3.10 文件型病毒 file virus 以文件为宿主或利用对文件的操作而加载执行的病毒。 3.11 蠕虫 worm 这种程序可以通过网络等途径将自身的全部代码或部分代码复制、传播给其它的计算机系统, 它在复制、传播时, 不寄生于病寄毒宿主之中。3.12 黑客程序 hacker program 这种程序可以通过网络等途径进行传播, 一旦该种程序被运行, 运行该程序的计算机系统可以被其它计算机系统, 在未经授权的情况下通过网络对其系统和资源进行控制。3.13 病毒样本基本库 based set of virus sample 检验机构在国内所收集病毒、蠕虫和黑客程序的集合。3.14 流行病毒样本库 set of prevalent virus sample 在检验间隔期内, 由两个以上不同地区的用户或反病毒厂商提供的在国内出现过的病毒、蠕虫和黑客程序, 并由检验机构认证后的病毒集合。3.15 特殊格式病毒样本库 set of special format virus sample 将病毒样本根据一定算法, 对其进行处理后所生成的新的病毒样本, 并且该新样本还可以根据一定算法还原为原始病毒样本集合。如压缩后的病毒样本和使用某种编码转换后的病毒样本。3.16 变形病毒样本 polymorphic virus sample 变形病毒要传染10个病毒宿主(不足10个变形体, 以实际数量为准), 然后将这些病毒样本组成该变形病毒的检验样本。 3.17 病毒样本库 set of virus Sample 病毒样本库是指由病毒样本基本库、流行病毒样本库和特殊格式病毒样本库合并组成的病毒样本库。3.18 防病毒能力 capability of protecting virus 病毒防治产品预防病毒侵入或破坏计算机信息系统的能力。3.19 应急恢复 incident recovery 当用户计算机系统因病毒感染或其它原因导致系统故障时, 能够进行系统信息的恢复, 使用户系统能够正常使用。4 参检要求受检企业及其产品必需配合检测工作。4.1 检验周期检验机构对病毒防治产品必须至少每年检验一次, 同时, 可以根据病毒的发展情况对病毒防治产品进行专项检验。4.2 受检企业4.2.1 受检企业必须提供其产品升级用的病毒样本, 否则不予检验。提供的病毒样本必须是具有传染性的活病毒。4.2.2 受检企业必须提供制作病毒样本的病毒宿主, 并提供包括病毒传染条件、发作条件、发作现象和病毒其它特性的分析报告。4.2.3 受检企业必须提供其技术人员的组成和状况。4.3 受检产品受检产品必须符合以下条件: 4.3.1 附有中文使用说明书。4.3.2 其产品必须能够生成检验项目(包括预防、检测、清除病毒)的结果报告文件, 硬件病毒防治产品除外。5 测试指标5.1 测试指标5.1.1 防病毒能力 病毒防治产品的防病毒能力应达到: 5.1.1.1 病毒样本库中的病毒样本从以下途径进入计算机系统时发出警报：a) 存储介质; b) 网络; c) 电子邮件; 5.1.1.2 设定满足病毒传染、发作的条件, 然后激活病毒, 病毒防治产品能够阻止病毒的传播、破坏; 5.1.1.3 对病毒入侵情况记录到报告文件; 5.1.1.4 网络产品在发现病毒时应通知网络管理员或用户; 5.1.2 病毒检测分级指标5.1.2.1 合格产品检测病毒率应达到: 对病毒样本基本库至少能检测其中的85%; 对流行病毒样本库至少能检测其中的90%;对特殊格式病毒样本库至少能检测其中的80%; 5.1.2.2 二级产品检测病毒率应达到: 对病毒样本基本库至少能检测其中的90%; 对流行病毒样本库至少能检测其中的95%;对特殊格式病毒样本库至少能检测其中的85%; 5.1.2.3 一级产品检测病毒率应达到: 对病毒样本基本库至少能检测其中的95%; 对流行病毒样本库至少能检测其中的98%;对特殊格式病毒样本库至少能检测其中的95%; 5.1.3 病毒清除指标5.1.3.1 能够恢复病毒宿主功能的, 一定要恢复病毒宿主的功能, 且使病毒丧失其原有功能; 5.1.3.2 不能恢复病毒宿主功能的, 若可以重新生成病毒宿主, 则重新生成病毒宿主, 否则提示删除带毒宿主。5.1.3.3 清除病毒时, 具有备份染毒宿主的功能; 5.1.4 病毒清除分级指标5.1.4.1 合格产品病毒清除率应达到以下指标: 对病毒样本基本库至少能清除其中的80%; 对流行病毒样本库至少能清除其中的85% ; 5.1.4.2 二级产品病毒消除率应达到以下指标: 对病毒样本基本库至少能清除其中的85%; 对流行病毒样本库至少能清除其中的90%; 5.1.4.3 一级产品病毒清除率应达到以下指标: 对病毒样本基本库至少能清除其中的90%; 对流行病毒样本库至少能清除其中的95% 5.1.5 误报率对检验机构指定文件组成的误报检验样本库的误报率不能高于0.1%; 5.1.6 应急恢复 应急恢复应达到: 5.1.6.1 正确备份、恢复主引导记录。5.1.6.2 正确备份、恢复引导扇区。5.1.7 智能升级病毒防治产品在通过互联网或者存储介质进行版本升级时, 只需要下载或者拷贝升级文件的修改或增加部分, 以提高用户升级的效率。5.2 测试方法测试方法按GA135的规定。检验报告分为检测、清除病毒误报检验表和产品检验结果和分数表6.1 检测、清除病毒误报检验表, 见表1。表1 检测、清除病毒误报检验表检验用样本库 样本总数 检测率 清除率 误报率 病毒样本基本库 / 流行病毒样本库 / 特殊格式病毒样本库 / / 误报检验样本库 / / 6.2 产品检验结果和分数表, 见表2. 用定义的病毒样本库按照表2中所列功能进行检验评分。表2 产品测试结果和分数表检验项目 检验结果 单机产品分数 网络产品分数 备注 防病毒(30分) 病毒样本库进入计算机系统是否报警 来自存储介质 6 6 来自网络 6 6 来自电子邮件 6 6 设定满足病毒传染、发作条件, 然后激活病毒, 能否阻止病毒传染、破坏 7 6 能否即时清除病毒 5 4 发现病毒时能否通知网络管理员或用户 2 检测病毒（30分） 基准病毒库检测率达到 一级品 13 13 二级品 8 8 合格品 3 3 流行病毒库检测率达到 一级品 13 13 二级品 8 8 合格品 3 3 特殊格式病毒库检测率达到 一级品 4 4 二级品 2 2 合格品 1 1 消除病毒（30分） 基准病毒库清除率达到 一级品 14 14 二级品 9 9 合格品 4 4 流行病毒库清除率达到 一级品 14 14 二级品 9 9 合格品 4 4 是否具有备份功能 2 2 误报(4分) 误报率是否小于等于0.1% 5 5 应急恢复(4分) 能否备份、恢复引导扇区 2 1 能否备份、恢复主引导记录 2 1 版本智能升级(2分) 能否支持版本智能升级 2 2 总分 注: 符合表中所列检验功能指标的获得所列分数, 否则不得分。病毒检测/清除率项目的得分根据分级指标确定。 7 产品评级根据病毒防治产品检验后的获得的总分数确定相应级别, 具体划分指标如下。71-80分 合格81-90分 二级90分以上 一级对只具有部分功能的病毒防治产品, 其功能若能够达到相应性能指标, 则判定为合格产品, 否则为不合格产品, 不再进一步对其评级。计算机病毒防治产品评级表见表3。表3 病毒防治产品评级表产品名称 生产厂家 版本信息 送检日期 总分数 产品级别