性能测试参数指标值方案.docx

软件性能测试指标值方案方案一 1、在项目需求分析阶段给出性能测试指标1.1搜索到的同行业资料有建设银行、农业银行和大地保险1.2性能测试指标值设定原因 首先，通过与建行和农行等同行业的测试人员沟通后，了解到性能测试指标值在需求分析阶段设定的主要原因是需求分析阶段有大量的性能测试人员参与需求的讨论，对测试技术比较了解，对需求和系统设计框架等都比较了解，知道系统所能承受的极限值，所给出的指标值也大量的借鉴了LoadRunner本身测试自带指标值； 其次，在项目需求分析阶段，性能测试人员会在系统开发完一个或几个模块后，在模拟生产环境下对系统单模块或集成模块进行一次小范围的压力测试，来验证前期需求分析阶段设定的指标值是否合理，并及时调整； 再次，项目经理和测试人员会参照同行业、同系统框架、用户环境差不多的金融企业对自己设定的指标值在系统性能测试阶段进行对标，并在系统最后上线阶段再一次调整性能测试的指标值和生产环境，直到满足用户的需求为止； 最后，在与农业银行信息技术中心的测试领导等讨论后得出结论，在需求分析阶段给出性能测试指标值的情况，只适用于前期经过大量市场调研的项目，并且在需求分析阶段有性能测试人员参与系统性能分析，后期测试有大量的测试人员跟进测试的项目。1.3测试管理人员建议 目前为止，我司的项目在开发前虽都经过大量的市场调研，但在需求分析阶段，缺少测试人员的跟进，主要是人员的问题，如今后的项目采用第一种方案，需要在需求分析阶段有测试人员的跟进，并积极参与市场调研，给出相应的测试依据和测试指标值； 目前我司金融类项目整体设计框架、所搭载的服务器运行环境、面对的客户需求等诸多因素与建行、农行等不尽相同，在性能测试指标值设定方面，还需要充分考虑我司项目的特点和所面对客户的需求，充分结合我司项目特点去制定性能测试方案； 建行、农行的大多核心项目都经过了多年的、数轮的功能、性能、安全性的验证，在性能测试方面具备了相应指标值设定的条件，而我司目前的金融类项目功能测试还不是很完善、性能测试才刚刚起步，相关的测试环境还有待完善，完全参照建行、农行等国有银行性能测试指标值去操作还存在一定风险；综上所述，测试管理人员建议，如采用第一种方案，还需要在今后项目的需求分析阶段有大量的测试人员参与市场调研和需求性能分析，在设定指标值的同时，充分结合我司的项目特点，并在后期性能测试中具备相应的测试环境才能够实现。注：来自GB/T12119软件工程-软件产品评价、表中参考值参考自建行、农行、大地保险的系统性能测试指标值设定方案二2在系统多轮性能测试后给出相关指标值2.1测试管理人员建议在性能测试指标值方面应在借鉴同行业经验的基础上，累积我司自己的项目测试指标值，并进行综合对比，在经历了多个项目性能测试后，形成属于自己的指标值列表，并不断补充、改进，最终才能更好的为我司项目性能测试服务； 2.2性能测试指标值设定原因 通过查阅中国人民银行等主管银行关于金融企业系统性能测试的条款，发现没有钢性的条款要求，只有关于性能测试的一些管理意见，但并无相关指标值设定，各家国有银行、保险公司在性能测试时，都在参照了人民银行的管理条款的基础上，充分结合了自身项目发展的特点和用户需求，进行了不同侧重点的性能测试，所设置的测试指标值除建行、农行等，其它银行，如国内的平安银行、哈行、上海银行、浙江稠州银行等银行，都在系统性能测试阶段，根据自身生产环境不同，在模拟生产环境中对系统进行性能测试，并在多轮测试后得出系统的相关性能指标值，并在此基础上进行环境升级和系统调试，直到满足业务需求为止； 行业中性能测试指标阀值无统一要求：经过一段时间考察，在性能测试方面进行了广泛咨询，各家银行和保险机构在性能测试方面的操作基本上分为：1、 性能测试环境的搭建（尽量贴近生产环境或在类生产环境中进行）、前期需求性能指标设定、数据准备、脚本编写及增强、压力负载均衡测试、测试结果分析、性能指标改进、测试环境调优、系统调优、补充调优测试等；2、 用户对所测试系统性能指标的要求，基本上包含了：对事物平均响应时间的要求（总体事物平均响应，单个事物不做规划），事物平均吞吐量，系统在类生产环节中运行前后CPU、内存的占用比，Oracle缓冲命中率等几项值。但各家因为所针对的业务不同，具体要求的性能指标也不同；3、 由于各家系统的架构不同、系统运行环境不同、用户数量不同、面对的服务业务也各有所长，在性能测试时，侧重点也不同，对性能测试指标值要求也就不同，这就造成了行业内目前为止还没有一个统一的指导和指标用来规范性能测试的指标值；注：内容摘自-中国金融-金融行业项目性能测试2009年26期、软件测试之金融行业系统性能2.3性能测试的不规律性1、当测试一个系统或单个模块在有限的系统环境下运行的性能时，它的事物响应时间、事物成功率和CPU、内存占用率以及单个事物的数据库响应值不会随着运行环境的改变而成“规律型”几何图形增长或减少，换句话说，当一个系统搭载到PC机上时，它的事物响应时间和单体CPU处理率以及数据库命中率等不一定会随着系统更换到更好的服务器上而产生相对应的“改良”效应，一个系统性能好坏，运行的快慢，不仅仅取决于所搭载的服务器，同时，也取决于系统本身编码的严谨性和可拓展性，数据库的设计是否合理等众多因素，举个例子，一个系统在双核、2G内存的PC上并发10个用户的平均事物响应时间是10s,那么，换个IBM的顶配服务器，它的平均事物响应时间不一定就能够降低到2s,因为这与系统本身的设计、代码逻辑结构、数据库设计等诸多因素都有很大的关系，所谓的性能测试，是用来验证在相应的环境下，系统能够支持的最大用户操作数，以及在不同环境下，系统本身的操作性能。注：内容摘自-精通软件性能测试3.总结3建议公司性能测试指标值解决办法1、建议公司在性能测试方面对同行业的性能测试进行广泛考察，与同行业进行对标，在不断借鉴同行业先进性能测试经验的基础上，形成符合自身项目特点的性能测试方式、方法，这个以我个人的力量是远远不够的，还需要各公司的项目负责人的配合，需要长期的考察和资源整合；2、在性能测试指标值方面应在借鉴同行业经验的基础上，累积我司自己的项目测试指标值，并进行综合对标，在经历了多个项目性能测试后，形成属于自己的指标值列表，并不断补充、改进，最终才能更好的为我司项目性能测试服务；（这个已经在进行中）3、性能测试指标值不是业务指标值，不会对系统的某一登陆点、页面翻页耗时、业务操作耗时等进行指标值限制，性能测试的宗旨和意义在于测试在类同生产或特殊环境下，系统的各项性能指标是否达到性能瓶颈，从而证明该系统在此环境下的最大操作并发数和运行瓶颈；4、综上所述，建议暂时以建行、农行以及我司的网银系统性能测试指标值作为后期金融类项目的性能测试指标值，如在后期测试中遇到针对特殊业务的特殊值的修改等问题，我们将通过讨论方式来修改指标值表，并在实际测试中不断结合我司业务来丰富测试指标值表，最终在项目的不断性能测试中得到适合我司项目要求的指标值表。附件4.性能测试相关定义介绍4.1什么是性能测试？软件性能测试，英文是Performance Testing。通常验证软件的性能在正常环境和系统条件下重复使用是否还能满足性能指标。或者执行同样任务时新版本与比旧版本通过性能的对比。一般还检查系统记忆容量在运行程序时会不会流失(memory leak)。-选自GB/T15532计算机软件测试规范4.2做性能测试的目的是什么？为了验证系统是否达到用户提出的性能指标，同时发现系统中存在的性能瓶颈，起到优化系统的目的。-选自GB/T15532计算机软件测试规范4.3性能测试都包含哪几种方法？4.3.1负载测试负载测试指的是最常见的验证一般性能需求而进行的性能测试，负载测试是站在用户的角度去观察在一定条件下软件系统的性能表现。负载测试的预期结果是用户的性能需求得到满足。此指标一般体现为响应时间、交易容量、并发容量、资源使用率等。- 选自GB/T18491信息技术软件测量-性能测量4.3.2压力测试压力测试是为了考察系统在极端条件下的表现，极端条件可以是超负荷的交易量和并发用户数。注意，这个极端条件并不一定是用户的性能需求，可能要远远高于用户的性能需求。可以这样理解，压力测试和负载测试不同的是，压力测试的预期结果就是系统出现问题，而我们要考察的是系统处理问题的方式。比如说，我们期待一个系统在面临压力的情况下能够保持稳定，处理速度可以变慢，但不能系统崩溃。因此，压力测试是能让我们识别系统的弱点和在极限负载下程序将如何运行。- 选自GB/T18491信息技术软件测量-性能测量4.3.3并发测试验证系统的并发处理能力。一般是和服务器端建立大量的并发连接，通过客户端的响应时间和服务器端的性能监测情况来判断系统是否达到了既定的并发能力指标。负载测试往往就会使用并发来创造负载，之所以把并发测试单独提出来，是因为并发测试往往涉及服务器的并发容量，以及多进程/多线程协调同步可能带来的问题。这是要特别注意，必须测试的。- 选自GB/T18491信息技术软件测量-性能测量4.3.4基准测试当软件系统中增加一个新的模块的时候，需要做基准测试，以判断新模块对整个软件系统的性能影响。按照基准测试的方法，需要打开/关闭新模块至少各做一次测试。关闭模块之前的系统各个性能指标记下来，然后与打开模块状态下的系统性能指标作比较，以判断模块对系统性能的影响。- 选自GB/T18491信息技术软件测量-性能测量