软件测试性能指标

通过对软件测试中性能测试的初步了解，总结软件性能指标中的 几个术语:响应时间、并发用户数，吞吐量，性能计数器， TPS， HPS.在使用性能测试工具进行测试时,还会接触到“思考时间(Th ink Time) ”的概念。供以后学习使用.1、响应时间根据个人理解，响应时间指的是“系统响应时间”，定义 为应用系统从发出请求开始到客户端接收到响应所消耗的时间。 把它作为用户视角的软件性能的主要体现。它包括网络上的传输 时间,web服务器上处理时间，APP服务器上处理时间，DB服务 器上处理时间，但不包括浏览器上的内容显示时间，即“呈现时 间” ,这是因为呈现时间在很大程度上取决于客户端的表现，例 如，一台内存不足的客户端机器在处理复杂页面的时候，其呈现 时间可能就很长，而这并不能说明整个系统的性能。许多描述性能测试的书或者工具把“响应时间”定义为“应 用系统从请求发出开始到客户端接收到最后一个字节数据所消 耗的时间”。造成这种差异的原因是，对用户体验来说，可以采 用一些技巧在数据尚未完全接收完成时进行呈现来减少用户感 受到的响应时间。当然，针对 Web 应用的测试(因为浏览器行 为是既定的),我们仍然采用后一种定义方式来描述响应时间。关于响应时间，要特别说明的一点是 ,对客户来说，该值是 否能够被接受是带有一定的用户主观色彩，也就是说，响应时间 的“长”和“短”没有绝对的区别.因此，在进行性能测试时,“合 理的响应时间”取决于实际的用户需求，而不能依据测试人员自己的设想 来决定.2、最大并发用户数有两种理解方式，一种是从业务的角度来模拟真实的用 户访问,体现的是业务并发用户数,指在同一时间段内访问系统的 用户数量。另一种是从服务器端承受的压力来考虑，这里的“并 发用户数”指的是同时向服务器端发出请求的客户数，该概念一 般结合并发测试(Concurrency Testing)使用，体现的是服务端承 受的最大并发访问数。在实际的性能测试中,经常接触到“并发用户数、“系统用 户数”和“同时在线用户数”的概念，下面引用一本书的例子来 说明它们之间的差别。假设有一个 OA 系统，该系统有 2000 个使用用户这就 是说，可能使用该 OA 系统的用户总数是 2000 名，这个概念就 是“系统用户数”，该系统有一个“在线统计”功能（系统用一 个全局变量计数所有已登录的用户），从在线统计功能中可以得 到，最高峰时有 500 人在线（这个 500 就是一般所说的“同时 在线人数”）,根据我们对业务并发用户数的定义,这 500 就是整个 系统使用时最大的业务并发用户数。当然，500 这个数值只是表 明在最高峰时刻有 500 个用户登录了系统，并不表示实际服务 器承受的压力。因为服务器承受的压力还与具体的用户访问模式 相关。根据我们对业务并发用户数 的定义,这 500 就是整个系统 使用时最大的业务并发用户数。当然，500 这个数值只是表明在 最高峰时刻有 500 个用户登录了系统，并不表示实际服务器承 受的压力。因为服务器承受的压力还与具体的用户访问模式相关 例如，在这 500 个“同时使用系统的用户中,考察某一个时间点， 在这个时间上，假设其中 40的用户在饶有兴致地看系统公告 （注意：“看”这个动作是不会对服务端产生任何负担的），20 的用户在填写复杂的表格（对用户填写的表格来说 ,只有在“提 交”的时刻才会向服务端发送请求，填写过程是不对服务端构成 压力的），20部分用户在发呆（也就是什么也没有做），剩下的 20用户在不停地从一个页面跳转到另一个页面在这种场 景下，可以说，只有 20的用户真正对服务器构成了压力。因 此,从上面的例子中可以看出，服务器实际承受的压力不只取决于业务并发用户数,还取决于用户的业务场景.3、吞吐量吞吐量是指“单位时间内系统处理的客户请求的数量”， 直接体现软件系统的性能承载能力。一般来说，吞吐量用请求数 /秒或是页面数/秒来衡量,从业务的角度,吞吐量也可以用访问人 数/天或是处理的业务数/小时等单位来衡量.当然，从网络的角度 来说,也可以用字节数/天来考察网络流量。对于交互式应用来说, 吞吐量指标反映的是服务器承受的压力。4、性能计数器性能计数器(Counter)是描述服务器或操作系统性能的 一些数据指标。例如，对Windows系统来说，使用内存数(Memory In Usage)，进程时间(Total Process Time)等都是常见的计数器。与性能计数器相关的另一个术语是“资源利用率.该术 语指的是系统各种资源的使用状况。为了方便比较，一般用“资 源的实际使用/总的资源可用量形成资源利用率的数据，用以进 行各种资源使用的比较。例如，我们会说到 ,“某某系统在承受 10000 用户的并发访问时， Web 服务器的 CPU 占用率为 68%，平均的内存占用率为 55%，这其中，68%和 55就是典型的资 源利用率的数值。5、思考时间思考时间(Think Time),也被称为“休眠时间”从业务的 角度来说，这个时间指的是用户在进行操作时，每个请求之间的 间隔时间。从自动化测试实现的角度来说，要真实地模拟用户操 作,就必须在测试脚本中让各个操作之间等待一段时间，体现在 脚本中，具体而言,就是在操作之间放置一个 Think 的函数,使得 脚本在执行两个操作之间等待一段时间。6、TPSTPS： Transaction per second，每秒钟系统能够处理 的交易或者事务的数量。它是衡量系统处理能力的重要指标。7、HPS点击率：HPS，每秒钟用户向WEB服务器提交的HTTP请求 数。这个指标是WEB应用特有的一个指标,WEB应用是请求一响 应模式，用户发出一次申请,服务器就要处理一次，所以点击是 WEB 应用能够处理的交易的最小单位。如果把每次点击定义为一 个交易，点击率和 TPS 就是一个概念.容易看出,点击率越大，对 服务器的压力越大。点击率只是一个性能参考指标 ,重要的是分 析点击时产生的影响。需要注意的是，这里的点击并非指鼠标的 一次单击操作，因为在一次单击操作中，客户端可能向服务器发 出多个 HTTP 请求.