《性能测试简介》PPT课件.ppt

1 高级性能测试 ZHUTING 2007年6月 IBMInnovationCenter 2 课程内容介绍 测试策略制定测试结果指标分析测试典型案例分析测试技术讨论测试工具的使用技巧 3 测试策略制定 概念测试计划测试流程包括哪些步骤测试要达到什么目的选择什么协议进行测试如何编写一个完整的测试方案测试指标包括哪些内容自动化负载压力测试策略 4 测试结果指标分析 客户端负载压力指标服务器资源使用指标网络监控指标 5 测试典型案例分析 系统故障定位与分析数据库服务器典型性能调优与评估Oracle数据库性能调优案例测试经验交流 6 测试工具的使用技巧 负载压力测试工具 LoadRunner8 0IBMRationalPerformanceTester功能回归测试工具 WinRunner7 6IBMRationalRobot测试管理工具 TestDirector8 0IBMRationalTestManager 7 性能测试 系统的性能是一个很大的概念 覆盖面非常广泛 对一个软件系统而言包括执行效率 资源占用 稳定性 安全性 兼容性 可扩展性 可靠性等等 我们这里重点讨论的负载压力是系统性能的一个重要方面 性能测试用来保证产品发布后系统的性能满足用户需求 性能测试在软件质量保证中起重要作用 8 负载测试 负载测试是确定在各种工作负载下系统的性能 目标是测试当负载逐渐增加时 系统组成部分的相应输出项 例如通过量 响应时间 CPU负载 内存使用等如何决定系统的性能 例如稳定性和响应等 负载测试通常描述一种特定类型的压力测试 即增加用户数量以对应用程序进行压力测试 9 压力测试 压力测试通过确定一个系统的瓶颈或者不能接收的性能点 来获得系统能提供的最大的服务级别的测试 通俗地讲 压力测试是为了发现在什么条件下您的应用程序的性能会变得不可接受 10 负载压力测试 负载压力测试是性能测试的重要组成部分 负载压力测试包括 并发性能测试 重点 疲劳强度测试大数据量测试 11 负载压力测试 12 负载压力测试 并发性能测试考察客户端应用的性能 测试的入口是客户端并发性能测试的过程 是一个负载测试和压力测试的过程 即逐渐增加并发虚拟用户数负载 直到系统的瓶颈或者不能接收的性能点 通过综合分析交易执行指标 资源监控指标等来确定系统并发性能的过程 并发性能测试是负载压力测试中的重要内容 13 负载压力测试 疲劳强度测试通常是采用系统稳定运行情况下能够支持的最大并发用户数或者日常运行用户数 持续执行一段时间业务 通过综合分析交易执行指标和资源监控指标来确定系统处理最大工作量强度性能的过程 疲劳强度测试案例制定的原则是保证系统长期不间断运行的业务量 并且应该尽量去满足该条件 14 负载压力测试 大数据量测试大数据量测试的两种类型独立的数据量测试针对某些系统存储 传输 统计 查询等业务进行大数据量测试综合数据量测试和压力性能测试 负载性能测试 并发性能测试 疲劳性能测试相结合的综合测试方案 15 测试计划 分析应用程序定义测试目标计划方案实施检查测试目标 16 制定测试计划的目的 构建能够精确地模拟您的工作环境的测试方案 了解测试需要的资源 以可度量的指标定义测试成功条件 17 分析应用程序 确定系统组件描述系统配置分析使用模型任务分布 18 确定系统组件 客户机 网络 中间件和服务器 19 描述系统配置 连接到系统的用户数应用程序客户端计算机的配置情况 硬件 内存 操作系统 软件 开发工具等 使用的数据库和Web服务器的类型 硬件 数据库类型 操作系统 文件服务器等 服务器与应用程序客户端之间的通信方式前端客户端与后端服务器之间的中间件配置和应用程序服务器可能影响响应时间的其他网络组件 调制解调器等 20 分析使用模型 考虑哪些用户使用系统每种类型用户的数量每个用户的典型任务 21 任务分布 确定数据库活动峰值期的发生时间负载峰值期间的典型活动 22 定义测试目标 23 定义测试目标 以可度量的指标制定目标确定测试的时间 24 确定测试的时间 25 计划方案实施 定义性能度量的范围定义Vuser活动选择Vuser选择测试硬件和软件 26 定义性能度量的范围 度量应用程序中不同点的响应时间 根据测试目标确定在哪里运行虚拟用户运行哪些虚拟用户 27 应用程序中不同点的响应时间 度量端到端的响应时间 28 应用程序中不同点的响应时间 度量网络和服务器响应时间 29 应用程序中不同点的响应时间 度量GUI响应时间 GUI响应时间 端到端响应时间 网络和服务器响应时间 30 应用程序中不同点的响应时间 度量服务器响应时间 31 应用程序中不同点的响应时间 度量中间件到服务器的响应时间 32 选择Vuser 33 选择测试硬件和软件 硬件和软件应该具有强大的性能和足够快的运行速度 以模拟所需数量的虚拟用户 34 检查测试目标 度量最终用户响应时间定义最优的硬件配置检查可靠性确定瓶颈度量系统容量 35 定义最优的硬件配置举例 例如 您可以设置三种不同的服务器配置 并针对各个配置运行相同的测试 以确定性能上的差异 配置1 200MHz 64MBRAM 配置2 200MHz 128MBRAM 配置3 266MHz 128MBRAM 36 检查可靠性举例 确定系统在连续的高工作负载下的稳定性级别 强制系统在短时间内处理大量任务 以模拟系统在数周或数月的时间内通常会遇到的活动类型 37 确定瓶颈举例 您可以运行测试以确定系统的瓶颈 并确定哪些因素导致性能下降 例如 文件锁定 资源争用和网络过载 38 度量系统容量举例 查看现有系统中性能与负载间的关系 并确定出现响应时间显著延长的位置 拐点 可以确定是否需要增加资源以支持额外的用户 39 测试流程步骤 测试需求分析测试案例制定测试环境 工具 数据准备测试脚本录制 编写与调试负载压力场景制定测试执行结果分析与定位问题测试报告与测试评估 40 测试目的 在真实环境下检测系统性能 评估系统性能以及服务等级的满足情况预见系统负载压力承受力 在应用实际部署之前 评估系统性能帮助软件厂商或用户分析系统瓶颈 优化系统 41 测试目的 实现目的的测试方法 性能检测性能调优 42 性能检测 在真实生产环境下 检测系统性能 评估并报告整个系统的性能和健壮情况检查服务等级的满足情况对系统的未来容量作出预测和规划 43 性能调优 查找系统瓶颈的根本原因评估性能调整的效果在测试环境下再现性能问题 44 编写一个完整的测试方案 应用在客户端性能的测试应用在网络上性能的测试应用在服务器上性能的测试一个测试方案的例子一个测试计划的例子 45 测试指标 客户端交易处理性能指标 服务器资源监控 例如 UNIX 数据库资源监控 例如 Oracle Web服务器监控 例如 Apache 中间件监控 例如 TUXEDO等等 46 自动化负载压力测试 利用或开发负载压力测试的自动化测试方法 包括 程序 工具 流程等等 47 自动化负载压力测试优势 48 选择自动化负载压力测试方法 利用自动化负载压力测试工具开放资源 OpenSource 测试自主开发代码测试 49 自动化负载压力测试概念 通过在一台或几台PC机上模拟成百或上千的虚拟用户同时执行业务的情景 对应用程序进行测试 通过可重复的 真实的测试能够彻底地度量应用的性能 确定问题所在 工程项目实践证明 其测试结果与实际情况完全符合 50 自动化负载压力测试实现机制 自动负载测试 51 自动化负载压力测试工具 LoadRunner 美国MercuryInteractive公司QALoad 美国Compuware 康博 公司RationalRobot 美国IBM公司SILKPERFORMERV 美国Segue公司BenchmarkFactory 美国Quest软件公司WAS 美国Mcrosoft公司 52 自动化负载压力测试工具 自动化负载压力测试工具对比 53 自动化负载压力测试工具选择依据 模拟您的客户机运行多个模拟的客户机脚本化执行并能编辑脚本支持会话可配置的用户数量报告成功 错误和失败 54 自动化负载压力测试工具缺陷 缺乏功能点的校验对有些控件支持得不好不能达到真实模拟负载脚本的支持不够灵活报错定位不够详细 55 自动化负载压力测试工具盲点 在负载测试中 不进行功能校验 就是当功能错误发生时 测试工具不能够记录产生的功能性错误 这就忽略了负载压力情况下的功能不稳定问题 在负载压力测试过程中记录所有虚拟用户的操作及服务器的响应是当前负载压力测试技术发展的最大挑战 但测试过程中的附加记录会导致资源消耗 操作行为增加以及产生大量日志等问题 56 测试结果指标分析 客户端负载压力指标为了完成一个任务 用户对应用程序执行的一组操作 例如登陆一个Web站点 搜索一个飞机票信息 在网上买一本书等等 虚拟并发用户数 TotalVirtualUsers 交易响应时间 ResponseTime 每分钟交易数 TransRate 吞吐量图 ThroughOut 57 测试结果指标分析 客户端负载压力指标 交易处理指标 平均事务响应时间图 每秒事务数图 每秒事务总数 事务摘要图 事务性能摘要图 事务响应时间 负载下 图 事务响应时间 百分比 图 事务响应时间 分布 图 58 测试结果指标分析 客户端负载压力指标 Web请求指标 每秒点击次数图 点击次数摘要图 吞吐量图 吞吐量摘要图 HTTP状态代码摘要图 每秒HTTP响应数图 每秒下载页面数图 每秒重试次数图 重试次数摘要图 连接数图 每秒连接数图 每秒SSL连接数图 59 测试结果指标分析 服务器资源使用指标 UNIX 60 测试结果指标分析 服务器资源使用指标 Windows2000Server 61 测试结果指标分析 服务器资源使用指标 Windows2000Server 续 62 测试结果指标分析 网络监控指标 吞吐量容量 信道容量或带宽 利用率最优利用率可提供负载有效率延迟延迟变化量响应时间 63 测试典型案例分析 系统故障定位与分析最难的问题 64 系统瓶颈分析举例 经验举例1交易的响应时间如果很长 远远超过系统性能需求 表示耗费CPU的数据库操作 例如排序 执行aggregatefunctions 例如sum min max count 等较多 可考虑是否有索引以及索引建立的是否合理 尽量使用简单的表联接 水平分割大表格等方法来降低该值 65 系统瓶颈分析举例 经验举例2分段排除错误 测试工具可以模拟不同的虚拟用户来单独访问Web服务器 应用服务器和数据库服务器 这样 就可以在Web端测出的响应时间减去以上各个分段测出的时间就可以知道瓶颈在哪并着手调优 66 系统瓶颈分析举例 经验举例3UNIX资源监控 NT操作系统同理 中指标内存页交换速率 Pagingrate 如果该值偶尔走高 表明当时有线程竞争内存 如果持续很高 则内存可能是瓶颈 也可能是内存访问命中率低 Swapinrate 和 Swapoutrate 也有类似的解释 67 系统瓶颈分析举例 经验举例4UNIX资源监控 NT操作系统同理 中指标CPU占用率 CPUutilization 如果该值持续超过95 表明瓶颈是CPU 可以考虑增加一个处理器或换一个更快的处理器 合理使用的范围在60 至70 68 系统瓶颈分析举例 经验举例5UNIX资源监控 NT操作系统同理 中指标磁盘交换率 Diskrate 如果该参数值一直很高 表明I O有问题 可考虑更换更快的硬盘系统 重新部署业务逻辑等 另外设置TempdbinRAM 减低 maxasyncIO maxlazywriterIO 等措施都会降低该值 69 优化调整设置 CPU问题 考虑使用更高级的CPU代替目前的CPU对于多CPU 考虑CPU之间的负载分配考虑在其它体系上设计系统 例如增加前置机 设置并行服务器等 70 优化调整设置 内存和高速缓存内存的优化包括操作系统 数据库 应用程序的内存优化 过多的分页与交换可能降低系统的性能内存分配也是影响系统性能的主要原因保证保留列表具有较大的邻接内存块调整数据块缓冲区大小 用数据块的个数表示 是一个重要内容将最频繁使用的数据保存在存储区中 71 优化调整设置 磁盘 I O 资源问题磁盘读写进度对数据库系统是至关重要的 数据库对象在物理设备上的合理分布能改善性能磁盘镜像会减慢磁盘写的速度通过把日志和数据库对象分布在独立的设备上可以提高系统的性能把不同的数据库放在不同的硬盘上 可以提高读写速度 经常把数据库 回滚段 日志放在不同的设备上把表放在一块硬盘上 把非簇的索引放在另一块硬盘上 保证物理读写更快 72 优化调整设置 调整配置参数包括操作系统和数据库的参数配置并行操作资源限制的参数 并发用户的数目 会话数 影响资源开销的参数与I O有关的参数 73 优化调整设置 优化应用系统网络设置可以通过数组接口来减少网络呼叫 不是一次提取一行 而是在单个往来往返中提取10行 这样做效率较高调整会话数据单元的缓冲区大小共享服务进程比专用服务进程提供较好的性能 74 故障定位与分析 一个测试实例 75 测试典型案例分析 数据库服务器典型性能调优与评估 76 数据库服务器典型性能问题 数据库服务器性能问题及原因分析单一类型事务响应时间过长数据库服务器负载糟糕的数据库设计事务粒度过大批任务对普通用户性能的影响并发处理能力差锁冲突严重资源锁定造成的数据库事务超时数据库死锁 77 数据库服务器典型性能问题 数据库性能问题的一般解决办法监视性能相关数据 定位资源占用较大的事务并做出必要的优化或调整 定位锁冲突 修改锁冲突发生严重的应用逻辑 对规模较大的数据或者无法通过一般优化解决的锁冲突进行分布 78 测试典型案例分析 硬件配置与系统性能测试实例 79 测试典型案例分析 服务器集群与系统性能测试实例 80 案例测试经验交流 负载均衡与系统性能测试实例 81 案例测试经验交流 负载均衡基础知识负载均衡策略 静态方式 动态方式 负载均衡针对的应用负载均衡记录文件 用户表回话保持概念回话保持方式负载均衡器布置 82 测试典型案例分析 案例测试经验交流 83 案例测试经验交流 不同的工具监控性能指标 CPU 最大并发用户数最大连接数最大在线用户数最大注册用户数 84 测试案例介绍 并发性能测试几个应用实例实例1 计费帐务系统V3 0测试类型 并发 疲劳系统运行模式 三层结构中间件TUXEDO 数据库服务器操作系统UNIX 数据库Oracle监测的测试指标包括 交易处理性能 UNIX资源 TUXEDO资源并发用户数 50测试工具 LoadRunner7 5 1解决的问题 业务执行平均响应时间在100秒左右 经过调优后 平均响应时间降为10秒例图如下 85 测试案例介绍 销帐 并发用户数50 平均响应时间 86 测试案例介绍 实例2 加油IC卡试点工程核心软件V2 0测试类型 并发系统运行模式 发卡网点子系统采用三层结构的运行模式 零管子系统采用C S运行模式 中间件TUXEDO 数据库服务器操作系统UNIX 数据库Sybase监测的测试指标包括 交易处理性能 UNIX资源 TUXEDO资源并发用户数 销售信息查询100 单用户卡充值170测试工具 QALoad LoadRunner 87 测试案例介绍 实例2 加油IC卡试点工程核心软件V2 0 续 解决的问题 销售信息查询 当记录条数达到1000000时 系统在15分钟内无任何响应 经分析确定为系统数据库的架构存在问题 例图如下 88 测试案例介绍 1 100用户2 50用户3 30用户4 20用户5 10用户 89 测试案例介绍 实例3 高速公路联网收费系统V1 1测试类型 并发 疲劳系统运行模式 该软件为C S结构 数据库Informix7 3 中间件 自行开发 Winsock 各级服务器均为IBM系列服务器监测的测试指标包括 UNIX资源并发用户数 100测试工具 QALoad LoadRunner解决的问题 CPU占用率基本保持在65 在并发用户数为100 交易数为100的情况下达到82 最大值达到90 以上 可见CPU占用率将来有可能会成为系统瓶颈疲劳测试丢失数据763条 中间件的稳定性有待进一步提高例图如下 90 测试案例介绍 0309100 05F 虚拟用户数1000309100 060 虚拟用户数100309100 061 虚拟用户数300309100 062 虚拟用户数50图 入口车道往结算中心上传交易响应时间分布图 91 测试案例介绍 实例4 多媒体数据库V1 0测试类型 并发 疲劳系统运行模式 B S运行模式 三层结构 web服务器为Apache 后台各服务器操作系统为UNIX或者Linux 数据库为Oracle监测的测试指标包括 UNIX Linux Oracle以及Apache资源并发用户数 200测试工具 QALoad LoadRunner解决的问题 当并发用户数超过200时 监控到HTTP500 connect以及超时错误 且web服务器报内存溢出错误 系统应进一步提高性能 以支持更大并发用户数 例图如下 92 测试案例介绍 93 测试案例介绍 实例5 业务流程管理平台V1 0测试类型 并发 疲劳系统运行模式 B S运行模式 三层结构 web服务器为WebSphere 后台各服务器操作系统为Windows2000Server 数据库为DB2监测的测试指标包括 数据库服务器 应用服务器 Web服务器的networkinterface Windows2000Serverperformance 数据库DB2 WebSphere等资源并发用户数 500测试工具 QALoad LoadRunner解决的问题 并发用户数为500时的系统交易响应时间在不可接受的范围内 数据库服务器的资源占用预计会成为系统运行瓶颈 例图如下 94 测试案例介绍 1 业务 wokflow 总并发用户数 100 2 业务 wokflow 总并发用户数 300 3 业务 wokflow 总并发用户数 500 4 业务 homepage 总并发用户数 100 5 业务 homepage 总并发用户数 300 6 业务 homepage 总并发用户数 500 7 业务 mail 总并发用户数 100 8 业务 mail 总并发用户数 300 9 业务 mail 总并发用户数 500 10 业务 mailsend 总并发用户数 100 11 业务 mailsend 总并发用户数 300 12 业务 mailsend 总并发用户数 500 95 总结 测试策略制定测试结果指标分析测试典型案例分析测试技术讨论测试工具的使用技巧 96 谢谢