全链路性能测试解决方案

,全链路性能测试解决方案,性能测试面临的挑战,1,全链路性能测试解决方案,2,CPT性能测试平台的基本操作,3,测试案例举例,4,目录,性能测试面临的挑战,时间,技术,人员,运维,性能测试面临的挑战,云性能测试典型的典型场景,网络 教育,电商 促销,共享 单车,资源 秒杀,红包 购票,物联 智能,用户量激增 业务量翻番,拒绝连接错误,服务器错误,404,页面崩溃,响应缓慢,图片加载失败,网络 延时,负载 失衡,连接 异常,CDN,异常,云性能测试与传统性能测试比对,Load,Runner,90年代基于C语言,入门门槛高，需要较高的编程功底,内部局域网物理服务器调用,测试规模较小，10000并发以内,基于大数据模型设计,全程可视化操作，易用性较好,内网外网云资源混合调用,可支持百万级别，弹性可切割,Cloud Performance,Test,部署硬件昂贵可伸缩复用性不要,无需部署按需定制使用方式,统计报表需要大量的人工重组,TB级数据报表，实时显示测试结果,全链路性能测试解决方案,没有压力测试环境能测试吗？,测试的场景如何快速分析？测试数据怎么准备？,生产环境产生的数据如何清洗？,测试关键指标能否覆盖具体问题如何定位？,用户的需求演进,需求,规划,设计,报告,实施,分析,需求收集 数据收集 拓扑调研 日志收集,监控规划 区域选择 内容选取 告警规则,测试流程,监测工具安装 测试环境验证 测试场景执行 测试区域选择,网络环境分析 基础数据分析 系统参数分析 测试数据分析 代码问题分析,报告定制 报告输出 标准化评测 修改建议,实时日志分析 测试场景设计 测试脚本编写,测试相关数据准备,服务支撑状况,常用资源状况,数据准备,测试范围,服务器数量以及服务的分配状况，是否采用集群是否使用虚 拟化方式，是新系统还是原有系统的升级改造，用户峰值发 生期，出现过哪些问题。,CPU、内存、磁盘、网络、防火墙、负载均衡、DNS，操作系 统、中间件、数据库参数，全部确认且文档化，便于在测试 过程中调整记录。,测试过程中应用涉及的范围确认，关联系统的范围确认，测 试过程中涉及的相关人员的确认，测试相关业务的快速梳理。,安全评估,重要数据存储模式，是否需要数据漂白，安全管理流程评估，涉密内容的处理方式确认，出现异常状况的应急处理预案。,性能测试需求分析,测试用基础数据来源、数量、备份恢复方式、基础数据扩容 方式确定测试用测试数据模拟方式、业务数据预埋方式、数 据容量确认，测试工具准备。,20%,数据准备,10%,40%,环境准备,30%,性能测试,传统性能测试项目的时间分布,性能调优,使用生产环境压测,数据预埋,测试数据准备过程,非接口标识改造,旁路数据路由,接口字段标识改造,模拟 数据,数据库,C,o,r,e,A,P,-,1,总 线,业务接口 数据流分析,Table_A,（,添加,User_Agent,字段）,Table_B,（,添加,User_Agent,字段）,Table_C,（,添加,User_Agent,字段）,Table_.N,（,添加,User_Agent,字段）,业务接口 数据流分析,Table_A,（,正常业务数据）,Table_A_P(,压测数据,),Table_B,（,正常业务数据）,Table_B_P(,压测数据,),Table_C,（,正常业务数据）,Table_C_P(,压测数据,),Table_N,（,正常业务数据）,Table_N_P(,压测数据,),业务接口 数据流分析,Table_A,（,添加分析后扩展字段）,Table_B,（,添加分析后扩展字段）,Table_C,（,添加分析后扩展字段）,Table_.N,（,添加分析后扩展字段）,A,P,-,2,A,P,-,3,登录 课程报名 提交作业,课程 报名表,作业 记录表,客户 信息表,课程 ID表,姓名 地址,加密密码 手机,家长姓名,学校 教育等级,客户编号 课程名称 作业数据 作业分数,标记_P2,年级ID 科目ID 课程ID 开课时间 课程长度 课程周期 讲师名称,客户编号 课程名称 课时总量 开课时间 报名数量,标记_P1,业务接口数据流分析,读,写,读,写,0 1 1 0 0 1 0 1,0,1 1 0 0 1 0 1 1,0,0 0 1 1 0 1 0 0,1,0 1 0 0 0 0 0 1,0,0 1 0 1 0 0 0 1,1,1 0 0 0 1 0 1 0,0,1 0 1 1 1 1 1 0,1,0,1,1,1,0,0,1,0,1 0,1,1,0,0,0,0,1,1,1,0,0,0 1,0,1,1,0,0,1,0,0,1,0,0,0,0,0,1,1,0,0,1,0,1,0,1,1,0,0,0,1,1,0,0,0,0,1,1,0,0,1,0,1,0,0,1,0,0,0,1,0,1,1,1,0,0,0,1,1,1,1,0,0,1,0,1,0,0,1,0,0,0,1,0,0,1,1 0 1 1 0 0 1 0 1,0,0 1 1 0 0 1 0 1 1,1,1 0 0 1 1 0 1 0 0,0,0 0 1 0 0 0 0 0 1,0,0 0 1 0 1 0 0 0 1,0,0 1 0 0 0 1 0 1 0,1,1 1 0 1 1 1 1 1 0,1,1%,5%,1%,100%,自动 发现,数据 抽取,漂白 脱敏,数据 装载,开发 环境,培训 环境,单元 环境,性能 环境,使用生产环境测试数据准备过程,表达式,连接,自串,序列号,随机数,查找替换,混淆,日期变换,英文字符串变 化,传播,通 用 函 数,数据清洗需要具备的基本功能,中文姓名,专,身份证号码,电话号码,中文地址,用,电子邮件,邮政编码,函,企业名称,工商注册号,组织机构代码,数,纳税人识别号,银行卡,随机中文,定制服务,用户出口,数据清洗,用 户 扩 展,生产数据抽取分析,依托生产数据的日志分析,日志抽取过程,业务模型梳理-新业务系统_无日志参考,行业人员经验推荐、开发运营人员推荐、分析协商,高频使用,主要功能,调用关系复杂,测试场景设计流程,一般场景,特殊场景,异常场景,可恢复 场景,热扩容 热部署,未来趋势,测试场景表,序号,执行脚本,用户数量（个）,执行时间,（分钟）,用户使用方式,备注,递增数量,(,个,),时间间隔（秒）,同步点,1,用户信息查询,50,100,200,5,分钟,5,2,无,2,用户登录,50,100,200,5,分钟,5,2,无,3,作业查询,50,100,200,5,分钟,5,2,无,4,课程查询,50,100,200,5,分钟,5,2,无,5,用户退出,50,100,200,5,分钟,5,2,无,6,作业提交,50,100,200,5,分钟,5,2,无,7,班级选择,50,100,200,5,分钟,5,2,无,混合场景测试模型表,场景名称,程序版本,场景编号,编写日期,并发用户数,1000,3000,5000,1000,20000,执行时间,测试目的,执行人员,特殊说明,测试类型,前提条件,通讯协议,编号,脚本名称,交易代 号,总交易量 占比,T,O,P,用户占 比,虚拟用,户数,（,1000,）,目标,TPS,目标,A,R,T,实测,TPS,实测,A,R,T,是否符 合预期,业务类 型,备注,1,用户登录,6.88%,30,.,90%,309,2000ms,查询,2,作业提交,5.66%,19,.,20%,192,2000ms,查询,3,作业查询,4.47%,15,.,02%,150,3000ms,查询,4,课程查询,3.10%,12,.,41%,124,1000ms,查询,5,用户退出,2.66%,8.09%,81,1000ms,查询,6,用户信息查询,2.28%,7.92%,79,2000ms,提交,7,课程选择,2.13%,6.46%,65,1000ms,提交,性能测试常见指标,在吞吐量稳定的情况下，系统,的,处理,事,务,的,成功,率,99.999%,设备,业育业,电子商中型网,小型网,务,物联网,互联网,金融行,在线教,保险行,互联网,互联网,制造行,业,系列,1,20000,0,10000,0,1000,0,3000,0,1000,站站,50,0,100,50,200000,100000,1000,0,3000,0,100,0,50,0,10,0,50,0,50000,100000,150000,200000,单位：笔/每秒,不同行业系统每秒承载事务数量,250000,物联网 设备,制造行 业,系列,1,0,.,5,互联网 电子商 务,0.5,金融行,在线教,保险行 业育业,122,互联网,互联网 中型网,小型网 站站,33,5,0,.,5,0,.,5,1,2,2,3,3,5,0,1,2,3,4,5,6,单位：秒,不同行业系统事务处理时间,响应时间和吞吐量,吞吐量,（Thoughput）,资源利用,（resource utilization）,响应时间,（Latency）,互联网云性能测试平台,WAN/LAN,用户,应用服务器,R,o,u,t,e,r,F,i,r,e,w,a,l,l,S,w,i,t,c,h,Web,S,e,r,v,e,r,s,Load,B,a,l,a,n,c,e,r,P,or,t,a,l,应用,N,应用A,应用C,应用B,Database_A,MIDDLEWARE,用户,用户,压力探针群,性能测试平台CPT,北京,上海,广州,新疆,其他,第三方应用,DatabaseN,离散分区域的精准问题定位,线路故障,服务错误,延时较长,应用服务器,S,w,i,t,c,h,Web,S,e,r,v,e,r,s,Load,B,a,l,a,n,c,e,r,P,or,t,a,l,应用,N,应用A,应用C,第三方应用,应用B,Database_A,MIDDLEWARE,压力探针群,性能测试平台CPT,Loader1,loader2,Loader3,loader4,LoaderN,中心计算服务器,172.16.0.1,-255,企业级内部网络性能测试平台,DatabaseN,测试环境监控,A,S,/,40,0,Red,Hat,、,SUSE,、,Novell,、,Open,Server,、,FreeBSDCent,OS,、,Mandriva,Linux,、,Debian,Linux,、,Turbo,Linux,、,Linux,Knoppix,、,Gentoo,Linux,、,Magic,Linux,J2EE,应,用服,务,器,Weblogic,WebSph,ere,SunOne,Oracle,AS,Resion,URL,&,Ports,&,Ping,DNS,FTP,NTP,，,Web,Server,Apache,IIS,Tom,cat,Jboss,邮件服务器,Microsoft,Exchange,Domino,Mail,标准,Mail,中,间件,MQ,Tuxedo,数据,库,DB2,Oracle,Informix,SQL,Server,Sybase,Mysql,Postgresql,Lotus,Domino,Lotus,Domino,交换机、路由 器、,VPN,、负 载均衡、入侵 检测、语音设 备、存储设备,etc,总响应时间、重定向时间、DNS时间、建立连接时间、SSL时间、后端响应时间、内容下载时间、可用率、错误率、下载速度、下 载文件大小、TCP连接数、输入速率、输出速率等,网络,CPU资源：总占用率、系统使用率、用户使用率、IO使用率等 内存：内存使用率、SWAP交换区、分页等,网路：发送速率、接收速率、接收丢包数、发送丢包数 连接：TCP连接数、进程总数、线程总数、用户进程数,基础 资源,应用,SQL语句执行计划、SQL语句执行时间、关联的应用事务、SQL语句 的上下文环境、各个环境的时间消耗占比、调用参数、慢SQL语句,数据库,常用测试监控数据,事务平均响应时间、每秒事务数、每秒事务总数、每秒错误数、每秒错误总数、错误详细记录