PerfDog系统性能测试方案介绍课件

PerfDog系统性能测试方案介绍PerfDog系统性能测试方案介绍11、为什么越来越重视性能？2、性能实战中踩过的坑？3、前线人员需要什么利器？4、PerfDog技术解析？5、性能专项必备技术能力？6、未来计划？目录1、为什么越来越重视性能？目录21、为什么越来越重视性能？1、为什么越来越重视性能？3用户关注什么？用户关注什么？4我们能做什么？我们能做什么？52、性能实战中踩过的坑？2、性能实战中踩过的坑？6痛点？1、ROOT2、准确性3、局限性(复合应用，如微信小程序、小游戏)4、稳定性5、易用性1、越狱(iOS11后无法越狱)2、Xcode编译3、局限性(复合应用，如微信小程序、小游戏)4、易用性iOS无法性能无法性能测试测试(游戏、应用、微信小游戏小程序)iOS无法性能分析无法性能分析(Xcode源码编译一天，数据管理)无法无法竞竞品性能分析品性能分析Android不准确不准确(导致大量交叉复测验证，误导分析)Android不不稳稳定定(工具性能消耗太高被kill，无法长时间测试)Android不易用不易用(使用流程很复杂)痛点？1、ROOT1、越狱(iOS11后无法越狱)iOS无法7行业痛点？腾讯腾讯游游戏戏CPTDR标标准准性能数据性能数据标标准准手机厂商手机厂商合作合作优优化化性能数据性能数据标标准准普通用普通用户户流流畅畅度度降降频频性能数据性能数据标标准准统统一一标标准尺度准尺度行业痛点？腾讯游戏CP手机厂商普通用户统一标准尺度83、前线人员需要什么利器？3、前线人员需要什么利器？91、ROOT2、准确性3、局限性(复合应用，如微信小程序、小游戏)4、稳定性5、易用性1、越狱2、Xcode编译3、局限性(复合应用，如微信小程序、小游戏)4、易用性需要什么样工具？1、ROOT1、越狱需要什么样工具？10PerfDog呼之欲出移移动动全平台全平台iOS/Android性能性能测试测试、分析工具。、分析工具。快速定位分析性能快速定位分析性能问题问题，提升，提升APP应应用及游用及游戏戏的性能和品的性能和品质质。手机无需手机无需ROOT/越越狱狱、游、游戏戏及及APP应应用也无需做任何修改。用也无需做任何修改。极极简简化即插即用化即插即用全平台全平台Android/iOS，PC端支持Windows/Mac无需无需ROOT/越越狱狱Android无需ROOT，iOS无需越狱高效解决高效解决IOS测试测试分析分析难题难题局限性局限性(数据、硬件完整性，复合数据、硬件完整性，复合应应用用)解决复合解决复合应应用用测试问题测试问题(微信小程序、小游微信小程序、小游戏戏、入口、入口等等)已适配90%Android、iOS系统、机型及应用APP（其他工具涉及机型、系统、应用类型适配，性能参数不完整）稳稳定性定性解决系解决系统统强强制制Kill机制机制，双重获取权限机制保证长时间极限稳定测试准确性准确性工具本身性能影响极小11%(注：小米五锁定小核心频率。GB:20%、其他:28%），参数统一准确易用性易用性即插即用，无需手工手机安装APP可编辑统计UI图表及数据标准输出云化管理云化管理任任务务管理、版本管理、版本对对比、数据比、数据传递传递分享、展示分享、展示编辑查编辑查看看开开发发者社区者社区提供性能知提供性能知识识和技和技术术支持，与万千开支持，与万千开发发者交流分享者交流分享PerfDog呼之欲出移动全平台iOS/Android性能测11PerfDog对比/现状现状：500+公司使用(游戏、应用、微信小游戏)DAU：4000+人(每天使用人数)累计用户（开发和性能专项人员）:10000+金字塔思维开发同学25%专项同学(35%)外包同学(40%)PerfDog对比/现状现状：金字塔思维12PerfDog产品服务云化管理云化管理Web展示展示PerfDogWeb展示展示自自动动化、化、云云测测等等iOSAndroid(Windows、Mac、Linux)(Windows、Mac)iOSAndroidPerfDogService(Windows、Mac、Linux)Perf*二二次次开开发发自己工具自己工具(Windows、Mac)PerfDog产品服务云化管理Web展示PerfDogWeb13PerfDog-展示PerfDog-展示144、PerfDog技术解析？4、PerfDog技术解析？15iOSPerfAutomation自动化测试AndroidPerfDogSDKPerfDogPerfDogServiceUIGRPCGRPCPerf*二次开发自己性能工具(Windows、Mac、Linux)(Windows、Mac、Linux)(Windows、Mac、Linux)提供提供调调用接口用接口(本本地地/远远程程)(C#、C+、Java、Python、PHP、Go)(Windows、Mac、Linux)PerfDog技术框架RemotePerf*GRPC/TCP(Windows、Mac、Linux)iOSPerf Automation 自动化测试Andro16iOS技术难难点：点：iOS封闭性，未任何公开资料。协议格式和XcodeServer架构原理XcodeServer技术框架解读PerfDogPDMessageXcodeServerlibpdusbiOS技术难点：PerfDogPDMessageXcode 17iOS技术ScreenShotServerLogServerXcodeServerConnectionDispatchPerfServerGraphicServerNetworkServerActivity/SysmondServerPowerServerTraceServeriOS技术ScreenShot ServerLog Ser18Android技术PerfDogPerfDogServerPerfDogAPP难难点：点：性能影响最小不同厂商、不同版本系统，参数API及形式不样，需要分析源码未公开API更高效，需要分析系统源码，进行参数优化及编译兼容性问题Linux内核APINativeAPI(未公开)JavaAPI(未公开)APPJavaAPPAndroid技术PerfDogPerfDogPerfDog19如何才能专业测试、分析？赛车运动如何才能专业测试、分析？赛车运动205、性能专项必备技术能力？5、性能专项必备技术能力？21报告专业性？专业专业知知识识移动硬件特性硬件参数系统性能参数理解游戏性能特性引擎渲染机制报报告告专业专业性性专业专业工具方法工具方法SysTrace/ADB命令Xcode/Instruments高通/MaliProflierPerfDogGT案例沉淀案例沉淀小米5机器降频Mali显存统计报告专业性？专业知识移动硬件特性报告专业性专业工具方法案例沉22定义平均帧率瞬时帧率游戏与APP区别强制刷新DirtyRedraw脏区重绘fps：1秒内平均画面刷新次数fps定义fps：1秒内平均画面刷新次数fps23苹果WWDC18年开发者大会FramePacingfps=50：前前200ms刷新一次，后刷新一次，后800ms刷新刷新49帧帧，帧帧率率是是50，但但觉觉得非常卡得非常卡顿顿iOS苹果WWDCFramePacingfps=50：前200ms24Android4.4流畅度机制黄油计划-JankGoogle提出JankGoogleJank计算思路：考虑视觉惯性，以硬件vsync时间间隔，连续1次vsync没有新画面刷新，则认为是一次卡顿，也就是说下一次vsync时间点没有新画面刷新，则认为是一次Jank。AndroidAndroid4.4Google Jank 计算思路：考虑视25fps与流畅度流畅度!=fps流畅度fpsJankPerfDog计算方法：同时满足两条件，则认为是一次卡顿Jank.当前帧耗时前三帧平均耗时2倍。当前帧耗时两帧电影帧耗时(1000ms/24*2=84ms)。同时满足两条件，则认为是一次严重卡顿BigJank.当前帧耗时前三帧平均耗时2倍。当前帧耗时三帧电影帧耗时(1000ms/24*3=125ms)。fps与流畅度流畅度!=fpsPerfDog计算方法：26PerfDogJankPerfDogJank27Jank对比可量化量化横向对比Jank对比可量化28JankJank29Android内存OOM本质？内存形态？关注那些参数？地址空间VMHeapsizeNativeheapsizeLMKPSS/SWAPZram/vnswapAndroid内存OOM本质？30iOS内存OOM本质？FootprintRealMemory？VMShortperLimit地址空间iOS内存OOM本质？31CPU多核心？核心Usage核心频率降频？CPU多核心？核心Usage32能耗本质？CPU/GPU/屏幕？PowerVoltageCurrent性能表现VS能耗？流畅度vs能耗？CPUGPUFPSWakeups能耗本质？33执行场景设计？有效性可对比性严谨性执行场景设计？有效性346、未来计划？6、未来计划？35未来计划开发计划组件服务（PerfDogService）工具功能云端平台服务自动化测试支持混合程序测试（web程序）更加完善的版本对比功能微信公众号推送更多的工具技术文章服务二次开发获取更多的性能指标持续更新，支持最新的移动设备开发者社区推送更多的性能专项技术性文章分享更多性能分析优化案例Q&A自助服务未来计划开发计划组件服务工具功能云端平台服务自动化测试支持36未来计划合作行业合作厂商合作引擎合作ARM合作获取更多底层性能数据，帮助性能专项人员更好的定位性能问题行业标准联合信通院，计量院等，制定游戏性能度量Benchmarks，建立移动应用性能行业标准信通院未来计划合作行业合作厂商合作引擎合作ARM合作获取更多底层37PerfDog系统性能测试方案介绍课件38