资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,-Qzone性能优化报告,QQ空间产品中心,Qwang,Qzone优化概述,存储优化,日志重构,访问优化,接入层,逻辑层,表现层,2,日志重构前问题分析,数据量增长过快,总数据量9T,日增长量约20G,扩容需进行大量数据搬迁,Cache命中率低（50%），DB压力大,3,旧系统结构,模块,日志回复,日志标题,日志计数,优点,CACHE内存化，提升性能,多进程号段分布处理,业务异步化,缺点,CACHE量有限，命中率低，对DB的性能依赖比较重,模块相互独立，容易造成数据不一致,4,Qzone数据层优化（日志重构）,与产品经理的Trade-off,区分近期日志与往期日志,区分活跃数据、非活跃数据和历史归档数据,二级缓存（内存+文件）,针对单个号码进行路由,5,新系统结构,系统分三个模块：日志信息、日志标题、访问计数,CGI层对日志标题、访问计数模块有读/写权限；对日志标题模块只有读权限，其数据来源于日志信息模块,6,日志信息模块结构,7,日志重构后的特点,将数据区分为活跃数据、不活跃数据和历史归档数据，减少Cache数据量，提升Cache命中率,Cache根据数据访问活跃度进行扩容,DB根据存储容量进行扩容,8,Qzone日志重构前后数据对比,9,Qzone访问速度慢,Http请求量大，下载数据量大,用户CPU消耗高,用户经常投诉打不开Qzone,10,Qzone访问优化前测速,11,Qzone访问提速优化,量化性能数据,关键路径时间点统计,12,Yahoo 14 性能优化规则,Make fewer HTTP requests,Use a CDN,Add an Expires header,Gzip,components,Put CSS at the top,Move JS to the bottom,Avoid CSS expressions,Make JS and CSS external,Reduce DNS lookups,Minify JS,Avoid redirects,Remove duplicate scripts,Turn off,ETags,Make AJAX cacheable and small,13,Qzone访问优化,域名访问优化,静态页面与动态数据分离,减少http请求,降低浏览器CPU消耗,Ajax优化,Web Server优化,14,域名相关,减少*域名的使用，降低动态DNS查询请求,走访校园网及北方城市，发现双ISP的local DNS的问题,前置机通过域名纠正被错误定位的用户,15,静态页面相关,拆分静态页面、图片、样式及flash，分散至等静态文件域名,I的CDN外包,静态文件服务器优化,支持长连接,支持gzip压缩,使用expires,Qzone http总请求量,静态页面,动态数据,相册图片,其他静态数据,80,46,14,14,6,16,减少http请求,合并小图片请求,合并css和js文件,合并动态数据请求,动态数据支持304,有效利用浏览器cache和js变量缓存动态数据,17,小图片的请求合并（css+背景图）,18,合并css和js文件,合并css文件,进入Qzone只需要下载2个css文件,Css文件合并工具,合并js文件,删除无用字符（空格、换行等）,Js文件合并工具,19,合并动态数据请求,合并多个模块的动态数据为一个静态文件,20,动态数据支持304,对大数据量的请求在存储层上增加时间戳,21,利用js变量和浏览器Cache,利用js变量,Js将获取的动态数据放入数组变量,每次发起动态数据请求前检查数组内是否保存了相应数据,利用浏览器cache,取消了Cache-Control: No-cache,使用url+随机数避免浏览器cache,22,浏览器下载请求量和数据量对比,23,降低浏览器CPU消耗,将XML修改为JSON,降低浏览器Parse XML的CPU消耗,支持跨域请求，减少proxy.html请求,减少iframe的使用,尽可能使用div,合理使用cookie,浏览器20个同域cookie的限制,减少因cookie过多造成的分包,Item文件检查工具,24,Ajax优化,进行数据分级，按优先级顺序请求数据,打开Qzone所需的数据优先加载,异步化请求，尽量避免浏览器同域下两个并发请求的限制,图片延迟加载,页面渲染相关的数据延迟加载,25,尽可能多的Para-Downloading,26,Web Server优化,拆分CGI异步逻辑,将可以异步化的逻辑交给异步app server处理,配置文件内存化,Cgi 90%的消耗在读取配置文件,使用gprof等工具,使用轻量级Web Server,放弃apache、优化httpsvr,减少共享内存加锁解锁的开销,27,轻量级Web Server（qzhttpd）,性能部分：,所有机器的CPU的idle都维持在90% - 93%左右,周末高峰期：最大请求量：900左右，平时都维持在：200-400之间,原有服务和现有服务的差别：,周一 至 周四：,httpsvr进程cpu最大占用率：10%,qzhttpd进程cpu最大占用率：6%， 差别不大,周末：,httpsvr进程cpu最大占用率：20%,qzhttpd进程cpu最大占用率：10%， 差别较大,28,Qzone访问测速（2007.10）,29,Qzone访问测速（2007.11）,30,Qzone访问测速（2007.12）,31,运营和监控系统,测速平台的搭建,自动化测试,自动化编译,模块间调用,服务器打包规范,发布流程的规范,32,性能优化不可缺少的因素,领导的重视,成立虚拟项目组负责性能优化,性能优化成为KPI,互联网运营部可用性考核,兄弟部门的支持,互联网运营部、互联网研发部、页面制作组、系统架构部、运营技术中心、管理工程部,33,谢谢,The End,
展开阅读全文