高并发下的网站架构课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2010/11/25,#,高,并发下的网站架构,阿里巴巴中国站性能调优实践,何崚,(,阿里巴巴中国站架构师,),旺旺,ID,：,maxheling,E-mail,：,【,内部讲座资料，请勿外传,】,中国站性能现状,中国站网站的正常流量情况,并发（单台），高峰期,10,吞吐量（,TPS,，单台）,高峰期，,60,CPU,负载,Load,高峰期，,2,大部分服务器,1,CPU,使用率，一般只占,1,颗核，平均,60%,左右,服务器平均响应时间 高峰期，,150ms,图片总流量带宽,1.8G,（各网站总合）,高并发下的风险,网络带宽耗尽,服务器,L,oad,飙高，停止响应,数据库瘫痪,高并发下的事故,事故：网站运营旺旺推广页面弹出，,1,兆大图片导致带宽耗尽,增加审核机制：运营,推广增加的图片流量不能超过现有流量的,30%,合作媒体推广：迅雷，暴风影音浮出广告，导致旺铺集群,Crash,秒杀,开业,88,小时不间断秒杀活动,高并发对网站性能的影响,并发数对吞吐量的影响,并发数对服务器平均请求响应时间的影响,并发数对用户平均请求等待时间的影响,高并发实例：,开业秒杀活动,商业需求,为庆祝,开业退出,88,小时不间断秒杀,活动,每小时整点推出,8,款商品，拖拉机，牛，马桶，沙发,每款商品供,168,件，每人限批,3,件，成交人数,56,人,CCTV,黄金广告时间，各种网络,平面媒体轰炸，总广告费：,1.5,亿,接到运营通知，距秒杀开始仅仅,5,天时间,技术挑战,瞬间高并发,8000,并发：预估秒杀在线人数可达,8000,人,风险：带宽耗尽,服务器：崩溃，可以理解成自己给自己准备的攻击,秒杀器,第一种：秒杀前不断刷新秒杀页面，直到秒杀开始，抢着下单,第二种：跳过秒杀页面，直接进入下单页面，下单,秒杀系统：服务器和网络准备,服务器准备,（距秒杀开始仅五天时间来不及采购）,style,服务器（,Lighttpd,集群）：,5,台,图片服务器（,Nginx,集群）：,5,台,静态服务器（,Apache,集群）：,10,台,交易服务器（,JBoss,动态集群）：,10,台,带宽准备,图片出口带宽上限：,2.5G,（出口带宽支持,10G,，但图片服务器集群的处理能力：图片服务集群最大并发处理能力,X,网站平均图片大小,=2.5G,）,CDN,准备：,Chinacache,沟通；借用,Taobao CDN,秒杀系统：架构目标,1.,图片网络带宽：,1.0G,新增图片带宽：必须控制在,1.0G,左右,每件商品秒杀页面的图片总大小不得超过：,1000000/(1000,*,8)=,125K,/,每商品,2.,网站并发：,单件商品并发：,1000【,来自运营的预估,】,总并发,:8,（件商品）,X 1000,（人,/,商品）,=,8000,1688,秒杀系统：组成,简单系统：,三个页面组成：秒杀商品列表，秒杀商品介绍，下单,【,静态集群,】,【,中国站交易动态集群,】,下单成功后，进入支付宝系统，走支付流程,秒杀系统：设计原则,静态化,采用,JS,自动更新技术将动态页面转化为静态页面,并发控制，防秒杀器,设置阀门，只放,最前面的一部分人,进入秒杀系统,简化流程,砍掉不重要的分支流程，如下单页面的所有数据库查询,以下单成功作为秒杀成功标志。支付流程只要在,1,天内完成即可。,前端优化,采用,YSLOW,原则提升页面响应速度,1688,秒杀系统：静态化,(1),秒杀商品,list,和,Detail,是静态,Html,页面,1688,秒杀系统：静态化,(2),秒杀商品列表,/,秒杀商品介绍页面，如何判断秒杀开始否,答案：,valid-offer.js,三道阀门的设计,阀门：基于,TT,的计数器,序号,阀门上限,1,限制进入秒杀页面,，,1000,2,限制进入下单页面,，,100,3,限制进入支付宝系统，,56,秒杀器的预防,秒杀,Detail,页面,URL,：随机,秒杀前,2,秒放出,脚本生成，秒杀前,1000,次访问上限控制,【,每件商品只能放入,1000,人浏览,】,下单页面：,订单,ID,，随机,不能直接跳过秒杀,Detail,页面进入,每个秒杀商品，带预先生成的随机,Token,作,URL,参数,如果秒杀过，直接跳到秒杀结束页面,100,次访问上限控制,【,每件商品只能放入,1000,人下单,】,Web Server,调优,Apache,调优,KeepAlive,相关参数调优,其他参数调优,HostnameLookups,设为,off,，对,allowfromdomain,等后的域名不进行正向和反向的,dns,解析,关闭,cookies-log,日志,打开,Linux sendfile(),关闭无用的,module,mod_Gzip,(,秒杀页面，非图片,html,文本所占流量比重可忽略不计，,zip,意义不大,),mod_Beacon,mod_hummock,（等待反应过来，秒杀已经,over,了）,Web Server,调优,JBoss,调优,Mod-jk worker,调优,JBoss AJP Connector,Tomcat APR,设定,秒杀静态页面优化,图片合并,8,张图片合并成,1,张，,css,偏移展示,减少,HTTP,请求数，减少请求等待数,减少发送,cookies,的量,HTML,内容压缩,图片压缩：图片,Bytes,长,X,宽,/2250,HTML Header Cache-Control,设置,CSS,，,JS,精简,CSS,JS,精简到极致，部分直接写在页面中，减少,Http,请求次数,下单页面优化,数据库操作：全部砍掉,原下单页面要访问,8,次数据库，全部砍掉,秒杀流程精简,砍掉填写或选择收货地址，放在秒杀成功后填写,砍掉调用是否开通支付宝接口，秒杀首页文案提示必须开通,采用内存缓存,秒杀,Offer,数据，支付宝相关信息，缓存,交易系统性能优化,交易系统调优目标,：,关闭,Keep Alive,（,分析交易系统,accesslog,，用户在短时间内连续点击概率很低,）,JVM,优化,优化,CMS,垃圾回收器的参数,消灭,Top10 Bottlenecks,Velocity,参数调优,采用,DBCP1.4,替换,C3P0,Offer,产品参数的,XML,解析,并发,TPS,下单页面（优化前）,20,100,下单页面（优化后）,40,400,二跳页面的优化,其他页面,前端优化：,Yslow,规则调优,减少,http,请求，合并,JS,CSS,图片，充分利用浏览器缓存,图片压缩，公式：,避免发送,cookies,交易系统优化,普通订单管理列表和,1688,秒批订单管理列表分离,禁止用模糊查询功能,应急预案,域名分离，独立域名，不影响中国站原有业务,Style,集群：,图片服务器集群：,静态页面集群：,出问题直接把,1688,相关域名卡掉，所有请求跳到万能出错页面,机动服务器,10,台，备用,拆东墙补西墙战略,5,天时间来不及采购服务器，因此,SA,待命，随时准备将非核心应用集群的冗余服务器下线，加入到秒杀集群,壁虎断尾策略,所有办法均失效的情况下，例如流量耗尽,非核心应用集群统统停止服务，如资讯，论坛，博客等社区系统,保住首页，,Offer Detail,旺铺页面等核心应用的可用性,万能出错页面：秒杀活动已经结束,任何出错都,302,跳转到此页面,位于另外集群,万幸：最终所有的预案都没有用上,秒杀活动结果,88,小时秒杀，坚守阵地，大获成功,秒杀还是被秒杀？终于有了答案,三道阀门设计非常有效，拦住了秒杀器,静态集群总并发情况,（首页，秒杀列表，秒杀商品页面）,交易系统集群总并发情况,（下单页面）,改进一：采用,更轻量,/,快速,的服务器（,1,）,采用,Lighttpd,替代,Apache,杀手锏（,AIO,）,改进一：采用,更轻量,/,快速,的服务器（,1,）,小页面性能（,100K,）,大页面性能（,10M,）,改进一：采用,更轻量,/,快速,的服务器（,1,）性能关键：,Web Server,的高性能,I/O,Lighttpd1.5,Apache2.2,支持,Apache1.3,注意：,sendfile,（）和,AIO,的操作系统相关性：,依赖 高版本,Linux,操作系统,改进一：采用,更轻量,/,快速,的服务器（,2,）,中国站应用服务器升级项目,，采用,Jetty7.1.5,替代,中国站应用服务器升级项目：,Apache2.2+Mod-Proxy+Jetty7.1.5,与中国站现有架构性能对比,性能大幅提升,，中国站全站下线,1/3,应用服务器,约,一百台,，明年不用采购新机器,架构更轻量，,配置更简单,应用更无状态化，开发和维护的福音,更加安全,改进二：前端优化,自动化,中国站服务器响应时间,150ms,但,Offer Detail,页面用户等待时间,5s,大部分时间耗在路上（资源请求和网络传输,),图片自动压缩,（,CMS,自动压缩）,Cookies,服务化（控制,cookies,的大小）,中国站前端延迟加载框架,SmartLoad,（只加载首屏数据）,Google,mod_pagespeed,module,自动压缩图片，静态资源，智能浏览器缓存技术,Google,Diffable,（增量下载静态资源技术）,改进三：架设,镜像站,组建山寨,CDN,中国站青岛镜像站项目,改进四：采用,反向代理,加速核心页面,在,Offer,集群前部署,Squid,反向代理集群,Offer Detail,的,Squid,反向代理改造,基于消息的,Squid,缓存更新机制,改进五：海量数据的,透明,垂直,切分,不断增加的表，是应用的沉重负担,中国站性能优化领域立项中,速度与激情！,Welcome to join US,！,(B2B,技术部,-,高性能网站领域,),Wiki,：,群：,101228600,限于时间，先和大家交流到这里,Welcome to join US,(,高性能网站领域,),Thanks,！,