大规模Web-Server集群的高效运维

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,11/7/2009,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,大规模Web-Server集群的高效运维,大规模Web-Server集群的高效运维,提纲,业务场景,接入架构,运维的挑战,高效运维的实践,未来愿景,提纲 业务场景,业务场景,QQ在线,2.59,亿,手Q在线,2.49,亿,刷一刷抢红包用户数,3.08,亿,QQ日消息发送总量,200,亿条,Qzone在线,3,千万,相册日上传图片,6,亿张,业务场景 QQ在线 2.59 亿,业务场景,挑战：海量并发、延迟、服务可持续性,服务器规模 最近登录-最优登录,GOPS2016 全球运维大会上海站移动终端接入架构探测点,GOPS2016,全球运维大会,上海站,接入运维的挑战,-,一线事务多,一线工程师,一线工程师,一线工程师,一线工程师,二线工程师,设备故障处理,业务报障处理,业务接入（域名申请到上线）,日常扩缩容,版本升级,业务规则变更,其它,GOPS2016 全球运维大会上海站接入运维的挑战-一线事,GOPS2016,全球运维大会,上海站,接入运维的挑战,-,上下机器规模大,大规模的机器上下线,机房裁撤,网络改造,业务活动,GOPS2016 全球运维大会上海站接入运维的挑战-上下机,GOPS2016,全球运维大会,上海站,接入运维的挑战,-,坑多,路由复杂,标准化程度不够,业务部署不规范,组件多,自动化程度不够,拥抱架构变化,新旧架构迁移,人工运维易犯错误,监控覆盖率不高,标准化,路由化,流程化,自动化,监控率,GOPS2016 全球运维大会上海站接入运维的挑战-坑多路,GOPS2016,全球运维大会,上海站,接入运维的核心因素,GSLB,TGW,服务质量,Nginx,包,业务模块,业务CGI,L5,配置文件,权限,接入服务,业务逻辑,监控能力,部署能力,资源管理,业务模块,计算资源,流程,GOPS2016 全球运维大会上海站接入运维的核心因素GS,GOPS2016,全球运维大会,上海站,高效运维,-,织云自动化,每个模块下的设备提供的服务都完全一致，每个模块可以看作是提供服务的最小单元。,一个模块下的服务抽象成以下几个资源配置：软件包、配置、文件、权限、脚本。,GOPS2016 全球运维大会上海站高效运维-织云自动化每,GOPS2016,全球运维大会,上海站,高效运维,-,路由策略,N,ginx与L5联动管理upstream配置,upstream的格式：,upstream,_pc,l5id,20,1607:6553,5,;,自动生成,N,ginx upstream格式的ip-port:,server 10.,10,.1.,18,:80 weight=,1,00;,server 10.,10,.1.,19,:80 weight=,1,00;,server 10.,10,.1.,20,:80 weight=,1,00;,server 10.,10,.1.,21,:80 weight=,1,00;,自动检测，检测,L,5有变更后重新生成upstream，并随机sleep 来reload nginx服务。,GSLB,VIP,Nginx,L5,RS,1,2,3,GOPS2016 全球运维大会上海站高效运维-路由策略Ng,GOPS2016,全球运维大会,上海站,高效运维,-,路由策略,下线三步骤,1）删除路由,2）流量观察,3）隔离操作,1,2,3,GOPS2016 全球运维大会上海站高效运维-路由策略下线,GOPS2016,全球运维大会,上海站,高效运维,-,包发布系统,像管理软件一样管理包,GOPS2016 全球运维大会上海站高效运维-包发布系统像,GOPS2016,全球运维大会,上海站,高效运维,-,配置文件管理,GOPS2016 全球运维大会上海站高效运维-配置文件管理,GOPS2016,全球运维大会,上海站,高效运维,-,配置文件管理,GOPS2016 全球运维大会上海站高效运维-配置文件管理,GOPS2016,全球运维大会,上海站,高效运维,-,一键扩容,申请设备,获取资源,发布部署,业务测试,发布自检,灰度上线,自动执行流程,1.,获取参数列表,2.,屏蔽负载事件通知,3.,查询设备调度接口,4.,根据模块,ID,查域名,5.,获取资源配置,6.,申请权限接口,7.,获取设备,IP,地址,8.,屏蔽告警,9.,安装程序包,10.,同步文件,11.,获取,CC,参数,12.,发配置,13.,执行脚本,14.,主调扩容,15.,启动软件包,16.,进程端口扫描,17.,上报变更日志,18.,查询授权结果,19.,自动化测试,20.VIP,添加,RS,21.L5,被调扩容,22.,告警屏蔽解除,23.,开启负载事件通知,GOPS2016 全球运维大会上海站高效运维-一键扩容申请,GOPS2016,全球运维大会,上海站,高效运维,-,自动扩容流程,申请设备,获取资源,发布部署,业务测试,发布自检,灰度上线,与运营中设备的一致性对比,进程端口自检,质量部,ATT,QTA,协议级自动化测试,连通性的工具测试,GOPS2016 全球运维大会上海站高效运维-自动扩容流程,GOPS2016,全球运维大会,上海站,高效运维,-,流程剖析,GOPS2016 全球运维大会上海站高效运维-流程剖析,GOPS2016,全球运维大会,上海站,高效运维,-,流程剖析,GOPS2016 全球运维大会上海站高效运维-流程剖析,GOPS2016,全球运维大会,上海站,高效运维,-,如何做灰度,负载均衡,组件,灰度系统,成功率上报,权重调节,扩容设备,业务请求,1%-100%,100%,线上设备,灰度的方法,TGW上的权重调整,L5上的权重调整,Nginx+L5的权重关联调整,GOPS2016 全球运维大会上海站高效运维-如何做灰度负,GOPS2016,全球运维大会,上海站,高效运维,-,快速调度能力,仓库爆炸事件,用户调度,回调4千万用户,回调所有用户,调度结束,12日晚23时,13日白天,14日凌晨,14日上午,20日白天,7500,万用户迁移,GOPS2016 全球运维大会上海站高效运维-快速调度能力,GOPS2016,全球运维大会,上海站,高效运维,-,快速调度能力,变更GSLB,变更为异地TGW VIP,10分钟生效,变更直连IP,下发新的VIP给移动终端,秒级生效,变更L5内部服务,变更L5地址,秒级生效,GOPS2016 全球运维大会上海站高效运维-快速调度能力,GOPS2016,全球运维大会,上海站,核心能力的开放,GSLB,TGW,服务质量,Nginx,包,业务模块,业务CGI,L5,配置文件,权限,接入服务,计算资源,流程,CLB,云解析,维纳斯WNS,CVM,云拨测,云诊断,蓝鲸,织云,GOPS2016 全球运维大会上海站核心能力的开放GSLB,GOPS2016,全球运维大会,上海站,接入运维工程师的价值和能力要求,开发能力,底层能力,业务,&,架构,运营意识,从防守型的运维到进取型的运营,业务变更,业务与架构能力,问题诊断能力,工具开发能力,运营平台构建能力,数据分析与决策,开源组件的改造能力,GOPS2016 全球运维大会上海站接入运维工程师的价值和,GOPS2016,全球运维大会,上海站,接入运维门户,织云,CMDB,监控系统,GSLB/TGW/L5,接入运维服务门户,业务自助,团队全员,开发能力,流程引擎,调度决策,数据分析,GOPS2016 全球运维大会上海站接入运维门户织云CMD,GOPS2016,全球运维大会,上海站,故障定位的挑战,使用云诊断能快速定位用户网络、域名、服务、运营商等问题,GOPS2016 全球运维大会上海站故障定位的挑战使用云诊,GOPS2016,全球运维大会,上海站,未来愿景,打通最后一公里,-,业务扩缩容自动化,服务化能力,-,实现,W,eb,a,s,a S,ervice,用户访问日志的数据挖掘与分析,GOPS2016 全球运维大会上海站未来愿景打通最后一公里,感谢聆听,感谢聆听,