资源描述
百亿次QQ红包背后的运维实力全解析,支撑海量社交运维的织云,【高效运维学习】,百亿次QQ红包背后的运维实力全解析支撑海量社交运维的织云【高,1,目录,扩容,压测和演习,运维策略,活动现场,活动背景,活动计划,目录扩容压测和演习运维策略活动现场活动背景活动计划,2,面对的挑战,预估上涨,2倍,的QQ消息量,空间说说量预估上涨,5倍,2万台,虚拟机+,3000台,数据库扩容,产品策略,随时变化，设备供应风险,刷一刷红包峰值预估,每秒,800,万,面对的挑战预估上涨2倍的QQ消息量刷一刷红包峰值预估每秒80,3,春节活动方案,业务,&,资源评估,资源规划,&,准备,业务扩容,压测,活动预案,演习,活动现场,业务缩容,刷一刷红包日历表,1个月,2周,2周,春节,2周,春节活动方案业务&资源评估资源规划&准备业务扩容压测活动预案,4,风险设备梳理,柔性与过载保护,设备准备,穿越流量梳理,业务营销活动同步,核心系统业务压力梳理,调度演习,后续计划关键点,历史峰值数据梳理,三地分布,监控匹配,调度与容灾,基础能力,外部服务压力,历史数据、扩展支撑与后续计划,活动梳理,运维要根据产品 策略，提前做好 基础能力、服务 压力和服务支撑 等复杂的评估工 作,风险设备梳理柔性与过载保护设备准备业务营销活动同步核心系统业,5,2天,2万,台设备的高效扩容,2天2万台设备的高效扩容,6,从刷一刷红包开始,CDN,公众号消息,支付系统,礼包发货系统,内部 礼券,外部 礼券,消息系统,支付系统,接入层SSO,抽奖逻辑层,中奖信息 存储,抽奖系统,中奖通知,现金,奖品,从刷一刷红包开始CDN公众号消息支付系统礼包发货系统内部 礼,7,无状态层,分层运维,PC,QQ,GSLB,CDB,PC,浏览器,APP,手机,QQ,CONN,WNS,SSO,TGW/STGW,CGI,SPP,Grocery,CKV,Tlist,有状态层,无状态层的自动扩容,有状态层的自动扩容,接入层SSO,抽奖逻辑层,中奖信息 存储,抽奖系统,无状态层分层运维PC QQGSLBCDBPC浏览器APP手机,8,操作系统部署,服务部署,配置下发,业务模块关联,业务代码包发布,模块测试,服务上线,权限管理,服务启动,监控告警,传统扩容流程,扩容1台设备约30分钟/人 扩容1千台=2个人月,用脚本批量跑=1个模块1人天,5,分钟,5,分钟,5,分钟,5,分钟,1,分钟,3,分钟,3,分钟,1,分钟,1,分钟,操作系统部署服务部署配置下发业务模块关联业务代码包发布模块测,9,红包全自动扩容,申请设备,C,MDB,获取属性,发布部署,发布自检,业务测试,灰度上线,体检报告,告警屏蔽,700多次扩容流程 上百个业务模块并行,200个模块2万台设备 实际扩容2天时间,5,分钟,红包全自动扩容申请设备CMDB获取属性发布部署发布自检业务测,10,织云的一键上云,织云的一键上云,11,扩容结束还有自动化的体检报告,扩容结束还有自动化的体检报告,12,扩容方式的对比,文档,$,脚本,人工,串行,CMDB,W,EB,任务,流程,并行,传统,织云,1个模块,1人,天,1个模块1人,10分钟,扩容方式的对比文档$脚本人工串行CMDBWEB任务流程并行传,13,C,M,D,B,配置中心,资产,配置,硬件 配置,软,件 配置,运,营,配置,分布 配置,权,限 配置,流程 配置,测试,用例,自动化流程,线上服务,织云：以C,MDB,为中心的高效运维,监控告警,一致性,变更体检,CMDB资产硬件 配置软件 配置运营 配置分布 配置权限 配,14,标准化,织云是运维标准化的实践,CMDB,配置中心,快速交付,线上服务,软件包,分层,SET,化,权限,配置,监控,架构,工具,标准化织云是运维标准化的实践CMDB快速交付线上服务软件包,15,存储机 A,存储机 B,红包数据层的自动扩容,记录块,记录块,记录块,存储机 C,存储机 D,存储机 E,1、接入机的扩容,2、存储机中数据的扩容搬迁,存储机 A存储机 B红包数据层的自动扩容记录块记录块记录,16,存储块,UIN %,10000,桶桶桶桶桶桶,桶,桶,1万个桶,存储块,存储机 A,存储机 B,桶路由到存储块,+,存储机,存储块存储块,扩容对业务透明,数据自动搬迁,内存型整机30分钟,SSD,整机3小时,人均管理2千台,DB,红包数据层的自动扩容,桶的迁移,存储块UIN % 10000桶桶1万个桶存储块存储机 A存,17,搬迁机器,磁,盘,A,cc,e,ss,A,cc,e,ss,A,cc,e,ss,Access,A,cc,e,ss,A,cc,e,ss,A,cc,e,ss,Access,磁,盘,master,TSSD,SET,CKV,SET,华南机房,应用服务,L5-,名字服务,分布式数据层的架构,搬迁机器磁盘AccessAccessAccessAccess,18,春节活动方案,业务,&,资源评估,资源规划,&,准备,业务扩容,压测,活动预案,演习,活动现场,业务缩容,所以，运维能做更多有价值的工作,1个月,2周,2周,春节,2周,春节活动方案业务&资源评估资源规划&准备业务扩容压测活动预案,19,如何评估活动容量？,容量不足怎么办？,如何评估活动容量？,20,业务,服务器,网络,IDC,红包容量评估,每秒红包量,模块每秒并发 用户刷一刷峰值,C,P,U,网卡流量 网卡包量,磁盘IO,内网专线,交换机容量,I,D,C容量,业务服务器网络IDC红包容量评估每秒红包量CPU网卡流量 网,21,找到系统瓶颈模块,验证服务能力和设备规模,灰度放开抢红包活动,全程监控,红包压测,01,压测环,境,线上灰度,活动现场,02,03,小年夜多时段抢红包,热,K,e,y,大,K,e,y,1Gbps,网卡的设备，,100K,B,记录，每秒1K次就 可以打满网卡流量,找到系统瓶颈模块灰度放开抢红包活动全程监控红包压测01压测环,22,深圳,天津,手,Q,调度1000W用户到天津 引导迁移空间等访问量,PC,QQ,调度600W,到深圳,引导迁移离线图片访问量,红包演习,深圳天津手Q调度1000W用户到天津 引导迁移空间等访问量P,23,红包活动,12:00,20:00,24:00,空间活动,5分钟切换,服务器资源池,业务错锋部署,红包活动12:0020:0024:00空间活动5分钟切换服务,24,一部分机器甚至整个机房挂了，服务是否可用？,外部的服务突然故障，比如消息服务挂了，不能写入消息了，服务是否可用？ 红包入口流量,20W/s，,如果突增二三倍，系统会不会挂掉？服务是否可用？,一部分机器甚至整个机房挂了，服务是否可用？,25,接入层SSO,抽奖逻辑层,CDN,公众号消息,支付系统,礼包发货系统,内部 礼券,外部 礼券,消息系统,支付系统,中奖信息 存储,抽奖系统,中奖通知,现金,奖品,柔性保护,用户打开时间错峰,丢弃过载请求,在接入层直接回包，降低中奖率,降低现金派发速度,设置一定比率的用户不发送通知,IDC,级容灾,接入层SSO抽奖逻辑层CDN公众号消息支付系统礼包发货系统内,26,柔性下发策略,一键下发,定时生效，过时失效,无需回滚,多业务接入,柔性下发策略一键下发,27,活动现场运维,看视图,扩容过热模块 处理热,KEY,活动现场运维看视图扩容过热模块 处理热KEY,28,运维核心视图,运维核心视图,29,拆记录,限制记录长度 更换万兆存储机,记录打散到各存储机 前端逻辑机缓存,现场挑战-热,KEY,拆记录现场挑战-热KEY,30,回顾,扩容,运维策略,活动背景,压测和演习,1,周,活动计划,1,月,活动现场,除夕,2,天,回顾扩容运维策略活动背景压测和演习活动计划活动现场2天,31,运维做更多有价值的工作,效率,质量,速度,织云自动化扩缩容,核心视图,有损服务,柔性可用,立体化监控,业务错锋部署,容量模型,成本,压测,演习,技术优化,多级缓存,异步处理,三地分布,CDN,数据平滑迁移,运维做更多有价值的工作质量速度织云自动化扩缩容核心视图柔,32,
展开阅读全文