阿里大数据运维实践课件

,9/10/2018,#,阿,里大数据运维实践,大纲,临的变化挑,战,需要关注的那些事,Devops,动化运维平台,运维数据化,&,运,营,化,演进变化历程,2009.4,2010.3,2010.7,2012.1,2012.10,2013.7,2014,?,面,临的变化挑战,规模快速 膨胀,跨机房跨 地域,灵活性,需求,&,成 本,效率提升,扩展性,&,可管理性,数据安全,需要,关,注的那些事,传统需要变革,组织,人,流程,平台,人、平台和流程需要有效的结合，才能发挥 组织的力量。,没有最好的，只有最合适的。,DevOps,误区：,无论是研发至上还是运维至上，都是极端的。随着I,T,成熟度的 不同，会有不同的表现。,强行用一种模式去套用，可能适得其反。代价可能是很高。,因此,，DevOps,看似一个平台工具的革命，实际上它 是整个组织的革命，需要人、平台和流程有效的配合，甚至文化的驱动。每个公司需要摸索一套合适的落地 方案和计划。,DevOps,D,e,v,O,p,s,D,e,v,O,p,s,Dev,Ops,为运维“平反”,善意但却容易误解的价值传递：,“要革运维的,命,！”“以后都没有,运,维了！”,如果运维的核,心,价值仅仅看作是,发,布、,变,更和 部署,等工作，,那,是对运维核心价,值,的狭,义,理解。,Dev,高价值、核,心,价 值,Dev,日常工作,Ops,高价值、核心价 值,Ops,日常工作,Dev,高价值,、,核心价 值,Ops,高价值、核心价 值,DevOps,日常工作的高效运作,日,常,工作的高效运作也 华,丽,转身成高价值的工作,Dev,和,Ops,的相互核,心,价值部分是不 可替代的。,EG：,开发对网络、操作系,统,、服务器和安 全等方向的理解会弱,于,运营,运维对代码和软件架,构,的设计会弱于 研发,术业有专攻,各自找准价值方,向,，持续构建,核,心竞争力 相互融合，而非,替,代,注：适度的竞争,有,利于发展，,完,全的计划 经济并不一定高,效,，需要动态,平,衡；,业务的架构不是一开始就完全 定稿的。而是随业务发展而不 断变复杂、稳定、成熟和高效。,产品的架构和运维成熟度,标 准 化,定 制 化,定制化和标准化的分界点，也是经常会变化的。,定制化：,对单个产品来说高效、灵活 标准化：,对整体效率有提升、统一,平台的构建需要充分考虑,扩展性,和,兼容性,自动化运维平台,优势互补,，打好组合拳，相互发挥出核心价值。,分层构建,配置数据,数据仓库,流程引擎,App,Store,调度策略 流程封装,业务逻,辑,原子任务 任务引擎安全,监控数据日志数据,IaaS,(DCOS,物理资源、虚拟资源,),权限,标准,App,业务,1,业务,2,业务,3,统一平台,运维定制,运,维的同学们拥有一套高效的任务引擎、规则引擎和各类已经封装 好,标,准原子任务，其实运维的同学们可以快速的定制自己想要的调度 逻,辑,和门户。这样,，,DevOps,的推动会更能,高效,和,敏捷,。,公共,管,控,产,品,层,Angula,r,.,js,业务管控,业务管控,业务管控,业务管控,业务管控,业务管控,业,务,管控,业,务,管控,业务管控,业务管控,服务层,（,A,P,I,）,公共管控,a,p,i,工作流&组合流,实时配置管理,定时任务,用户权限&审批,Api,安全,服 务,api,&,Scheduler,&,service,服务,ap,i,服 务,api,&,Scheduler,&,service,服 务,api,&,Scheduler,&,service,服,务 api,&,Scheduler,&,service,服,务 api,&,Scheduler,&,service,服务,ap,i,security,api,服务,ap,i,服务,ap,i,执行层,工具脚本,-,标准化,外部依赖层,C,M,D,B,AC,L,a,g,e,n,t,ch,a,ng,e,f,re,e,数据,库,m,o,n,i,t,o,r,帐,号,I,D,C,Ao,ne2,流 程,分层式样架构设计,标准化一站式变更，单工作流流程细节掌控,应用基础环境配置管理,rp,m，文件，目录,低部,署,成本，简单通用,灰度,发,布，低消高效,规则,多,样,文件模板,多级,绑,定,灵活组合,集中管理线上服务器定时调度任务,Crond,管理散乱,执行,结,果丢失,异常,通,知机制,积累,日,常任务效果数据,自动化故障监测和处理系统,Sda,损坏,坏盘预 测,内存异 常,自动报 修,磁盘容 量满,网络异 常,服务,d,o,wn,K,ernel panic,Loa,d,过 高,宕机,运维,数,据化&运营化,02,分析,过,程,运,维处,理,运,营,展,现,1,.传统自动化运维实现了末端流程的沉淀 但末端流程需要通过人或第三方系统连 续，对人依赖大,2,.传统运维分析注重被动分析，固化分析，,核心技术往往在第三方工具，展现能力弱 关联度低,3,.对运维产品的运营能力低下，劳动密集 型，低附加值,1.,加固末端产品能力,2.,强调系统分工，构建通用连接产品,3.,创建问题排查系统，分析决断执行过 程,数据化运营,1.,通过设定的个性化集群水 位迁移阈值计算各个集群的 需迁移量及可接收量,2,.利用优化算法产生特定约 束下的最优迁移策略,（线性优化规划算法）,3.,量化执行该迁移策略后对 集群资源水位及跨机房流量 的影响,数据,化,分析,T-Flow,A,E,C,T-clone,IDPS,T,D,S,C,M,DB,Ch,a,n,g,e Line,Star,A,g,e,n,t,I,CS,c,hange,free,Ali,m,o,n,i,to,r,A,C,L,面,向,连接的智能化运维体系,01,Before,2012,02,2013,工具整合，业务增长,03,2014,04,2015,智能运维体系建设,M,ax,C,om,p,u,t,e,H,b,a,se,Galaxy,H,a,d,oo,p,O,T,S,AnalyticDB,J,s,t,o,r,m,H,i,s,t,o,r,e,TT,S,L,S,自动化平台,演进变化历程,人工,&,脚本,从实战中总结、提炼、构想、设计、建设出来的一套体系，提高效率，稳定性，准确率，提供深度价值的服务,运维-维护,稳定,安全,可,靠,体验,效率,效益,运营-经营,THANKS,