DevOps平台与实践--课件

*,ppt课件,*,平台,让创新无限,November 17,2015,*,*,目录,*,打造卓越的,IT,生产线,DevOps,平台与实践,平台,让创新无限,打造卓越的IT生产线DevOps平台与实践平台 让创新,工程效率平台总览,企业,DevOps,建设思路,DevOps,平台实践,案例分享,2,工程效率平台总览2,建立卓越,IT,生产线,业务,研发,运维,基础设施,交付,需求（产品）,配置（变更）,支撑保障,质量,安全,问题,3,建立卓越IT生产线 业务研发运维基础设施交付需求（产品）,（,1,）,DevOps,平台,-,流程梳理与交付自动的迭代过程,DevOps,横向集成：实现敏捷团队内不同角色的紧密协同,DevOps,纵向集成：打通研发工具链，建立部署流水线，自动化完成不同环境的部署，实现应用程序的持续交付,纵向集成,横向集成,用户,故事,缺陷,测试,用例,编译,部署,(Test),测试,(,Test),部署,(,Prod),用户,PM,QA,Dev,Ops,部署,(,Stage),配置,监控反馈,架构（,A,）,业务（,B,）,组织（,O,）,流程（,P,）,开发、运维、安全、质量、精益,面向版本火车的价值流交付,技术,架构,应用,架构,容器云,传统,虚拟化,微服务,服务与,工具,元数据驱动,故事地图,精益看板,敏捷,可视化协作,学习型,成熟度,原则,阶段,流水线,开发流水线,集测流水线,交付流水线,定义,计划,构建,测试,部署,可管理,可审计,可优化,4,（1）DevOps平台-流程梳理与交付自动的迭代过程De,（,2,）自动化测试平台,-,行为驱动开发的最佳实践,过,程,优,化,度,量,分,析,自动化测试管理视图,自动化测试技术视图,性能压测实验室,测试过程规范管理,测试度量分析,测试评审,测试环境管理,测试资源管理,测试工具管理,测试报告管理,接口自动化,测试,功能自动化,测试,性能自动化,测试,安全性自动化测试,健壮性自动化测试,测试需求管理,测试用例管理,Bug,管理,移动端自动化测试实验室,监督,控制,技术支撑,以,BDD,（行为驱动开发）方法为主导思想，提供完整测试工具集合，建立拉动式的自动化测试平台,5,（2）自动化测试平台-行为驱动开发的最佳实践过度自动化测,（,5,）容器云平台,-,用基础能力屏蔽基础设施的过程,Any,infrastructure,Physical,Virtual,cloud,Any,app,1,4K,apps,6,K,projects,API,API,Engine,Hub,6,（5）容器云平台-用基础能力屏蔽基础设施的过程Any i,（,6,）微服务平台,-,分布与聚合的完整方案,体验聚合,架构分布,应用,/,渠道分布,服务分布,数据分布,感知分布,运维体验聚合,客户体验聚合,开发体验聚合,交付体验聚合,7,（6）微服务平台-分布与聚合的完整方案体验聚合架构分布应,监控,数字化企业云平台,基础设施,基础服务,DevOps,Application,PaaS,BPM,PaaS,Integration,PaaS,BigData,PaaS,计算,网络,存储,容器,镜像,仓库,API,网关,服务路由,服务发现,服务注册,自部署,资源适配,配额管理,环境管理,资源监控,资源编排,日志,身份认证,项目管理,软件产品管理,软件发布管理,软件环境管理,介质包仓库,部署包仓库,版本控制系统,持续集成,流程编排,通讯使能,BPM,移动应用,Web,应用,分布式数据处理,数据展现,数据质量,元数据,作业调度,事件总线,应用生命周期管理,React,风格,Redis,缓存,复杂事件处理,对象存储,服务总线,消息中心,社交,BPM,流程梳理,移动,BPM,业务活动监控,服务容器,服务配置,Web,容器,负载,数据应用,质量基线反馈,统一监控中心,知识库,关系数据库,服务性能监控,独立进程应用,文件,元数据,业务,中台,业务,后台,租户管理,客户管理,多维组织模型,客户行为信息,业务控制数据,业务集成框架,身份认证,设备数据,8,监控数字化企业云平台基础设施基础服务DevOpsApplic,工程效率平台总览,企业,DevOps,建设思路,DevOps,平台实践,案例分享,9,工程效率平台总览9,理清,微服务,容器,DevOps,的关系,微服务,容器技术,“散”“裸”,“工程化”“可用”,DevOps,10,理清 微服务容器DevOps 的关系微服务容器,误区,：一味的强调敏捷，往往忽略了企业级交付,设计,开发,测试,计划,分析,发布,设计,开发,测试,分析,发布,设计,开发,测试,分析,发布,启动,Sprint1,Sprint2,.,敏捷版本火车,项目群,产品管理,11,误区：一味的强调敏捷，往往忽略了企业级交付设计开发测,误区,：做,DevOps,，是不是就是工具链的集成？,12,误区：做DevOps，是不是就是工具链的集成？12,那,DevOps,需求是什么？,数据打通，基于度量引领优化,新特性是否知道运行在哪些机器上？,功能是否知道有多少人花了多少代码完成的？,设计的架构和实际部署的架构是有有偏离？,代码库与介质库、组件与介质库的元信息关联？,项目风险到底是什么造成的？管理能否前移？,13,那DevOps需求是什么？数据打通，基于度量引领优化13,面向版本火车的,DevOps,建设,策划,研发,运营,退出,产品,项目,定义,设计,构建,测试,部署,执行,立项,完工,敏捷,持续集成,持续部署,持续交付,DevOps,，面向项目群（版本火车）,1,*,处理,产生事件,总结,14,面向版本火车的DevOps建设策划研发运营退出产品项目定义设,核心建设思路,DevOps,平台更重要的是提供,最佳实践,15,核心建设思路DevOps平台更重要的是提供最佳实践15,示例：版本号的管理与关联,产品版本：,1.0,版本别名：,shark,代码版本（,POM,）,snapshot,1.0.0-snapshot,release,1.0.0,修订号：一般引入第,3,位，如,1.0.1,，代表第一次修订,构建号：一般引入第,4,位,有体现在,jar,包名称上,有体现在,manifest,文件中,发布版本,往往与修订版本一致,也有独立声明的,假设再引入了微服务？,API,版本,.,16,示例：版本号的管理与关联产品版本：1.0代码版本（POM）,示例：版本号维度的发布展现,2,、产品修订版本,3,、产品发布版本,4,、内部组件版本,1,、产品规划版本,1.0,17,示例：版本号维度的发布展现2、产品修订版本3、产品发布版本,示例：代码库如何使用与构建,C,B,R,M,commit,branch,release,merge,TBD,GitHub,Git,C,C,C,C,C,C,C,C,C,CP,cherry-pick,B,CP,R,B,R,R,R,B,C,C,M,B,C,C,M,master,develop,feature,release,hotfix,B,C,C,多个,B,R,Tag,与,release,分支使用方式类似,18,示例：代码库如何使用与构建CBRMcommitbranch,核心建设思路,DevOps,平台，重在让所有角色,在流水线上协作,，共同驱动过程的精益,19,核心建设思路DevOps平台，重在让所有角色在流水线上,示例：不同阶段的流水线,开发流水线,：能最快的将代码变更体现到开发联调环境上,测试流水线,：多轮迭代，冒烟准入，确认可进入发布流水线,发布流水线,：多环境确认，推上生产，需要必要的审核,构建,单元,测试,代码扫描,介质上传,开发环境部署,验证,构建,单元,测试,代码扫描,介质上传,A,环境,部署,验证,B,环境,部署,验证,.,部署,验证,切换流量,申请,发布,审批,生产,发布,20,示例：不同阶段的流水线开发流水线：能最快的将代码变更体现,示例：从流水线上看过程,关键一：环节必选与可选,关键二：自动与人工配合,关键三：主数据，,buildNumber,关键四：参与者权限,21,示例：从流水线上看过程关键一：环节必选与可选21,核心建设思路,DevOps,平台，,管理前移,，有效指导和约束后续工作,22,核心建设思路DevOps平台，管理前移，有效指导和约束,示例：统一部署设计，驱动自动部署,23,示例：统一部署设计，驱动自动部署23,示例：配置资源与策略，完成自动部署,nginx,tomcat,mysql,192.168.1.2,192.168.1.3,192.168.1.4,192.168.1.5,Upsteam:,wt,GAV:,*,.war,GAV:,*,.sql,Update,New,Update,24,示例：配置资源与策略，完成自动部署nginxtomcatmy,核心建设思路,对于,已有系统,，,DevOps,平台不仅仅是通过新的工具链实现快速交付，更是一种驱动,优化,的变革,25,核心建设思路对于已有系统，DevOps平台不仅仅是通,示例：在,CI,中运用多构建策略,提交即触发,编译时间长怎么办？,架构设计有问题,设置构建超时时间,超时自动提,bug,提交即触发，我的一个产品，构建一次要,20,多分钟，怎么办？,提交即触发,执行所有,Module,发现架构偏差,分析子系统依赖设计,执行依赖,Module,自动提,bug,26,示例：在CI中运用多构建策略提交即触发编译时间长怎么办？架,示例：从,CD,结果中优化部署形态,某客户说，因为回归测试不充分，每次发布都特别痛苦，但事实是,1.,逻辑问题,2.,打包问题,3.,多,war,问题,为了配置，上线介质都是重新打包的,一个,Jboss,下，,21,个,war,包,出错几率大大增加,启停时间特别长,27,示例：从CD结果中优化部署形态某客户说，因为回归测试不充分,示例：多维度度量,吞吐,稳定性,部署频率、交付周期,变更失败率、故障恢复时长,28,示例：多维度度量吞吐稳定性部署频率、交付周期变更失败率、故,核心观点,DevOps,平台，并,不是自动化一切,，而是在可控中有选择的自动化,29,核心观点DevOps平台，并不是自动化一切，而是在可控,项目上线阶段,滚动升级策略下的部署转换示例,部署转换：部署设计是逻辑部署架构，在实际部署时，需要结合目标环境类型、部署策略、部署模式等，将其转换为可执行的物理部署架构（执行计划）。,nginx,tomcat,mysql,滚动升级,滚动升级步长设置,第一个步长容易有问题,第一个步长脚本预览,第一个步长部署可暂停,后续步长可实时调整,第一步：基本设置,步长,失败中断值,前置版本,资源确认,第二步：计划生成,父子计划,参数化,第三步：计划执行,参数值变更,预,check,（沙箱化）,30,项目上线阶段 滚动升级策略下的部署转换示例部署转换：部署,建设思路总结,一条,IT,生产线,覆盖产品、项目领域,体现出最佳实践,加强协作,管理前移,优化架构,可控范围的自动化,核心价值：大幅提升,IT,工程效率,31,建设思路总结一条IT生产线核心价值：大幅提升IT工程效率31,工程效率平台总览,企业,DevOps,建设思路,DevOps,平台实践,案例分享,32,工程效率平台总览32,DevOps,平台,能力矩阵,项目,团队,冲刺,角色权限,任务,Bug,构建,代码库,分支,/tag,代码质量,流水线,任务编排,发布执行,配置下发,人工干预,部署,部署设计,策略管理,脚本,版本跟踪,资源,度量与优化,构建成功率,构建时长,部署成功率,代码质量,介质库,需求,看板,总结,组件管理,构建,伸缩漂移,备份回滚,日志监控,部署时长,瓶颈活动,实例运维,测试集成,服务预置,缺陷逃逸,问题库,环境看板,执行跟踪,变量管理,33,DevOps平台 能力矩阵项目团队冲刺角色权限任务Bug,各阶段工件打通，支撑软件生命周期,配置管理,项目管理追踪,（需求、任务,）,持续集成,发布管理,运营报表与分析,测试管理与,自动化,项目规划与,定义,端到端的集成与追踪,软件研发协作统一平台,研发运维一体化,应用配置,资源监控,数据辅助决策,研发流程透明化规范化,开发人员效率提升,提高软件交付质量与效率,实施效果,快速响应业务变化、早于客户发现问题,QC,Appnium,Ansible,Harbor,OpenPLM,34,各阶段工件打通，支撑软件生命周期配置管理项目管理追踪持续集成,集成开源与标准系统，保持架构开放性,沟通,环境,&,资源,源码,编译,介仓,PM,测试,&,质量,监控,配置,Harbor,部署,Ansible,Fabric8,中间件服务,Oracle,Appium,Artifactory,Make,35,集成开源与标准系统，保持架构开放性沟通环境&资源源码编译介仓,针对企业网管要求，形成高可靠部署架构,36,针对企业网管要求，形成高可靠部署架构36,关键设计：领域驱动设计，组件化叠加,37,关键设计：领域驱动设计，组件化叠加37,关键设计：充分考虑设计产物的可执行性,Word,文档,4+1,togaf,产品（系统）,=,开发,运行,线上设计,接口,组件,容器,装配,输入,生成、检查,接口设计,应用组件,部署架构,38,关键设计：充分考虑设计产物的可执行性Word文档4+1to,关键设计：编排式的构建定义与可视化执行,构建定义,任务管理,选择模板,JavaEE,Android,Html,.,在项目中创建构建定义,增加多个构建任务（步骤）,触发规则,设置触发规则，如日构建、每次变更；,对编译历史设置保留策略；,对一些公共变量可设置为公用参数；,保留策略,参数设置,39,关键设计：编排式的构建定义与可视化执行构建定义任务管理选择,关键设计：支持异构设施上的多策略发布,部署设计,部署转换,组件运营,部署装配,部署系统,部署系统,部署,组件,部署,组件,部署,组件,部署,组件,装配库,提交,部署环境,配置库,定义,策略,资源,配置,装配,部署计划,生成,Jenkins pipeline,计划执行,审批,Ansible,Ansible,Fabric,物理机,Openstack,Openshift,部署组件,实例,A,实例,B,部署组件,实例,C,实例,D,启动,停止,重启,修复,状态检查,组件实例运营,承载,全新,蓝绿,灰度,滚动升级,可伸缩,40,关键设计：支持异构设施上的多策略发布部署设计部署转换组件运营,关键设计：流水线过程化的动态配置,前置构建,环境流水线,发布过程支持手动触发,发布过程支持在特殊分支构建触发,发布过程支持定时触发,发布过程支持自定义事件触发,编排项目中各环境的顺序,支持自动和人工审核,每个环境中可支持多任务，比如部署，测试，邮件通知等,跟踪流水线过程,基于运营数据优化生产线,通过模板化的任务封装，后续扩展出更多发布动作,支持与企业,CMDB,打通,支持与,ITSM,打通,触发发布动作,设计发布过程,过程持续优化,打通企业各信息系统,41,关键设计：流水线过程化的动态配置前置构建环境流水线发布过程支,产品截图,平台配置,组织机构,42,产品截图 平台配置 组织机构42,产品截图,平台配置,系统配置,43,产品截图 平台配置 系统配置43,产品截图,平台配置,业务参数,44,产品截图 平台配置 业务参数44,产品截图,平台配置,安全审计,45,产品截图 平台配置 安全审计45,产品截图,项目管理,46,产品截图 项目管理46,产品截图,组件与代码库管理,47,产品截图 组件与代码库管理47,产品截图,持续集成,48,产品截图 持续集成48,产品截图,发布流水线,49,产品截图 发布流水线49,产品截图,报表,50,产品截图 报表50,愿景：打造可持续发展的,DevOps,平台,易扩展,方法拦截器，,AOP,模式,实现配置化，灵活替换实现,对外接口,可度量,度量的法则：吞吐与稳定性,三个维度：效率、质量、进度,基于数据不断推导出阈值,（数据）连通性,需求到代码的跟踪,设计驱动最终部署架构的标准,（行业）标准化,流程的相似性沉淀,项目模板、应用模板的通用性,51,愿景：打造可持续发展的DevOps平台易扩展方法拦截器，A,工程效率平台总览,企业,DevOps,建设思路,DevOps,平台实践,案例分享,52,工程效率平台总览52,DevOps,典型客户案例,53,DevOps典型客户案例53,万达网络科技集团,一家实业,+,互联网大型开放型平台公司，拥有支付、征信、信贷等业务资质的公司，运用大数据、云计算、人工智能、场景应用等技术为实体产业实现数字化升级，为消费者提供生活圈的全新消费服务。,54,万达网络科技集团一家实业+互联网大型开放型平台公司，拥有支付,IT,工程效率提升,50%,工程效率提升,5,0%,6,个月,时间,4,0,多套核心产品,周,交付,55,IT工程效率提升50%工程效率提升50%6个月时间40多套核,建立引领性度量指标,交付速度,工程质量,运维保障,用户体验,业务价值,56,建立引领性度量指标交付速度工程质量运维保障用户体验业务价值5,建立质量评分机制,57,建立质量评分机制57,国家开发银行,国家开发银行信息化总体规划（,2015,版）中明确指出“,应用灵活友好，架构弹性开放,”的信息化发展目标，确定了“,大平台，小应用,”的总体建设思路，在架构领域实现弯道超车。,58,国家开发银行国家开发银行信息化总体规划（2015版）中明确指,USE,大平台的统一规划,统一软件交付,CDP,分布式服务框架,DSF,PaaS,云平台,USE 2.0,实现分布式服务架构，推动服务治理，解决中心化问题,推动“大平台，小应用”，增加系统弹性和灵活性,借鉴,Devops,理念，实现软件交付过程自动化、标准化、一体化，提升交付质量和效率。,应用开发平台,USE1.0+,微服务平台,提供一体化的应用开发工具和运行环境,59,USE大平台的统一规划统一软件交付分布式服务框架PaaS云平,到人到接口的细粒度统计,60,到人到接口的细粒度统计60,全生命周期的交付跟踪,61,全生命周期的交付跟踪61,中国联通,联通在大混改背景下，为解决应用孤岛问题，实现能力共享，从集团处整体规划，建立面向微服务架构的研发运营一体化平台，提升项目交付效率，快速响应业务变化，同时通过容器化能力，改善资源利用率，降低运维成本。,62,中国联通联通在大混改背景下，为解决应用孤岛问题，实现能力共享,DevOps,运营一体化平台能力,联通新一代：,微服务平台,容器云平台,I-PaaS,平台,开发平台,DevOps,平台,千人千面：,面向平台管理,面向项目管理,面向资源,面向服务,面向开发测试,63,DevOps运营一体化平台能力联通新一代：千人千面：63,面向租户，打通从资源申请到最终上线运行过程,资源申请,租户,DevOps,平台,I-PaaS,平台,I-PaaS,能力申请,容器化管理平台,微服务管理平台,开发平台,申请审批,生成订单,开通能力,结果通知,能力申请,业务开发,能力访问地址,业务开发,提交代码,代码仓库,集成部署,微服务注册,微服务调用,开发注册微服务,微服务调用,打包,部署,容器化运行,发布到容器化平台运行,运行管理,租户能力运行情况监控,租户微服务管理,租户容器运行监控,能力监控、管理,微服务监控、管理,容器运行监控、管理,各模块管理,API,接口调用,容器能力开通,容器部署申请,1,2,3,4,64,面向租户，打通从资源申请到最终上线运行过程资源申请 租户D,一体化门户效果,65,一体化门户效果65,