中兴大规模系统产品-DevOps-探索之路课件

大大规规模系模系统产统产品品DevOps探索之路探索之路大规模系统产品DevOps探索之路1目目录录系系统产统产品的研品的研发发1痛点与挑痛点与挑战战2DevOps实实践践3思考与展望思考与展望4目录系统产品的研发1痛点与挑战2DevOps实践3思考与展望2系系统产统产品的特点品的特点实现实现复复杂杂产产品要求高品要求高协协同同难难度大度大千万级代码规模大量协议信令支持不同设备终端兼容历史版本兼容高性能、大容量质量可靠性高要求产品维护周期长大规模研发团队跨地域协同项目群并行开发产产品差异大品差异大云管端嵌入式软件制式场景系统产品的特点实现复杂产品要求高协同难度大产品差异大3系系统产统产品研品研发发框架框架组织协组织协同同产产品管理品管理项项目管理目管理敏捷开敏捷开发发团队协团队协同同知知识识管理管理资产资产管理管理度量度量路标规划项目计划迭代计划群组沟通知识库研发物料预算全景可视化项目立项进度跟踪敏捷看板关键事件管理FAQ研发物料采购指标基线资源管理回顾验收远程协同搜索推送研发物料流转研研发发交付交付需求需求&规规划划版本规划需求分析需求评审需求跟踪软软件件设计设计软件方案设计详细设计硬件硬件设计设计硬件方案设计逻辑设计EDA设计结构设计内容内容设计设计框架设计节点梳理模版设计软软件开件开发发软件编码UT/FT代码走查仿真仿真逻辑仿真EDA仿真力热电磁仿真算法仿真内容开内容开发发内容编写内容评审构建集成构建集成测试测试分层CI测试设计编译构建用例管理静态检查测试执行自动打包性能压测检查检查投版投版&打打样样调试调试&测试测试原理图检查备料静态调试PCB检查状态跟踪动态调试逻辑器件检查指标测试料单检查构建构建&翻翻译译测试测试文档构建文档批注自动化检查自动化测试文档翻译反反馈馈版本版本发发布布合规安全审批和协同快速下载灰度发布中中试转产试转产设计验证可生产性验证文档文档发发布布在线浏览定制化发布部署部署部署编排自动部署弹性部署运运维维自动化采集快速定位自动恢复监监控控指标监控日志监控为监控分析分析研发过程反馈客户运营分析产品运营分析系统产品研发框架组织协同产品管理项目管理敏捷开发团队4系系统产统产品研品研发发改改进历进历程程20162017产品级敏捷DevOps项目立项千人重点项目版本交付周期6个月质量提升50%安全合规内嵌DevOps产品化某重点项目版本交付周期1个月项目级敏捷成熟度模型驱动工具共创云CI云测试某标杆项目版本交付周期3个月20132015敏捷萌芽自研工具内部试点项目探索加速加速规规模化模化产产品化品化20182019探索探索20102012系统产品研发改进历程20162017产品级敏捷安全合规内嵌5目目录录系系统产统产品的研品的研发发1痛点与挑痛点与挑战战2DevOps实实践践3思考与展望思考与展望4目录系统产品的研发1痛点与挑战2DevOps实践3思考与展望6项项目目诉诉求求高效研高效研发项发项目目可快速上可快速上线线高可用高可用可持可持续续演演进进可灵活配置可灵活配置轻轻量量级维护级维护优优秀秀实实践快速复制践快速复制项目诉求高效研发项目可快速上线高可用可持续演进可灵活配置轻量7DevOps方案挑方案挑战战工具工具架构架构能力能力资资源源工具选型多样重复建设和引入多样性有余顶层设计不足缺少专业团队开源能力不足分散利用率低DevOps方案挑战工具架构能力资源工具选型多样多样性有余缺8目目录录系系统产统产品的研品的研发发1痛点与挑痛点与挑战战2DevOps实实践践3思考与展望思考与展望4目录系统产品的研发1痛点与挑战2DevOps实践3思考与展望9DevOps解决方案架构解决方案架构服服务层务层RT（发布测试）基基础设础设施施监控安全数据数据层层设计仿真产品安全中心合规中心场场景景层层持续交付流水线（软件、硬件、文档）敏捷开发组件共享产品规划全景透视项目管理团队协同代码仓库用例仓库统一认证统一权限统一审批 邮 件 服 务 计算 服 务存 储 服 务网 络 服 务运维管理资源池（物理机、虚拟机、容量）CM（变更管理）需求中心版本中心O&M（运营监控）故障中心数据中心文档仓库制品仓库DNS服务日志消息容灾备份服务资源管理数据仓库CI（持续集成）组件中心集成中心CD（持续交付）测试中心交付中心DevOps解决方案架构服务层RT基础设施监控安全数据层设计10数据中心数据中心1DC计计算算存存储储网网络络DC计计算算存存储储数据中心数据中心n网网络络基 础 设 施TECS 计计算算/存存储储/网网络络虚虚拟拟化化物理机物理机Director云云资资源管理平台源管理平台资 源 池 层云 服 务 层应 用 层存储服务DevOps应应用用其他其他IT应应用用其他研其他研发应发应用用物理机物理机管理层计计算管理算管理存存储储管理管理网网络络管理管理安全管理安全管理VM管理管理用用户户管理管理统一资源管理任任务调务调度度集中集中监监控控日志日志查查看看统统一告警一告警自助巡自助巡检检集中拓扑集中拓扑统一运维管理网络/安全服务计算服务块块存存储储文件存文件存储储灾备服务高可用高可用热热迁移迁移vFWvSwitch物理机物理机虚虚拟拟机机容器容器对对象存象存储储虚虚拟拟网卡网卡备备份恢复份恢复DevOps之基之基础设础设施施数据中心1DC计算存储网络DC计算 存储网络基 础 设 施T11DevOps之能力中心之能力中心DevOpsCMCIRTCDO&M开源扫描产产品安全合品安全合规规中心中心缺陷扫描漏洞扫描病毒扫描版本规划版本中心版本中心配置项管理版本发布集成中心集成中心编译构建静态检查FTUTST版本打包交付中心交付中心版本归档版本分发版本下载测试测试中心中心用例管理任务管理环境管理测试分析组组件中心件中心开源软件自研组件分级共享需求中心需求中心需求分析需求排序故障中心故障中心故障处理DevOps之能力中心DevOpsCMCIRTCDO&M开源12DevOps之之CI模型模型解决方案解决方案CI实实例例CIPipelineStageStep产品CI组件CI个人CIVerifyCIMergeCICI模型定义公共资源项目资源CI公共库项目配置CI配置模板公共配置平台平台DevOps调度平台DevOps工具集模型解析器-CI事务构建器-CI实例创建引擎-CIDevOpsCMCIRTCDO&MDevOps之CI模型解决方案CI实例CI公共资源项目资源平13DevOps之分之分层层CI个人个人CI编码静态检查/编译UTCodeReviewLocalFTMerge组组件件CI组件FT组件打包推库：Snapshot解决方案解决方案CI取版本部署组件打包推库：Release产产品品CI版本打包冒烟推库：AlphaST自动ST手动推库：ReleaseDevOps之分层CI个人CI编码静态检查/编译UTCode14DevOps之之发发布布测试测试CMCIRTCDO&MDevOps用例管理用例管理用例设计脚本开发版本/特性用例管理脚本管理环环境管理境管理虚拟环境物理环境编排/部署部署环境状态管理任任务务管理与管理与执执行行任务调度执行结果报告/日志任务管理测试测试分析分析测试结果分析版本测试质量/效率分析版本/特性环环境部署境部署/释释放接口放接口任任务执务执行行/获获取取报报告接口告接口版本版本质质量量分析分析报报告接口告接口数据中心测试业务基础数据（和版本特性建立关联的用例、环境、任务、执行结果、关联故障）+汇聚层数据版本质量红线DevOps之发布测试CMCIRTCDO&MDevOps用例15DevOps之硬件一体化交付之硬件一体化交付需求需求&任任务务TFSCandenceProE/CreoRCSVivadoQuartusMentorWindchillVayoPro原理图检查HFSSCSTQuartusSimAbaqusFlothermHyperworksMTSDMM云测试产品线自研工具GXWorks2RobotStudioSCMADSPCB检查逻辑器件检查料单检查PDM硬件工具StorePBS/LSF设计设计仿真仿真检查检查投板投板&打打样样调试调试&测试测试中中试转产试转产SLMPMSEC设计设计云云线上协同提高协作效率并行设计缩短设计周期组件共享提高效率仿真云仿真云缩短仿真周期提高资源利用率节省License费用检查检查云云经验共享减少重复犯错自动化检查提高效率质量管控问题闭环改进测试测试云云自动化测试提升效率提高资源利用率DevOpsCMCIRTCDO&MDevOps之硬件一体化交付需求&任务TFSCandence16DevOps之文档持之文档持续续交付交付同源同源内外文档同源版本文档同步交付架构架构研发信息组件化交付拉动内容输出构建构建自动化采集与组装灵活编排共共创创全员共创内容文档、翻译嵌入流程售前工服客户特性故障代码模型库需求方案FL/FDHLD版本说明升级指导参数手册API手册研发标标准化准化组组件化件化生生产产构建构建发发布布研发工服规划翻译团队协团队协同同体系化体系化定制化定制化用用户户体体验验FD/FG自自动动化化可可视视化化代代码码化化文档快速反快速反馈馈快速快速闭环闭环反反馈馈DevOpsCMCIRTCDO&MDevOps之文档持续交付同源售前工服客户特性故障代码需求方17DevOps之安全合之安全合规规DevOpsCMCIRTCDO&M1.开源开源扫扫描描开源协议分析开源漏洞分析2.缺陷缺陷扫扫描描白盒自动化扫描静态代码严重故障3.漏洞漏洞测试测试黑盒扫描测试协议模糊测试4.病毒病毒扫扫描描外发版本包病毒扫描代代码码提交提交个人个人CI开源开源扫扫描描组组件件CI漏洞漏洞扫扫描描病毒病毒扫扫描描缺陷缺陷扫扫描描版本包版本包质质量数据量数据扫扫描工具描工具扫扫描描结结果果版本版本发发布布版本包版本包质质量数据量数据版本包版本包售后提取售后提取生生产产提取提取其它提取其它提取扫扫描描资资源源版本版本CI打版本包打版本包制品制品库库Alpha制品制品库库Release制品制品库库ProductCCA平台平台扫扫描任描任务务发发布布测试测试版本提取版本提取DevOps之安全合规DevOpsCMCIRTCDO&M开源18DevOps之一站式之一站式应应用用DevOps之一站式应用19DevOps之成熟度模型之成熟度模型基基础级础级2具备从需求到商用环境部署的端到端自动化交付能力全流程的自动化度量与分析具备迭代交付的协同开发能力初始初始级级成熟成熟级级优优化化级级创创新新级级1345开始自动化实践建立自动化环境具备从需求到测试环境部署的自动化交付能力具备智能化交付与运维能力，为产品及服务的创新提供支撑分分类类评评价价项项持持续规续规划划需求管理与规划协协同式开同式开发发配置构建检查CI流水线知识管理与过程文档发发布布测试测试测试环境管理测试用例管理测试任务管理故障报告/故障管理安全测试仿真/可靠性/性能持持续续部署部署版本升级制品库管理补丁、版本发布发布部署监监控与反控与反馈馈监控与告警安全监控用户反馈数据分析与挖掘系统日志DevOps之成熟度模型基础级具备从需求到商用环境部署的端 20DevOps整体方案收益整体方案收益统统一框架一框架统一DevOps术语减少重复投入，优秀经验易于推广，规划易于落地降低降低应应用成本用成本分分层层模型模型以价值流驱动，抽取用户关注的业务核心，剥离实现细节以项目可感知的资源、活动，层次化的表达DevOps设计聚焦聚焦业务业务活活动动工具解耦工具解耦DevOps架构可继承；工具可切换，不受单工具制约公共工具维护和项目DevOps落地界面更清晰方案持方案持续续演演进进DevOps整体方案收益统一框架降低应用成本分层模型聚焦业21DevOps整体方案收益整体方案收益模型代模型代码码化化实现灵活的多分支自动化管理多分支自多分支自动动化管理化管理算法配置解耦算法配置解耦DevOps产品化统一规划，定期发布，项目间优秀实践快速复制定制部分，项目运维小组完成个性化开发定制或数据配置快速复制快速复制轻轻量量维护维护DevOps产产品品化化版版本本管管理理版本管理实现构建可追溯，随时可以重生指定历史版本及其构建环境幂幂等版本等版本发发布布DevOps整体方案收益模型代码化多分支自动化管理算法配置22目目录录系系统产统产品的研品的研发发1痛点与挑痛点与挑战战2DevOps实实践践3思考与展望思考与展望4目录系统产品的研发1痛点与挑战2DevOps实践3思考与展望23DevOps之持之持续续演演进进服服务层务层CM（变更管理）CI（持续集成）CD（持续交付）RT（发布测试）基基础设础设施施能力能力层层产品安全设计仿真合规中心中心场场景景层层持续交付流水线（软件、硬件、文档）敏捷开发产品规划组件共享全景透视项目管理团队协同O&M（运营监控）统一认证统一权限统一审批邮件服务计算服务存储服务网络服务DNS服务日志消息监控安全容灾备份服务资源管理运维管理资源池（物理机、虚拟机、容量）版本中心需求中心集成中心测试中心交付中心故障中心组件中心数据中心DevOps之持续演进服务层CMCICDRT基础设施能力层产24DevOps之内外之内外协协同端到端同端到端上线部署资源池（IaaS/PaaS）资源池(IaaS/PaaS）系统测试环境验收测试环境预测试环境编排部署生产环境交付中心制品库(外网)编排部署A/B测试环境制品库验收测试验收环境设备设备商商运运营营商商产产品交付品交付DevOpsCMCIRTCD上上线线运运营营DevOpsATODO&M运营监控持续集成变更管理发布测试持续部署需求中心故障中心集成中心测试中心DevOps之内外协同端到端上线部署资源池（IaaS/Paa25DevOps之深度之深度实实践践DevOps之深度实践26谢谢谢谢谢谢27