数据库容器化PaaS平台建设方案

数据库容器化PaaS平台建设方案技术创新，变革未来数据库容器化PaaS平台建设方案技术创新，变革未来1开源数据开源数据库库使用的使用的现现状状202010%物理机+手工配置部署虚拟机镜像模板+手工配置30%物理机+脚本虚拟机镜像模板+手工配置20%虚拟机+脚本容器模板物理机+脚本20%私有化PaaS物理机+脚本20%公有云RDS专有云向自向自动动化、智能化步化、智能化步进进注注：1.仅统计仅统计MySQL、MongoDB、Redis等等2.已有客已有客户户+圈内圈内调调研研开源数据库使用的现状202010%物理机+手工配 置部署302为为什么需要构建数据什么需要构建数据库库P PaaaaS S2020大大规规模模数据库实例5000+分散分布(分布式)统统一管一管理理支持常见的开源数据库多云数据库管理多种架构自自动动化化一键式部署流程标准化快速交付智能智能化化恢复演练SQL审核及优化故障自愈应应用架构的用架构的发发展：展：单单体体应应用用企企业级业级SOA互互联联网服网服务务化化微服微服务务平台平台化化技术中台数据安全性数字化为什么需要构建数据库PaaS2020大规模统一管理多云数据库3构建数据构建数据库库P PaaaaS S需要什么需要什么2020管理层数据库层先分层连连接接采用Agent方式可视化交互平台可用性后细化元数据分布式资源调度自动化健壮性守护微服务化接口管理服务管理安装部署实例管理备份恢复监控告警架构编排日志收集SQL发布版本管理经验经验和需求的和需求的转转化化：1、100+运维管理人员的经验吸收2、200+客户和400+项目需求的收集构建数据库PaaS需要什么2020管理层数据库层先分层连接4不同客不同客户户的关注点的关注点金融行金融行业业稳定性（平台本身、数据库、安全性、大规模）高可用性（两地三中心灾备、数据一致性）兼容性（数据库版本、基础环境、国产化软硬件、原有实例纳管）运维便利性（故障快速定位、和内部平台对接、规范体系、灾备演练）2020互互联联网行网行业业高性能（高并发、大数据量、性能优化）开发友好（数据库种类和架构的丰富性）服务交付效率（DevOps、快速上线、版本发布）高可用性（快速恢复、双活、切换无感知）不同客户的关注点金融行业2020互联网行业5管理管理层层的的设计设计2020服务模块化分布式Raft算法组件高可用跨中心部署服务调度可用性可用性实实用性用性多级存储数据模型优化Consul/Etcd分布式KVMySQL持久化SQLite缓存组件水平扩展扩扩展性展性自服务交互运维管理交互安全性规范交互遵循大众习惯平台在平台在项项目交付中曾遇到目交付中曾遇到过过大大规规模下性能模下性能问题问题、数据、数据库库灾灾备备切切换问题换问题、监监控告警的控告警的扩扩展展问题问题等等。管理层的设计2020服务模块化可用性实用性多级存储扩展性自服6数据数据库层库层的的设计设计2020兼容性兼容性MySQL/TiDB/OpenGaussMongoDB/Redis开源数据库主流版本x86/ARM服务器虚拟化/容器高可用（数据同步方式）读写分离分布式灾备（两地三中心）同城双活实例运维管理故障切换+自定义流程性能分析批量处理告警收敛实例自动化巡检评分1.不同的灾不同的灾备备等等级级下平台和数据下平台和数据库库的架构的架构应该应该如何如何设计设计？2.平台功能很多，日常运平台功能很多，日常运维维人人员员需要关注哪些需要关注哪些？架架构构能力中心能力中心数据库层的设计2020兼容性MySQL/TiDB/Op7数据数据库库容器化容器化P PaaaaS S整体架构整体架构2020生产数据中心灾备数据中心PODKubernetes高可用读写分离分布式多租户实例诊断监控告警台账管理大屏展示灾备管理配置管理备份恢复权限管理安装部署操作审计数据管理日志分析操作系统硬件服务器可视化交互数据库自服务管理PODPODPOD智能化运维管理API接口管理网络设备/SDN存储设备/SDS操作系统硬件服务器网络设备/SDN存储设备/SDS基础技术底座原生API接口封装1.大集群（单集群支持2000+实例）2.多种类数据库服务，涵盖应用多种需求3.平台功能模块化，易扩展4.运维流程贴合运维习惯，故障分析便利5.平台和数据库支持多中心部署6.服务获取简单快速数据库容器化PaaS整体架构2020生产数据中心灾备数据中心8数据数据库库容器化容器化P PaaaaS S功能架构功能架构2020资 源 管 理添加/删除主机修改主机容器注册上架/下架中 间 件 管 理中间件增删配置中间件中间件状态可 用 区 管 理可用区配置可用区SIP管理可用区主机配置流量入口中间件配置管理用 户 管 理用户组租户角色权限鉴权模 板 管 理服务规格模板计费模板审 批 管 理审批流程API接口审批意见历史记录CPU配置内存配置磁盘空间&IOPS服务申请服 务 管 理台账管理高可用读写分离分布式灾备销毁水平扩展实例诊断修改实例规格概览信息访问方式架构拓扑规格信息监 控 管 理资源消耗数据库请求状态数据库连接状态图形展示数据库数据状态告警信息展示告警配置管理指标定义API接口邮件/微信/短信等告警通道管理API接口告警处理备 份 恢 复备份集管理备份策略手工备份恢复到备份恢复到指定时间点恢复演练演练规则备份资源配置运 维 管 理告 警 管 理自动化巡检报告慢日志分析大屏展示SQL上线审核标签管理安装部署数数据据库库容容器器化化PaaS数据库容器化PaaS功能架构2020资 源 管 理添加/删除9容器化方案中的一些容器化方案中的一些选择选择2020自研技术底座自研容器化有状态服务管理能力（非Operator）监控采用Prometheus+Grafana分布式监控能力自研代理（集成exporter+cAdvisor)API兼容性采用K8Sv1.16版本及其以上数据库架构标准化容器化镜像数据库高可用与K8S副本调度策略协同EFK和K8S日志展示集成，保留容器化运维习惯访问入口（直连中间件ingressLB)Localdisk PV分布式存储对接富容器ServiceCatalog集成原生API接口（云原生）容器化方案中的一些选择2020自研技术底座监控采用Prome10具具备备全生命周期管理能力全生命周期管理能力2020数据库全生命周期管理资源审批资源交付资源创建规范基线资源回收选型调研开发规范运维规范不断改进架构基线(可靠性、稳定性）性能基线（高性能、高并发）部署基线（基础运行环境）已有资源纳管多种架构（灾备、高可用、分布式、读写分离）模板管理SLA确认（RPORTO)资源清单确认权限划分与OA/ITIL等流程对接分钟级别交付数据库拓扑信息与CMDB对接资源使用监控告警数据库开发及测试备份恢复性能优化（锁、TOPSQL、慢SQL）故障分析资源变更数据库在线迁移数据库规格变更数据库版本升级数据库扩容参数变更高可用切换策略数据库归档数据库销毁定时下线回收具备全生命周期管理能力2020数据库全生命 周期管理资源 审11满满足不同人足不同人员对员对数据数据库库的需求的需求2020业务业务人人员员应应用人用人员员运运维维人人员员1.稳定，7x24h1.高可用性，99.9%、99.99%.1.高可靠，保证业务不中断1.建立架构基线、性能基线等2.产品随时可上线2.高性能？千万级并发，毫秒级响应2.故障自愈，数据自动补偿2.建立运维规范和开发规范体系3.能轻松应对产品促销3.SQL兼容性好，SQL怎么写都可以3.监控指标和告警直观明了3.资源可视化统计4.客户体验好4.版本发布，数据库变更方便4.备份恢复可视化4.操作可审计，故障可追溯5.服务响应快5.数据库资源获取方便，随时可开发5.自动化安装部署，交付快速6.提供性能优化工具5.技术成熟度和前沿性6.稳定可靠，业务连续IT管理管理者者满足不同人员对数据库的需求2020业务人员应用人员运维人员112数据数据库库容器化容器化P PaaaaS S的的设计设计魔方魔方2020Z轴Y轴X轴方法模式产品X轴：限定数据库容器化PaaS的内容Y轴：分离数据库容器化PaaS的层次前端交互层服务管理层数据库层业务技术管理Z轴：总结数据库容器化PaaS的实践数据库容器化PaaS的设计魔方2020Z轴Y轴X轴方法模式产13谢谢！谢谢！14