Symantec两地三中心应用级云容灾方案PPT课件

湖南移动手机支付系统两地三中心的应用级云容灾方案 议程 2 金 融 业 容 灾 规 范1 手 机 支 付 方 案 设 计2 Symantec方 案 -手 机 支 付 应 用 级 云 容 灾 的 落 地3 数 据 复 制 技 术 的 比 较4 案 例 借 鉴5 3 2021/6/15 信息系统灾难恢复规范-GB/T 20988（原重要信息系统灾难恢复指南） 1级 -基 本 支 持 l每 周 至 少 做 一 次 完 全 数 据 备 份l制 定 介 质 存 取 、 验 证 和 转 储 的 管 理 制 度l完 整 测 试 和 演 练 的 灾 难 恢 复 计 划2级 -备 用 场 地 支 持3级 -电 子 传 输 和 部 分 设 备 支 持 4级 -电 子 传 输 及 完 整 设 备 支 持 5级 -实 时 数 据 传 输 及 完 整 设 备 支 持6级 -数 据 零 丢 失 和 远 程 集 群 支 持 l预 定 时 间 调 配 数 据 ,通 信 线 路 和 网 络 设 备l备 用 场 地 管 理 制 度l设 备 及 网 络 紧 急 供 货 协 议l配 置 部 分 数 据 ,通 信 线 路 和 网 络 设 备l每 天 实 现 多 次 的 数 据 电 子 传 输l备 用 场 地 配 置 专 职 的 运 行 管 理 人 员l配 置 所 需 要 的 全 部 数 据 和 通 讯 线 路 及 网 络 设 备 ， 并 处 于 就 绪 状 态l7*24 运 行 ;更 高 的 技 术 支 持 和 运 维 管 理 l实 现 远 程 数 据 复 制 技 术l备 用 网 络 也 具 备 自 动 或 集 中 切 换 能 力l实 现 远 程 数 据 实 时 备 份 ， 实 现 零 丢 失l应 用 软 件 可 以 实 现 实 时 无 缝 切 换l远 程 集 群 系 统 的 实 时 监 控 和 自 动 切 换 能 力 4 2021/6/15 国级实现解析 至少一周一次全备份 备份介质场外存放 有符合介质存放条件的场地 4 配备灾难恢复所需的部分数据处理 设备 配备部分网络设备 配备部分通讯设备 有恢复运作的场地每天多次利用通信网络将关键数据定时批量传送至备用场地 7x24小时运作 就绪或运行状态 就绪状态 第一级：基本支持第二级：备用场地支持第三级：电子传输和部分设备支持第四级：电子传输及完整设备支持第五级：实时数据传输及完整设备支持第六级：数据零丢失和远程集群支持采用远程数据复制技术将关键数据实时复制到备用场地 具备自动或集中切换能力远程 时备份，实现数据零丢失具备远程集群系统的实时监控和自动切换能力 5 金融行业业务连续性的法规遵从第十九条商业银行应当制定与其业务规模和复杂性相适应的应急和业务连续方案，建立恢复服务和保证业务连续运行的备用机制，并应当定期检查、测试其灾难恢复和业务连续机制，确保在出现灾难和业务严重中断时这些方案和机制的正常执行。第二十四条商业银行应及时向银监会或其派出机构报告下列重大操作风险事件： （二）造成商业银行重要数据、账册、重要空白凭证严重损毁、丢失，造成在涉及两个或两个以上省（自治区、直辖市）范围内中断业务3小时以上，在涉及一个省（自治区、直辖市）范围内中断业务6小时以上，严重影响正常工作开展的事件；商业银行操作风险管理指引 第二十九条 银行业金融机构应制定信息系统应急预案，并定期演练、评审和修订。省域以下数据中心至少实现数据备份异地保存，省域数据中心至少实现异地数据实时备份，全国性数据中心实现异地灾备。灾备演练 RTO异地灾备 规范对容灾设计的启发确定手机支付系统容灾的国6级方向手机支付的应用分级根据应用等级，定义不同的PTO,明确容灾方案 6 议程 7 金 融 业 容 灾 规 范1 手 机 支 付 方 案 设 计2 Symantec方 案 -手 机 支 付 应 用 级 云 容 灾 的 落 地3 数 据 复 制 技 术 的 比 较4 案 例 借 鉴5 8 方案设计业务现状已有机房位于四方坪主机以IBM 为主阵列为EMC容灾需求未来会新增岳阳和河西两个机房用于容灾手机支付系统业务模式属于移动的银行类业务 应用种类多，应用之间逻辑复杂 9 方案设计思路业务分级设计类别名称RPO RTO数据量数据同步应用切换数据备份说明总量增量河西-四方坪四方坪-岳阳河西-四方坪四方坪-岳阳备份频率保存周期I类/国6级II类/国5级 III类/国4级 方案设计思路两地三中心的分工设计容灾中心角色： 河西为生产中心，备份主中心，监控管理中心四方坪用于同城容灾中心岳阳用于异地容灾中心数据同步方式河西到四方坪，同步模式，数据零丢失，数据同步通过光纤链路 四方坪到岳阳，异步模式。数据同步通过网络应用切换方式：故障发生时，河西切换到四方坪，距离短，切换快如果后续岳阳提高主机配置，当同城两中心全部故障后，应用切换到岳阳异地容灾中心数据备份主备份中心置于河西西方坪/岳阳同时为异地备份存放中心和备份切换中心。10 方案设计思路项目实现一期实现四方坪到岳阳的国5级标准容灾的异地容灾和应急中心两地数据的异步复制岳阳两台570主机用途可定期容灾演练，验证复制数据的可用性可临时用于数据查询等操作极限情况下，应用切换到岳阳，可充当应急响应中心 二期实现河西/四方坪/岳阳的国6级容灾同城/异地容灾中心四方坪/河西容灾和生产中心互换数据复制方向改变，由原来的四方坪到岳阳，改为河西到四方坪在到岳阳河西和四方坪建立一对一的应用HA项目实施中的风险点四方坪和河西的中心互换11 议程 12 金 融 业 容 灾 规 范1 手 机 支 付 方 案 设 计2 Symantec方 案 -手 机 支 付 应 用 级 云 容 灾 的 落 地3 数 据 复 制 技 术 的 比 较4 案 例 借 鉴5 什么是应用级云容灾应用层应用切换从技术上不受地域限制，可在三中心内实现多个应用之间可根据逻辑关系关联性的自动切换，而非各应用独立切换。方便可靠的在线容灾演练主机层主机之间的保护可以通过多对一的方式实现。如应用服务器等。不同主机平台之间可以实现数据跨平台共享。如IBM主机和富士通主机所有主机可以在一个图形界面中集中管理 存储层实现存储池，在线空间调整和性能调整。实现存储阵列的HA三中心间的数据灵活的增量同步或者复制所有存储使用都可在一个图形界面中统一管理13 什么是应用级云容灾数据中心的备份三中心不同业务数据都可统一备份到一个存储或带库上。同一数据可通过网络，光纤等备份到三中心的任一存储目的中所有设备的备份都由一个备份主服务器控管主备份中心可在三地之间切换。三中心的监控三中心的所有主机，阵列，数据，备份通过一个统一界面集中管理，监控和告警统一监控管理平台可以在三中心之间随意切换。 14 总之云容灾就是：1.技术层面三中心在功能，角色上无任何主次之分，三者之间的功能可随意切换。2. 实现开放式的异构架构，便于硬件的调整。3. 应用在三中心灵活切换4. 方便可靠的在线容灾演练 15 15 湖南移动手机支付云容业务灾切换示意图岳阳(异地容灾) 四方坪(同城容灾)河西（本地HA） SAP 异步复制 SAP 同步复制/镜像 APP 4 APP 3 APP 2 APP 1 APP 4 APP 3 APP 2 APP 1两地三中心应用级云容灾 StorageSnapshot Non-disruptivetestingFD SG两地三中心的统一监控 Symantec云容灾方案的实现-产品清单 16 功能类Symantec产品实现功能描述硬件厂商相应产品（EMC为例）基础产品Veritas Cluster Server(VCS) 实现三中心的所有应用/主机的云群集无Cluster manager Console（CMC）实现三中心应用关联性切换无Storage Foundation(SF)实现三中心的所有阵列的云存储无Netbackup(NBU)实现三中心的所有应用/系统的云备份无同城复制SF/Mirror实现河西和四方坪的数据同步以及阵列的HA SRDF异地复制SF/VVR实现河西/四方坪到岳阳的数据异步同步SRDF/A监控产品CCS实现应用主机交换机阵列端到端的银色监控无 Symantec云容灾方案的实现-产品部署和示意图 17 1.VCS实现云容灾2. SF实现云存储3. NBU 实现云备份4. SF/Mirror实现同城数据复制5. SF/VVR实现异地数据复制6. CMC/CCS/存储应用统一监控 VCS CMC 集群管理标准化集中管理预警报告配置一致性检查 容灾演练CMC管理服务器ORCL ORCLORCL ORCLORCLCUS WLS SQL SQL Symantec云群集-概述 FSVol VolFSVol DGNICIP FSDBLSNR VCS 保护单个业务应用 实现集群本地切换 容灾演练 灾备切换流程化 支持混合OS 集群 多级HA/DR 集群间业务映射 基于优先级切换 生产中心到灾备中 心整体切换+ Symantec云群集-多应用关联的群集切换 19 Symantec云群集-容灾演练对业务产生中断可能产生无法预测的问题耗时、耗力、耗资源如何做?78%从未测试过流程预案 启动应用 生成空间优化的快照 验证应用 主中心始终在线 不影响生产系统的正常运行 无需中断业务系统 存储需求量小 20VCS生产机房 容灾机房Prod SG FD SG数据同步 快照数据 Symantec云存储概述 21物理磁盘/LUNs VolumeApplication将多个物理磁盘对象整合成一个虚拟对象 卷管理系统的任务是创建一个数据存储的虚拟层 对于上层应用而言,”卷”就像一个物理的磁盘分区一样 对于系统而言,”卷”表现为一个在/dev树下的“块设备”和“字符设备” : /dev/vx/rdsk/我们把文件系统也当作一种特殊类型的应用 存储的管理创建卷增加，缩小卷的空间挂接到不同主机卷的日常操作为卷增加或移出磁盘数据的复制、拷贝和迁移镜像/分割物理层管理 LUN映射冗余链路管理 I/O负载均衡 Symantec云存储-实现异构的开放平台 22 U S E R A P P L IC A T IO N SU ser A pplications O S D RIVER S DM P VxFSVxVM K ernelHB A HB A SW ITC H SW ITC H 12 34 5 fcfcfc fcfcipipip 后台存储资源 ip fcfc fc fcfc fc fc fc应用系统文件系统/数据库逻辑卷管理存储链路管理磁盘驱动管理存储拓扑管理 Symantec云存储应用-资源动态管理在线优化调整在线迁移调整快速空间支持 数据安全服务在线容量扩展 统一的存储控制和管理符合业务需求的快速资源部署和服务提供 硬件物理资源提供基本存储单元 $/GB 24 Symantec云存储应用-实现跨主机平台数据共享AIX 1. 实现数据跨平台共享和迁移富士通2. 测试系统使用实际数据用于测试开发 Snapshot 3. 测试开发系统采用linux平台节省投资主阵列 Snapshot LINUX 测试系统 25 Symantec云存储应用-降低应用升级失败影响 手机支付系统应用服务器/数据服务器 1. 应用/数据库升级前作一个快照（用时1分钟） 2.升级失败，利用快照恢复，直接将系统恢复到升级前的状态（耗时5分钟左右） 阵列 snapshot 3.升级成功，直接删除快照 快照恢复 通过快照方式升级可减少95%t停机时间使用快照升级过程： 传统升级模式：1. 应用升级2. 升级失败后备份恢复，耗时数小时原始数据 增量指针式的快照数据 中国移动江苏公司的核心业务支撑系统来看，包括BOSS系统、经营分析系统、客服系统、企业信息化系统等子系统，总计近400台服务器（TPCC值超过10000万），近100台高、中、低端存储设备，超过1000TB的重要业务数据，分布于南京和无锡的5个数据中心Symantec云 备 份 系统的技术设计及实现方案分为以下几个层次： 备份虚拟化技术引入及部署-建立一个可扩展的基础架构 SOA-建立跨越整个备份资源的统一兼容的面向业务需求的备份服务 自动化管理-提高云备份基础架构管理效率降低复杂度 27 空间管理要求 资源管理 集中化告警监控降低投资成本 清点存储设备了解资源的消耗 准确反映当前整体情况科学决策/预测发展趋势 采购过程更明确 性能监控 端到端拓扑发现动态跟随网络变化事前主动监控 使用更经济 快速定位事故原因 存储环境故障响应集中处理平台业务影响关联策略 提高反应速度 减少管理工具端到端管理 软件独立性统一管理提高适应能力统一工具减少人为失误 从业务应用到物理设备 可视性管理要求 可靠性管理要求 可变性管理要求Symantec云 管 理 议程 28 金 融 业 容 灾 规 范1 手 机 支 付 方 案 设 计2 Symantec方 案 -手 机 支 付 应 用 级 云 容 灾 的 落 地3 数 据 复 制 技 术 的 比 较4 案 例 借 鉴5 29 symantec同城数据复制方案-SF mirror 29 生产卷EMC盘阵 SAN 容灾阵列镜像卷异构镜像盘阵 1. 本地阵列故障，应用不切换2. 本地阵列修复，数据增量同步，不影响业务3 容灾阵列故障，业务无影响4. 容灾阵列修复增量同步，业务无影响 30 硬件厂商同城容灾方案-SRDF的复制模式Limited distanceHost 14 23Source TargetSRDF瓶颈单个LUN最多只能处理每秒300个写左右DMX3只能处理每秒15000个写左右 同城数据复制方案比较 31 功能描述 SF mirror SRDF阵列故障零停机本地/远程阵列故障应用不受影响本地阵列故障应用停止内部逻辑错误完全避免无法避免阵列异构完全支持必须同构云储存功能完全实现无法实现 成本硬件无需增加额外的硬件模块还需额外购买硬件复制卡，增加阵列cache，cpu，port等配置用于复制时的阵列消耗必须加买复制软件，BCV等SF中包含复制，快照等无额外投资，软件 异地数据复制比较 A SAN Replication A IP Replication AA SRL SRLSRDF/A SF /VVR 异地数据复制方案比较 33 功能描述 SF/ VVR SRDF/A内部逻辑错误完全避免无法避免阵列异构完全支持必须同构复制链路要求基于单个I/O块为单位，收到一个I/O就传一个I/O, 链路不增加额外开销在阵列cache中累积30 秒的I/O后，一起同步到远程的阵列cache中，所以对链路和阵列cache开销大成本阵列档次由于有三中心的容灾，岳阳又是异步复制，因此可以采用中低端的阵列硬件复制方案，异步复制必须是高端阵列，中低端阵列不具备复制功能阵列配置阵列内无需增加额外的硬件模块增加阵列的cache，cpu，port等配置用于复制时的阵列消耗 增加河西主机房的实施 方法1.四方坪VVR异步同步到岳阳2.河西建成后，在四方坪的主卷上增加一个河西的镜像卷3.完成2地3中心，河西和四方坪在数据镜像关系上不存在主次之分1.四方坪异步到岳阳2.河西建成后，复制完全重建以实现2地3中心3. 重建过程中，数据无容灾 两地三中心的整体方案 34 纯软件纯硬件软硬结合方案1.河西 和四方：镜像2.镜像完的数据 VVR到岳阳1.河西同步到西方坪2.四方坪异步到岳阳1.河西同步到四方坪2.河西异步到四方坪1.Symantec 实现河西和四方坪的镜像同步2. 硬件厂商完成异步复制可行性完全可行完全可行行完全可行四方坪和河西主机房互换的实施1.先实现异步远程复制，2.异步不停，直接增加镜像。1. 四方坪到岳阳异步2.中断原先的异步复制，完全重新建立同步和异步复制关系。1.硬件实现四方坪到河西2.软件加入河西镜像卷3.硬件重新建立异步复制实施方案比较延续性实施，实施简单无风险，实施最简单实施最复杂，实施过程无连续性，新增河西时实施过程中，可能会有一定时间无容灾保护实施较复杂，但河西加入时，始终有容灾保护阵列逻辑错完全避免阵列逻辑错完全无法避免阵列 的逻辑错，河西，四方坪两个逻辑错可能点避免部分逻辑错。四方坪阵列逻辑错不影响，河西阵列逻辑错无法避免几乎避免阵列逻辑错，同时减小河西主机房逻辑错的影响。方案主要优势除数据同步外，实施云存储，云管理等。硬件环境单纯，责任制简单除数据同步外，实施云存储，云管理等。 议程 35 金 融 业 容 灾 规 范1 手 机 支 付 方 案 设 计2 Symantec方 案 -手 机 支 付 应 用 级 云 容 灾 的 落 地3 数 据 复 制 技 术 的 比 较4 案 例 借 鉴5 金融业案例1- 银联2G时代的容灾 （2005） 36 SE9990上海浦东 SE9990上海浦西 His-DB Re-build运营服务器LDAP服务器备灾运营服务器历史数据库异地生成服务器LDAP服务器VxVM Mirror Volume50KMDWDM+Dark Fibre SE9990 TrueCopy Asyn1200KM，ATM SE9990 北京LDAP ServerMulti-Master同步II,III类数据：配置和安全管理数据生产运营数据IV类数据：历史数据库I类数据：LDAP数据 金融业案例2- 光大3G时代的容灾（2009） 37 清算 Business Group人行清算 BusInessUnit 前置应用Business 证券清算 BusinessUnit 国际清算 BusinessUnit 行内清算 BusinessUnit 证券清算 Business Unit 数据库应用 Business 集群内服务组前置集群内服务组1 数据库集群内服务组2 数据中心Data Center清算 业务群Business Group OA 业务群 Business Group核心业务群Business Group以光大银行的数据中心为例：有超过80多种应用，而且应用之间存在着相互的依赖关系 38SRDF/S 公网 EMC EMC上地 陶然亭SFRAC SFRAC 远程切换站 点 间 的 容 灾 “ 一 键 式 ” 切 换盘 阵 间 的 数 据 复 制 （ 自 动 的 反 向 复 制 ）容 灾 的 管 理 更 加 简 单 容 灾 演 练在 线 添 加 节 点 在 线 存 储 及 路 径 维 护 上 地 BCV 快 照 启 动 容 灾 演 习快 照 加 载复 制 应 用 测 试演 习 结 束 陶 然 亭金融业案例2- 光大国际结算系统 移动案例3-XX移动 NGCRM 镜像应天路生产机房 虎踞路机房 无锡机房SRDF/S SRDF/S SRDF/AR HP DMX2000Superdome SRDF/SSRDF/S DMX1000P 异步复制异步复制异步复制 异步复制 营帐1营帐2 营帐3营帐4 营帐5营帐6营帐分库 移动案例3-XX移动 NGCRM 镜像浦口高新机房 无锡机房(DR Site)CA /Asyn ( 300KM,DWDM ) CACACA XP24000 XP24000HP SD CRM1RACCRM2RACCRM3RAC CRM4RAC CRM1RAC CRM2RACCRM3RAC CRM4RACVolume Mirror DMX4 移动案例4-中国移动OA SF/VVR容灾解决方案 省公司 总公司 数据库 应用WANvia IP 数据库应用 备份磁带库 数据库 数据库 应用备份磁带库 应用 数据库 数据库 应用备份磁带库 应用 VERITAS Volume ReplicatorVERITAS Volume Replicator 电信案例5-XX电信MSS系统富士通平台存储解决方案 FujitsuPP650NBU Master ServerTape Library SupportShared Storage OptionNotes AgentVaultSFHA FujitsuP M5000NBU Media ServerNotes AgentTape Library SupportShared Storage OptionSFHA扩容系统FujitsuPP650NBU Media ServerTape Library SupportShared Storage OptionNotes AgentSFHA 一期系统(OA, Mail, Portal)E4000 E400磁带库 移动案例6-XX移动NGBOSS 终极容灾 洪城 红谷滩 Public LANLLT/CRS UDP LLT/CRS UDP595 595 EMC EMC570 570距离20kmrouter 传输网switch router switch 总结 Symantec提供不仅仅是个数据复制方案，而是湖南移动手机支付系统容灾中心建立的总体解决方案 Symantec的特有优势在于：实现了基础复制要求外，还能向湖南移动提供云存储，云群集，云管理等完善的数据中心云方案 Symantec强大的异构性帮助湖南移动建立开放式硬件平台 Symantec人性化的图形管理方式解决了三地机房管理复杂的困境 Symantec向湖南移动推荐的全部方案在移动总部，移动研究院全部经过兼容性测试，且是唯一一家通过移动总部测试的厂商手机支付容灾的未来发展建议：核心数据库可以在河西和四方坪实现永远零停机的容灾 44 45 2021/6/15 国级实现解析 至少一周一次全备份 备份介质场外存放 有符合介质存放条件的场地 45 配备灾难恢复所需的部分数据处理 设备 配备部分网络设备 配备部分通讯设备 有恢复运作的场地每天多次利用通信网络将关键数据定时批量传送至备用场地 7x24小时运作 就绪或运行状态 就绪状态 第一级：基本支持第二级：备用场地支持第三级：电子传输和部分设备支持第四级：电子传输及完整设备支持第五级：实时数据传输及完整设备支持第六级：数据零丢失和远程集群支持采用远程数据复制技术将关键数据实时复制到备用场地 具备自动或集中切换能力远程 时备份，实现数据零丢失具备远程集群系统的实时监控和自动切换能力 方案设计思路项目实现一期实现四方坪到岳阳的国5级标准容灾的异地容灾和应急中心两地数据的异步复制岳阳两台570主机用途可定期容灾演练，验证复制数据的可用性可临时用于数据查询等操作极限情况下，应用切换到岳阳，可充当应急响应中心 二期实现河西/四方坪/岳阳的国6级容灾同城/异地容灾中心四方坪/河西容灾和生产中心互换数据复制方向改变，由原来的四方坪到岳阳，改为河西到四方坪在到岳阳河西和四方坪建立一对一的应用HA项目实施中的风险点四方坪和河西的中心互换46 方案设计思路项目实现一期实现四方坪到岳阳的国5级标准容灾的异地容灾和应急中心两地数据的异步复制岳阳两台570主机用途可定期容灾演练，验证复制数据的可用性可临时用于数据查询等操作极限情况下，应用切换到岳阳，可充当应急响应中心 二期实现河西/四方坪/岳阳的国6级容灾同城/异地容灾中心四方坪/河西容灾和生产中心互换数据复制方向改变，由原来的四方坪到岳阳，改为河西到四方坪在到岳阳河西和四方坪建立一对一的应用HA项目实施中的风险点四方坪和河西的中心互换47 Symantec云存储-实现异构的开放平台 48 U S E R A P P L IC A T IO N SU ser A pplications O S D RIVER S DM P VxFSVxVM K ernelHB A HB A SW ITC H SW ITC H 12 34 5 fcfcfc fcfcipipip 后台存储资源 ip fcfc fc fcfc fc fc fc应用系统文件系统/数据库逻辑卷管理存储链路管理磁盘驱动管理存储拓扑管理 Symantec云存储应用-资源动态管理在线优化调整在线迁移调整快速空间支持 数据安全服务在线容量扩展 统一的存储控制和管理符合业务需求的快速资源部署和服务提供 硬件物理资源提供基本存储单元 $/GB 异地数据复制比较 A SAN Replication A IP Replication AA SRL SRLSRDF/A SF /VVR 异地数据复制比较 A SAN Replication A IP Replication AA SRL SRLSRDF/A SF /VVR 议程 52 金 融 业 容 灾 规 范1 手 机 支 付 方 案 设 计2 Symantec方 案 -手 机 支 付 应 用 级 云 容 灾 的 落 地3 数 据 复 制 技 术 的 比 较4 案 例 借 鉴5