双活数据中心方案

多 链 路 双 活 数 据 中 心 建 设 解 决 方 案 XX 平 台 数 据 中 心 设 计 2016 年 9 月 上 海 恒 巍 信 息 科 技 有 限 公 司 上 海 xx 信 息 科 技 有 限 公 司 文档版本 修订内容 修订日期 修订人 v 1 0 上 海 xx 信 息 科 技 有 限 公 司 目录 目录 3 1 总述 5 1 1 XX 平台双活数据中心建设需求 5 1 1 1 目前平台架构存在的问题 5 1 1 2 XX 平台数据中心目标架构 6 2 XX 平台数据中心设计 6 2 1 私有云设计概述 6 2 1 1 服务器虚拟化应用 7 2 1 2 VDI 桌面虚拟化应用 8 2 1 3 网络服务虚拟化应用 11 2 1 4 计算资源需求 12 2 2 存储规划设计 13 2 2 1 数据的安全性和系统的高可靠性 13 2 2 2 系统的高性能 14 2 2 3 系统的可扩展性 可扩充性 14 2 2 4 系统的多平台支撑能力 14 2 2 5 灵活性和系统管理的简单性 14 2 2 6 存储的虚拟化 15 2 2 7 存储容量规划 15 2 3 跨数据中心网络设计 16 2 3 1 流量调度 16 2 3 2 业务连续性 17 2 3 3 健康状态检查 17 2 3 4 故障切换 18 2 3 5 业务优化加速 20 3 应用服务控制与负载均衡设计 20 3 1 功能介绍 20 上 海 xx 信 息 科 技 有 限 公 司 3 2 应用优化与应用交付设计 21 3 3 XX 平台数据中心应用优化方案 22 3 3 1 应用优化 22 3 3 2 数据库应用优化 23 4 数据中心安全设计 24 4 1 网络准入控制 24 4 2 VDI 虚拟桌面安全管理 25 4 3 智能的监控 分析和威胁响应 25 5 数据中心运维保障体系建设 26 5 1 运维监控系统建设方案 26 5 2 监控管理 27 5 2 1 网络监控 28 5 2 2 服务器监控 29 5 2 3 应用监控 29 5 2 4 数据库监控 29 6 采购需求 30 6 1 硬件部分 30 6 2 软件部分 31 6 3 实施部分 32 上 海 xx 信 息 科 技 有 限 公 司 1 总述 1 1 XX 平台双活数据中心建设需求 1 1 1 目前平台架构存在的问题 XX 平台目前数据中心托管在某 IDC 机房 由于机房提供的单链路网络较不稳定 应用层面目前也没有做负载均衡和 冗余与容灾设计 网站存在多处单点故障风险 数 据中心的各项服务均不能满足 7 24 小时的无故障运行 无法支撑与保障业务连续运行 因此而造成应用程序性能较低 故障率高的影响 随着各类业务应用对 IT 需求的深入 发展 业务部门对资源的需求正以几何级数增长 传统的 IT 基础架构方式给运营人员 和未来业务的扩展带来巨大挑战 具体而言存在如下问题 资源利用率低 传统架构方式容易造成底层资源之间的竞争 普遍的现象就是忙的 设备不堪重负 闲的设备资源又空闲更多 二者相互之间又无法借用和共用 反而 互相干扰 没有充分发挥服务器和网络设备的性能 以至于影响了程序本身的性能 造成网站与移动应用体验不佳 扩展性差 现有架构都各自独立不能纵向与横向扩展 无法满足业务的弹性扩展 如在业务峰值时 弹性的扩充资源 并且在高峰过后 归还该扩展的资源 架构传统无法满足业务高可用性 XX 平台主要运营的是互联网业务 传统的网络 与服务器架构模型无法满足互联网应用 高并发 高吞吐 大数据增长的业务模式 无法满足跨数据中心级别的冗余与容灾 运维管理难 没有建立集中式的运维体系 缺乏立体式的多层监控 碰到故障时难 以第一直接发现故障原因 缺少自动化的性能分析 优化工具与方法 上 海 xx 信 息 科 技 有 限 公 司 1 1 2 XX 平台数据中心目标架构 XX 平台多活数据中心的建设模式采用 分应用主备模型 两个数据中心的应用根 据业务不同来划分主从对外提供服务 两个数据中心都处于活动状态 都能独立工作且 互为备份 两个数据中心之间通过稳定 低延时的私有专线连接实现数据与配置的同步 本案中所有互联网应用服务器都以生产数据中心为主 办公数据中心作为备份 当生产 数据中心故障或者网络中断时 办公数据中心有能力接管用户访问 对外提供服务 而 虚拟桌面和其他办公应用则主要建立在办公数据中心 一旦数据中心故障 呼叫中心的 用户可以访问到数据中心的备用系统 两个数据中心之间通过专线进行互联 分应用 主备模型 的双活数据中心可充分盘活企业闲置资源 保证业务的连续性 帮助用户接 入最优节点 提高用户访问体验 见参考图 1 图 1 2 XX平台数据中心设计 2 1 私有云设计概述 XX 平台设计的目标是建立一套可扩展与伸缩 稳定高效的私有云 建立私有云可 以使上层业务应用仅仅根据自己所需的计算资源占用要求来对 CPU 内存 I O 等实现 自由调度 而无须考虑该应用所在的物理关联和位置 业务应用运行所依赖的物理计算 环境通过网络实现连接 互连 CPU 和内存 实现真正意义上彻底的实现服务私有云化 生产数据中心 生产数据中心 1 办公数据中心 生产数据中心 2 应用 B 备份系 统 应 用 A 应用 A 备份系统 应用 B 应用 A 访问 应用 B 访问Clients 上 海 xx 信 息 科 技 有 限 公 司 2 1 1 服务器虚拟化应用 为了使服务器资源能够集成在一起 形成私有云 统一对外提供计算服务 必需部 署软件的虚拟化系统来整合成云 本案采用 VMware vSphere 产品来搭建服务器虚拟化 与桌面虚拟化 形成统一底层架构平台 因此在私有云数据中心内 服务器虚拟化软件 平台是该系统最为核心的组成内容 虚拟化软件平台分为虚拟化业务平台和管理平台两个部分 业务平台部署在物理服务器 计算资源上 实现计算资源一虚多的虚拟化业务需求 而管理平台则通常会部署在统一 管理平台组件内部 对业务平台所在物理服务器计算资源进行统一调度部署 服务器虚拟化平台主要提供分区 隔离 封装和迁移 4 个关键特性 分区 在单一物理服务器上同时运行多个虚拟机 隔离 在同一服务器上的虚拟机之间相互隔离 封装 整个虚拟机都保存在文件中 而且可以通过移动和复制这些文件的方式来移动和 复制该虚拟机 迁移 运行中的 VM 可实现动态迁移到不同物理机的虚拟平台上 设计原则 灵活性 通过封装 vCenter 服务器为虚拟机 vCenter 可以方便地从一台 ESX 主 机迁移到 另一台 ESX 主机 满足硬件设备维护需要 快照 虚拟机快照能够被备份和归档利用 当需要为 VCMS 打补丁和升级时实现 最小恢复 时间 高可用性 HA 利用这种虚拟化架构平台的高可用性级别的功能去确保任意时 间内管理功能的可用性 本次项目主要组件 vCenter Server 1 台 vCenter 服务器安装在虚拟机上 数据库安装在 外部的数据库服务器上 上 海 xx 信 息 科 技 有 限 公 司 数据库高可用 项目中一共有 2 个数据库需求 1 台 vCenter 服务 器 1 台事件服务器 需要搭建数据库高可用环境 数据库搭建 Mirror ESXi 主机 支持所有的虚拟服务器和虚拟桌面 数据中心 3 台 Dell R730 服务器 vSphere HA 互联网业务所有的虚拟机都放置在同一个 HA 中 每个应用群集各 自为一个 HA 虚拟桌面业务所有虚拟机防止在另一个 HA 中 能做到故障切换 组件说明 vSphere VMware 提供强大的服务器虚拟化功能 平台稳定 性能可靠 vCenter 集中管理工具 集中管理 vSphere ESXi 提供高可用性功能 VMware vCenter 服务器将被安装到一台专用的虚拟机上 并且该 vCenter 虚拟机的克 隆作为冷备恢复可用性方案 当出现 vCenter 虚拟机操作系统级或应用软件级别的故障 时 使用冷备虚拟机进行最新数据的数据库恢复 从而实现 vCenter 服务器高可用性方 案 2 1 2 VDI 桌面虚拟化应用 在建立的私有云构建为 XX 平台搭建虚拟桌面以提高办公效率 降低 TCO 为了保 持平台的一致性与可扩展性 本案采用 Vmware Horizon View 结合瘦客户机来实现虚拟 桌面环境搭建 本次项目主要组件 vSphere For Desktop View Manager 组件说明 vSphere VMware 提供强大的服务器虚拟化功能 平台稳定 性能可靠 View Manager 是企业级虚拟桌面管理器 是 VMware View 的关键组件 IT 管理员使用 VMware View Manager 作为中心控制点 支持最终用户安全灵活 上 海 xx 信 息 科 技 有 限 公 司 地访问其虚 拟桌面和应用程序 并利用与 VMware vSphere 之间的紧密 集成 帮助用户以安全托管服务形式交付桌面 VMware View Manager 具有极强的 可扩展性和可靠性 它使用基于 Web 的直观管理界面创建和更新桌面映像 管理用 户数据 实施全球策略等 从而同时代理和监控数以万计的虚拟桌面 View Manager 组件 o VMware View Connection Server 管理对虚拟桌面的安全访问 与 o VMware View Agent 提供会话管理和单点登录功能 o VMware View Client 支持 PC 和瘦客户端上的最终用户通过 VMware View Connection Server 连接到虚拟桌面使用 o View Client with Local Mode 即使网络发生中断也可以访问虚拟桌面 不会影响 IT 策略的实施 o VMware View Administrator 允许管理员进行配置设置 管理虚拟桌面 和设置桌面的权限以及分配应用程序 虚拟化桌面的优势 VMware 桌面虚拟化解决方案可以在以下方面大大降低我们的桌面管理成本 将用户的操作系统集中运行在数据中心 并对其进行统一的管理及维护 大大降低 了 IT 管理人员的运维成本 上 海 xx 信 息 科 技 有 限 公 司 图 2 加快了系统部署的时间 管理员可以在数分钟内部署用户桌面将交将使用 使用 VMware 独有的 Composer 功能 可以将整个企业的桌面系统进行单实例的管 理及维护 同时大大降低了对后端存储扩容的压力 应用 系统补丁的安装 管理 升级等 也只需要操作一次 即可以让所有用户进 行使用 延长用户桌面 PC 使用寿命 降低桌面更新的采购成本 维护桌面的费用大大降低 更灵活快捷的服务业务 如果新添加用户 只要硬件资源仍然充足 可以通过简单 的配置 在一分钟只能为用户提供出一台桌面系统 而无需传统的复杂的桌面准备工作 而只需要一台统一的简单的终端设备 就可以让用户访问 提供高可扩展性 在架构设计合理和硬件充足的前提下 可以快速的将桌面交付用 户 当硬件不足的情况下 只需要将新的物理服务器加入 VMware 的资源池中即可 上 海 xx 信 息 科 技 有 限 公 司 因为在桌面虚拟化环境的边缘很少发生计算执行过程 所以计算体系结构对终端设 备处理能力的依赖性降低 这为 IT 人员创造了一个大幅降低终端硬件成本的机会 他 们可以将现有 PC 作为虚拟桌面终端设备重新加以利用 从而延长现有 PC 的生命周 期 或者使用瘦客户端设备代替老化的 PC 这种瘦客户端设备的生命周期通常是标准 PC 的两倍 以更少的资源 时间和资金完成更多任务 通过将桌面基础架构集中到 VMware View IT 人员可以跨桌面映像和应用程序的整个生命周期对其进行调配 维护和监控 不仅更加快捷轻松 而且可以降低成本 通过减少支持来电次数和终端用户停机时间 提高了整个工作场所的工作效率 2 1 3 网络服务虚拟化应用 传统网络是不具备虚拟机意识的 即在网络上传递的信息是无法区别它是来自于哪 个虚拟机 也无法在网络上根据虚拟机来提供相应的网络服务 当虚拟机迁移 也没有 相应的网络跟踪手段保证服务的全局一致性 通过 Distributed vSwitches vDS 或 vNDS 支持一个交换机在多个宿主上配置使用 具有相同配置的 vSwitch 必须在每一个宿主上创建 以便支持如 VMotion 的特性 当一 个 VM 从一个宿主移动到另一个宿主时 它需要发现另一个宿主的网络名称和相同的配 置才能建立连接 在每一个宿主上配置每一个 vSwitch 是非常费时的过程 而如果并非 所有配置都一样的 通常就会出现 VMotion 兼容问题 上 海 xx 信 息 科 技 有 限 公 司 图 3 vDS 与标准交换机非常相似 但是标准 vSwitch 是在每一个宿主上单独配置 而 vDS 是 使用 vCenter Server 进行集中配置 每个 vCenter Server 最多有 16 个 vDS 每个 vDS 最 多可以连接 64 个宿主 vDS 通过 vCenter Server 创建和维护 但是它们的运行并不依赖 于服务器 如果 vCenter Server 变得不可用 vDS 不会丢失它们的配置 当一个 vDS 在 vCenter Server 中创建时 每一个宿主上会创建一个隐藏的 vSwitch 与 vDS 连接 它位 于本地 VMFS 卷的名为 dvsData 的文件夹中 2 1 4 计算资源需求 根据不同类型的用户分配不同的虚拟内存和 CPU 通常情况下 数据库服务器 对 CPU 和内存的要求比较高 资源的占用率大 数据库服务器启动或者 业务高峰对计算资源是极大的挑战 分配 8vCPU 和 16G 内存 应用与代理服务器 分别使用 4vCPU 结合 8G 与 4G 内存组成分布式高性能群集 虚拟桌面 用户对于运算资源的需求相对比较低 一般情况下有播放 720p 视频需求 Windows7 64bit 的用户我们建议使用 2vCPUs 上 海 xx 信 息 科 技 有 限 公 司 虚拟化资源类型 VDI 桌面 应用服务器 A 应用服务器 B 数据库服务器 RAM 3GB 8G 4G 16G CPU 2vCPUs 4vCPU 2vCPU 8vCPU 交付 VM数量 30 15 15 4 小计 RAM 90 90 60 64 本案需要部署 3 台 DELL R720 服务器 每台配备 2 颗 E5 2620v3 服务器 CPU 至 少需要 284 内存 为了保证硬件一致性与宿主机的稳定 取整采购 288G 16G 单根内存 其中生产环境采购 192G 办公环境补充 96G 内存 以整体满足本次项目中跨数据中心 容灾及可迅速弹性扩展的计算资源要求 2 2 存储规划设计 2 2 1 数据的安全性和系统的高可靠性 本系统负责完成对业务系统的支持 对系统的高可靠性有着很高的要求 作为该系 统核心的存储平台的高可靠性则更是重中之重 由于采用了集中存储的方案 所有的信 息存储 信息管理及信息共享均集中存储于统一的平台之上 存储平台的任何故障会造 成巨大的影响 因此存储平台的数据安全性和系统高可靠性尤为重要 另外本案存储的 架构充分考虑到了跨数据中心级别的容灾迁移 企业关键核心将在业务空闲时段进行跨 站点的数据备份 以满足容灾需要 图 4 上 海 xx 信 息 科 技 有 限 公 司 2 2 2 系统的高性能 存储系统要存储大量的在线数据信息 支持更多服务器的在线业务并发写要求 由 于总的数据量会很大 如何在这么大数据量情况下满足这么多客户机的并发访问 整个 存储系统的性能也是一个非常关键的要求 而且考虑到将来业务的增长 数据量还会持 续增加 客户机的数量也会继续增加 系统的性能还应能很好的适应未来的扩充和扩展 的需要 2 2 3 系统的可扩展性 可扩充性 作为集中存储的基本要求 存储系统应能支持巨大的存储容量 可以集中存储不同 平台的企业数据 从而使企业在保留分布式处理好处的同时实现核心信息的集中存储和 集中管理 随着时间的推移 技术的发展以及环境的变化 业务系统的数据量会飞速增长 许多新 业务系统会不断产生 因此对存储系统的可扩展性有很高要求 尽管我们在本方案中已 经充分考虑了系统存储容量空间的预留 但随着业务的发展 对存储系统的可扩展性要 求仍将非常迫切 这主要表现在对存储系统容量的平滑扩充以及对新的主机 HOST 系统的平滑连接 以尽量减少对已有正常业务的影响 2 2 4 系统的多平台支撑能力 本系统是一个多层的体系结构 在集中的存储平台之上要为数据库服务器 应用服 务器和其他服务器提供统一的存储方案 这不可避免的涉及到存储系统的多平台支持能 力 作为应用服务器可能会采用 Linux 服务器 作为其它服务器可能会采用的是 Windows 等 作为集中存储的基本要求 存储系统必须能够同时连接不同的服务器平台 以满足数据集中的需要 2 2 5 灵活性和系统管理的简单性 由于存储系统的数据量非常大 如何有效的管理大量的数据 包括数据备份 恢复 上 海 xx 信 息 科 技 有 限 公 司 都对存储系统的管理提出了巨大的挑战 系统管理人员需要有高效的方法实现全面的存 储系统监控 包括实时数据性能监视 错误监测 错误状态识别等等 另外作为集中的 存储平台 由于前端需要连接的服务器数量很多 如何在多个服务器平台之间对容量进 行灵活的划分和调度也是为存储系统的管理提出了巨大的挑战 2 2 6 存储的虚拟化 DELL SCv2000s 系列存储设备将存储资源虚拟成一个 存储池 这样做的好处是 把许多零散的存储资源整合起来 从而提高整体利用率 同时降低系统管理成本 与存 储虚拟化配套的资源分配功能具有资源分割和分配能力 可以依据服务的要求对整合起 来的存储池进行划分 以最高的效率 最低的成本来满足各类不同应用在性能和容量等 方面的需求 特别是虚拟磁带库 对于提升备份 恢复和归档等应用服务水平起到了非 常显著的作用 极大地节省了企业的时间和金钱 除了时间和成本方面的好处 存储 虚拟化还可以提升存储环境的整体性能和可用性水平 这主要是得益于 在单一的控制 界面动态地管理和分配存储资源 在当今的企业运行环境中 数据的增长速度非常之 快 而企业管理数据能力的提高速度总是远远落在后面 通过虚拟化 许多既消耗时间 又多次重复的工作 例如备份 恢复 数据归档和存储资源分配等 可以通过自动化的 方式来进行 大大减少了人工作业 因此 通过将数据管理工作纳入单一的自动化管理 体系 存储虚拟化可以显著地缩短数据增长速度与企业数据管理能力之间的差距 2 2 7 存储容量规划 充分利用 DELL SCv2000s 系列存储的分层 分资源 I O 特性 把企业关键的核心 业务放置到最先进的 SSD 存储固态磁盘群集中运行 把性能要求不高但是大容量需求 的静态资源放置到存储普通硬盘群集中运行 其次 VDI 桌面系统放置到服务器本地的普 上 海 xx 信 息 科 技 有 限 公 司 通硬盘群集 另外存储中划分一块区域作为 VDI 桌面的跨数据中心容灾使用 容量规划如下表所示 磁盘资源类型 VDI 桌面 应用服务器 A 应用服务器 B 数据库服务器 静态资源 存储固态磁盘 1200G 1200G 1000G 存储普通磁盘 800G 4000G 本地普通磁盘 800G 1000G 1000G 2 3 跨数据中心网络设计 2 3 1 流量调度 数据中心层面 我们推荐使用两层逻辑算法的智能 DNS 调度策略 首先 全局负载设 备会判断用户的地理位置 将用户调度到速度最快的网络线路 解决南北互访的问题 其次 根据用户所属运营商选择对应链路供用户接入 解决跨运营商访问慢的问题 此 外 全局负载还可对客户端 LDNS 发起反向探测 判断用户网络质量 为用户选择最佳 接入路径 服务单元层面 WEB APP 和 DB 服务单元都配备了本地负载均衡器 用户访问流量到 达数据中心内部后 由服务单元的负载设备根据预设策略分发给各服务器 可根据用户 需求灵活选择轮询 优先级 最小连接等算法 上 海 xx 信 息 科 技 有 限 公 司 图 5 2 3 2 业务连续性 数据中心层面 通过 DC Cookie 保证用户接入同一数据中心 用户首次访问时 本地 WEB 负载设备在响应数据包中插入 DC Cookie 当客户端网络发生变化时 第二次访 问就可能被调度到其他数据中心 这时其他数据中心的 WEB 负载设备会识别该 Cookie 将用户请求转发至第一次处理该用户访问的 WEB 负载设备 再由该负载设备 进行调度 服务单元层面 WEB 服务单元的负载建议通过 cookie 会话保持 插入 改写和被动 保证业务连续性 APP 服务单元的负载可通过 cookie 或源 IP 会话保持保证业务连续性 是否需要会话保持 选择何种会话保持方式需要结合应用具体情况 DB 服务单元一 般不需要会话保持 2 3 3 健康状态检查 服务单元层面 通过内置的应用级健康监视器对服务器进行主动探测 提供 HTTP HTTPS RADIUS FTP 等常用模板 对于其他应用 提供接口供用户自定义 检测内容和响应内容 此外 还提供极具特色的被动健康检查功能 通过对 TCP 和 HTTP 协议的数据交互做采样分析 判断服务器的健康状态 上 海 xx 信 息 科 技 有 限 公 司 图 6 数据中心层面 全局负载与服务侧的各区域负载均衡联动 实时共享信息 判断服务侧 整体服务能力 同时全局负载设备会探测出口各链路健康状态 结合服务侧整体服务能 力和设备自身负荷情况 综合判断该数据中心的健康状态 正常 繁忙 故障 2 3 4 故障切换 服务单元层面 服务单元内部某服务器繁忙或故障时 将用户请求调度到其他正常服务 器 数据中心层面 生产数据中心的 WEB 或 APP 服务器全部繁忙或全部故障时 用户接入链路不切换 通 过专线将数据转发至正常数据中心对应服务单元 上 海 xx 信 息 科 技 有 限 公 司 图 7 生产主数据中心的数据库服务器全部故障时 用户接入链路不切换 通过专线将直接激 活备数据中心的数据库 实现数据库一键切换 数据库切换前需要验证数据库的正确性 用户需要完成数据验证并保证数据库按顺序切换 图 8 数据中心的所有链路同时故障时 全局负载设备将用户流量平滑牵引至办公数据中心 上 海 xx 信 息 科 技 有 限 公 司 单链路故障时 可根据用户需求切换至本中心其他链路或其他中心同 ISP 链路 此外 当某数据中心出现服务能力不足时 链路繁忙 服务单元繁忙等 全局负载设备还可 以基于数据中心的整体健康得分情况将用户分流至其他数据中心 保障用户正常访问 2 3 5 业务优化加速 互联网区的 WEB 服务单元直接面向公网 受公网网络质量影响较大 负载均衡可通过 协议优化 数据压缩和智能加速等技术减少网络环境影响 提高用户访问体验 此外 外网用户会有大量重复请求 通过负载设备的高速缓存技术 对静态和内容进行缓存 减少服务器数据交互 降低服务器性能压力 提高访问速度 跨数据中心的数据库同步需占用大量带宽资源 且数据量非常大 部署 WOC 设备可大 幅压缩传输数据 削减流量 WEB 或 APP 服务单元跨数据中心通信时 通过 WOC 设 备的协议优化和流缓存等技术实现加速 当二者同时需要大量带宽资源时 优先保证数 据库同步 3 应用服务控制与负载均衡设计 3 1 功能介绍 通过 F5 BIG IP 应用交付解决方案实现应用负载均衡 NetScaler 应用交付解决方案 将传统数据中心产品的各项特性与功能整合至一个单独的网络设施中 其中包括负载平 衡 缓存 SSL 加速 攻击防御和 SSL VPN 等 这一设施经过精心设计 旨在最大限 度地提升应用性能 上 海 xx 信 息 科 技 有 限 公 司 图 9 由于应用通常要求在服务器和客户机之间建立端到端连接 并需将单个应用请求隐藏起 来 因此 构建智能应用基础设施极具挑战性 这种针对单个应用请求所进行的 隐藏 使得众多应用层解决方案在应对智能应用时几乎一筹莫展 无计可施 而建立在 F5 BIGIP 的 请求交换 TM 专利架构之上的 F5 BIG IP 产品 却是业内首款可 根据其强大的用户定义策略来处理每种应用请求的线速级技术 F5 BIG IP 的面向应用 型策略引擎 能够独立于连接之上 针对单独的请求创建详细的基于策略的决策 使管 理员能够创建复杂的应用请求处理策略 并支持基于应用的强大完善特性 3 2 应用优化与应用交付设计 F5 BIG IP 产品可提供 最卓越的应用性能 端到端应用安全性 不中断地应用可用性 降低运营成本 其它解决方案宣称能够增强 Web 应用的性能时 而 F5 BIG IP 产品不仅能够最大限度 地提高 Web 应用的性能 还能确保其安全性 此外 由于不再使用许多其它解决方案 并代之以 BIG IP 单一标准设备 整体网络架构的复杂程度大为简化 同时整体成本也 大为降低 F5 BIG IP 应用加速器 F5 BIG IP 应用交换机是一款具有丰富特性的联网系统 集第 4 至第 7 层负载平衡 内 上 海 xx 信 息 科 技 有 限 公 司 容交换 以及应用加速及安全特性于一身 该应用交换机是过时的负载平衡器及其它传 统解决方案的理想替代品 能够简化网络复杂性和降低总体经营成本 3 3 XX 平台数据中心应用优化方案 3 3 1 应用优化 本案应用优化主要通过三个方面进行 1 代码级别改造 解决代码中执行性能差 容易造成业务中断的部分 并且通过业务 代码切分 使代码可以跨主机部署 分应用部署 使应用资源完全分离 互相不干 扰 充分利用虚拟化与云计算带来的高速体验 2 架构级别改造 实现代码的动静分离 负载负载均衡转发 防止单点故障形成 防 止静态资源占用过多的带宽 Web Portal 主要用于提供静态内容 Application 主要用于提供动态内容 3 通过 F5 LTM 来实现负载均衡 提供 12 种灵活的算法将所有流量均衡的分配到各个服务器 而面对用户 只是一 台虚拟服务器 上 海 xx 信 息 科 技 有 限 公 司 可以确认应用程序能否对请求返回对应的数据 假如 F5 BIG IP 后面的某一台服务 器发生服务停止 死机等故障 F5 会检查出来并将该服务器标识为宕机 从而不将用 户的访问请求传送到该台发生故障的服务器上 这样 只要其它的服务器正常 用户的 访问就不会受到影响 宕机一旦修复 F5 BIG IP 就会自动查证应用已能对客户请求作 出正确响应并恢复向该服务器传送 具有动态 Session 的会话保持功能 iRules 功能可以做 HTTP 内容过滤 根据不同的域名 URL 将访问请求传送到不 同的服务器 3 3 2 数据库应用优化 XX 平台数据库使用 MySQL5 6 通过 MySQL 服务器复制功能对现有建构进行优 化改造 可以在主服务器和从服务器之间实现负载均衡 即可以通过在主服务器和从服 务器之间切分处理客户查询的负荷 从而得到更好的客户相应时间 出于技术成熟度 成本等因素考虑 数据库采用主备方式部署 数据库写入操作都在生产数据中心的主库 进行 办公数据中心从库进行数据同步 默认情况下可提供只读查询 分担主库的负载 上 海 xx 信 息 科 技 有 限 公 司 发生灾难时 办公数据中心间的从库可以快速切换为主库 避免业务中断 在生产数据中心和办公数据中心都部署 F5 BIG IP 的 LTM 模块实现数据库的负载 均衡 通过 F5 BIG IP 的 iRules 模块对数据库健康状态进行实时监测 实现跨数据中心 的负载均衡及容灾方案 数据库复制功能实现了主服务器与从服务器之间数据的同步 增加了数据库系统的 可用性 当主服务器出现问题时 数据库管理员可以马上让从服务器作为主服务器 用 来数据的更新与查询服务 这样子提供了充足的时间去检查主服务器的问题 等主服务 器故障恢复后再进行主从切换 恢复原有架构 在数据库之间实现负载的均衡 其关键点就是数据同步的时间 如果主服务器与从 服务器之间数据的更新时间比较长 此时从主服务器中查询得到的数据就会同从从服务 器中得到的数据有差异 而如果同步的时间比较短 如实现同步复制 对网络带宽 服 务器设备等就有比较高的要求 4 数据中心安全设计 4 1 网络准入控制 如何保障网络信息安全 来自内部用户的威胁如何最大限度地减少或避免因网络内 上 海 xx 信 息 科 技 有 限 公 司 部接入客户端因素造成的信息泄漏和破坏 成为摆在我们面前一项刻不容缓的重要课题 由于 XX 平台的信息系统是基于 WEB 访问技术的 本案可以利用 F5 BIG IP Better Bundle 中模块中赠送的 SSL VPN 免费 10 用户并发 结合活动目录 Active Directory 来 实现准入控制和统一认证 F5 的 SSL VPN 不是利用传统的 VPN 客户机来提供全部网络接入支持 而是利用浏览 器作为客户机与服务器之间的连接器 来支持远程访问个别应用 支持从远端客户机访问应用服务器上的 TCP 应用 可支持本地客户机端应用通过浏览器与 SSL VPN 服务器之间的安全隧道 与公司的 应用服务器进行通信 允许连接的用户将 LAN 驱动器映射到远程系统 无需用户预先安装或配置任何额外组件 在网络端 被访问的应用服务器上无需安装额外软件 采用标准 HTTPS 协议 并以 SSL 作为传输协议 因此可支持任何 HTTP 代理 包括 公共接入点 专用 LAN 以及任何不支持传统 IPSec VPN 的其它网络和 ISP 身份认证技术系统通过密码来对照内部数据库进行鉴权 F5 SSL VPN 经配置后可与 RADIUS 和 LDAP 鉴权方法 基于表格的基本 HTTP 鉴权以及负责鉴权与访问管理的 AD 联合运行 4 2 VDI 虚拟桌面安全管理 由于计算发生在数据中心 所有桌面的管理和配置都在办公数据中心进行 管理员 可以在数据中心进行对所有桌面和应用进行统一配置和管理 例如系统升级 应用安装 等等 由于传递的只是最终运行图像 所有的数据和计算都发生在数据中心 则机密数 据和信息不需要通过网络传递 增加了安全性 另外这些数据也不允许下载到客户端 保证用户不会带走 传播机密信息 4 3 智能的监控 分析和威胁响应 上 海 xx 信 息 科 技 有 限 公 司 数据中心层面 网络出口处部署 F5 BIG IP 防护设备并在运营商处购买流量清洗服务 保证数据中心整 体安全 网络出口处部署 FW 和 IPS 设备 从网络层和应用层保证数据中心不被恶意入侵 F5 BIG IP 全局负载设备提供 DNS 防火墙功能 充分保证 DNS 安全 DNSSEC 支持 UDP Flood DNS 放大和反射 服务单元层面 各服务单元部署防火墙 保证区域安全 WEB 服务单元直接面向 互联网用户 需要部署 SSL 卸载设备实现 SSL 加解密 提高业务访问安全 同时 通 过部署 WAF 保障 WEB 服务器的安全 5 数据中心运维保障体系建设 5 1 运维监控系统建设方案 面对复杂的业务监控和问题诊断 通过大数据分析找到指标和事件之间的关联关系 进行因果关系推导 并最终定位故障 制定解决方案 使运维能够更加自动化 智能化 地达成 保证服务高可用性的目标 即快速的问题发现 分析定位或止损 本案采用企 业级的开源分布式监控解决方案 Zabbix 并在该方案的基础上进行扩展 出现性能告 警时不仅通过各种渠道进行通知 更可以通过定制 APP 进行进一步日志信息获取 方 案智能推荐和自动执行 达到远程智能处理的效果 实现智能运维 上 海 xx 信 息 科 技 有 限 公 司 5 2 监控管理 通过 zabbix server 与可选组件 zabbix agent zabbix server 可以对 SNMP zabbix agent ping 端口监视等方法提供对远程服务器 网络状态的监控 数据收集等功能 可 以对包括 CPU 负荷 内存使用 磁盘使用 网络状况 端口监视 日志监视等功能进 行监控 同时也可以对 vmware java 数据库 weblogic 等系统进行监控 zabbix 支持多种网络方式下的监控 可通过分布式的方式部署和安装监控代理 整个结 构如下图所示 图 10 Server 即安装 zabbix 服务的服务器 是最核心的部份 支持多种操作系统 Zabbix Server 运行在主流 LAMP 环境下 资源要求较低 Agent 即安装在被监控设备上的 zabbix 代理 被监控设备上的数据由代理收集后统 一上传到服务器端由服务器端收集 整理并呈现 目前已有的 agent 基本支持市面常见 的 OS SNMP 为 agent 的一种 指支持 SNMP 协议的设备 通过设定 SNMP 的参数将相 关监控 数据传送至服务器端 支持各类常见的网络设备 IPMI Agent 的另一种方式 应用于设备的物理性能监控 如设备的温度 风扇的转 速等 上 海 xx 信 息 科 技 有 限 公 司 5 2 1 网络监控 端到端的网络设施平台 高级故障和性能管理功能 管理 WAN VoIP 网络设备 自动发现网络设备一系列包含设备配置的设备和接口模板 从支持 NetFlow 的设备直接导出 NetFlow 详细了解网络中带宽使用情况 查看带宽使用图样 生成报表 无需部署硬件探针 节约成本 通过采用 SNMP 模板深入了解网络流量及其模式 实时掌握网络状况 以及流量如何影 响网络总体健康状况 图 11 上 海 xx 信 息 科 技 有 限 公 司 5 2 2 服务器监控 图 12 采用 Zabbix Agent 代理方式监控服务器 监控服务器负载 磁盘利用率 进程 内存利用率 磁盘 I O 服务器 CPU 利用率等 5 2 3 应用监控 监控各种 WEB VDI AD 邮件等业务关键应用 通过监控 Microsoft NET Oracl JBoss Tomcat WebLogic WebSphere 和 Nginx 保 证应用服务器健康状况和可用性 监测和诊断应用服务器及其服务出现的问题 保证正常运行 5 2 4 数据库监控 监控包括 Oracle MS SQL 和 MySQL 的异构数据库服务器环境 上 海 xx 信 息 科 技 有 限 公 司 数据库管理员可以规划资源需求 及时排除故障 数据库大小 缓存大小 数据库连接时间标签 方便查看 6 采购需求 6 1 硬件部分 序 号 项目 名称 配置 数 量 单价 小计 1 服务器 DELL R730 2 E5 2620v3 2 6GHz 20M 缓存 8 12GB RDIMM 2133MT s 2 300GB 10K RPM SAS 12Gbps 2 5 英 寸热插拔硬盘 PERC H730P RAID 控制器 2GB NV 缓 存 Broadcom 5720 QP 1Gb 网络子卡 1 QLogic 2562 双 端口 8GB 光纤通道 HBA 热插拔冗余电源 1 1 3 上 海 xx 信 息 科 技 有 限 公 司 2 应用交付 F5 BIG IP BIG IP Switch 2000s Better Bundle LTM DNS AAM AFM SDN Routing 16G Max SSL Comp 包含一年 7 24 服务 单电源 2 3 存储 DELL SC2020 DELL SC2020 8Gb 光纤通道 8 端口 冗余控制器 每个 控制器 8 GB 内存 7 480GB SAS 6Gb 2 5 SSD RI 7 600GB SAS 6Gb 2 5 英寸 10K HDD 1 4 光交机 Brocade 300 共 24 口 8 端口 激活 带 8Gbps SFP 许可证 2 5 线材 光纤跳线 LC LC 8Gb 3M 光 纤跳线 10 6 瘦客户机 云端 S20X CPU D525 1 8GHz 双核 2G 内存 8Gssd 30 6 2 软件部分 1 软件许可 VS6 STD C VMware vSphere 6 Standard for 1 processor 6 上 海 xx 信 息 科 技 有 限 公 司 2 VCS6 STD C VMware vCenter Server 6 Standard for vSphere 6 Per Instance 1 3 HZ7 STD 10 C VMware Horizon 7 Standard 10 Pack CCU Includes vSphere Desktop 3 6 3 实施部分 阶段 子任务 编号 子任务 工时 人 天 备注 1 1 服务器 网络环境调研 2 1 2 软件环境调研 1 1 3 数据库环境调研 1 1 环境调研 1 4 迁移计划 实施方案编写 2 2 1 数据中心网络环境搭建 3 2 2 办公数据中心网络环境搭建 3 2 网络环境搭建 2 3 网络环境迁移及灾难恢复演 练 2 3 1 代码根据角色拆分 30 3 应用代码优化 3 2 代码分布式部署实践 2 4 1 硬件服务器存储初始化 操 作系统自动化部署 脚本测 试 2 4 应用环境搭建 4 2 vCenter 存储及虚拟化环境 3 上 海 xx 信 息 科 技 有 限 公 司 软件安装 4 3 故障切换及负载均衡配置及 性能测试 2 4 4 灾难恢复演练 1 4 5 相关问题总结会议及更新实 施文档 2 5 应用 POC 及迁移 阶段 5 1 切换域名 转发规则 脚本化 部署 2 6 1 数据库服务器存储初始化 脚本测试 2 6 2 数据库安装 主 从 从环境搭 建 3 6 4 程序联调 备份验证及性能 测试 2 6 5 灾难恢复演练 1 6 数据库环境搭建 6 6 相关问题总结会议及更新实 施文档 2 7 1 数据库导出 导入 完整性验 证 2 7 数据库 POC 及迁 移阶段 7 2 数据库环境交接及文档更新 1 8 1 AD 安装 DC 跨站点部署 2 8 1 View 环境搭建 2 8 虚拟化桌面实施 8 3 瘦客户机部署 2 9 监控部署 9 1 Zabbix 分布式监控软件部署 3 总计 人 天 80