VMware虚拟化技术在金融系统的应用现状和思考

和思考作者：张建新 来源：中国金融电脑 2018年第10期近年来，PC服务器资源池项目在金融行业得到了大面积的推广。作为该项目的核心技术， VMware 虚拟化技术表现出了强大的灵活性、稳定性和高可用性。在日常运维中，它的高连续性、 模块化、自动化等诸多优势得到充分展现。作为项目的实施单位，我们切身感受到了 VMware 虚拟化技术带来的便利性，同时，在多年的运维过程中, 针对数量庞大的虚拟机如何进行有效 管理和运维也是银行面临的一个挑战。一、虚拟化技术、服务器虚拟化概述虚拟化是指通过虚拟化技术将一台计算机虚拟为多台逻辑计算机。在一台计算机上同时运 行多个逻辑计算机，每个逻辑计算机可运行不同的操作系统，并且应用程序都可以在相互独立 的空间内运行而互不影响，从而显著提高计算机的工作效率。虚拟化使用软件的方法重新定义 划分IT资源，可以实现IT资源的动态分配、灵活调度、跨域共享，提高IT资源利用率，使 IT 资源能够真正成为社会基础设施，服务于各行各业中灵活多变的应用需求。服务器的虚拟化（如图1 所示）是指服务器的物理资源抽象成逻辑资源，让一台服务器变 成几台甚至上百台相互隔离的虚拟服务器，使服务器不再受限于物理上的界限，让CPU、内存、 磁盘、I/O等硬件变成可以动态管理的“资源池”，从而提高资源的利用率，简化系统管理， 实现服务器整合，让服务器对业务的变化更具适应力。虚拟化不仅可以帮助企业和机构提高设 备利用率与可靠性，同时可以解决计算单元管理等方面的问题，给企业带来了很大的成本、安 全性和管理简易性等方面的收益。服务器虚拟化市场的领头羊是VMware、微软和Citrix。其中VMware产品支持30多种客 户机系统，半虚拟化64位虚拟化技术，可以利用VMotion产品来实现在线转移功能。Virtual Center 在单一接口下, 管理、监控并部署和复制虚拟机，并能监控实体与虚拟服务器的可用性 与使用率，还可以支持虚拟化HA环境，实现高可用性。VMware还与多家云计算提供商合作， 可以提供云计算的需求。虚拟化技术的逻辑结构如图2所示。I viirftlET ftIIIEJflU：奇叱 毎吁5HI叱flk叶昴、VMware 虚拟化技术在农业银行的布署架构农业银行使用 VMware vSphere 软件构建的 PC 服务器资源池，资源池的架构如图 3所示。根据网络和业务架构，总体架构包括一个或多个高可用性ESX主机群组和一般业务ESX主 机群组。1. 高可用性ESX主机群组可以由一个或多个VMware HA群集组成。通过VMware HA技术，监控群集中所有ESX主 机。虚拟机文件驻留在由光纤存储或iSCSI存储组成的共享存储上。ESX主机产生故障时，虚 拟机自动在备用资源上重新启动。2. 一般业务ESX主机群组由活动资源池和备用资源池组成。活动资源池提供虚拟机正常运行所需要的资源。虚拟机 在备用资源池保留镜像。ESX主机产生故障时，手工在备用资源池的ESX主机上启动虚拟机。 备用资源池中的ESX主机数量按照活动资源池ESX主机数量的20%配备，备用资源池中的ESX 主机配备足够的本地内置存储。三、虚拟化技术在农业银行信息化建设中的优势经过多年的建设，农业银行已建成了完整可靠的PC服务器虚拟化资源池，包含200多台 物理主机和近千台虚拟机，涵盖农业银行大部分核心应用系统和办公应用系统。虚拟机的大量 使用，使虚拟化技术的优势充分显现出来，节省了资源和成本，提高了效率，增强了应用的高 可用性。具体来讲，表现在以下几个方面。1. 快速部署应用在PC服务器资源池中，利用虚拟机模板，我们可以按照应用部门的要求，迅速配置运行 环境，并根据不断变化的业务需求，对资源实施动态部署和重新配置，缩短了新应用的部署时 间。2. 节省硬件资源、提高设备使用效率通过虚拟化，我们在每台高配的物理主机上建多台虚拟机，运行多个操作系统，实现了 PC 服务器的CPU、内存、磁盘、网卡等物理资源的共享，有效地提高了物理服务器资源的使用率。 通过资源整合，淘汰老旧设备，在实现业务快速发展的同时，也减轻了机房空间、电力、空调 的压力，提高了效能，降低了风险。3. 减少业务应用对服务器硬件资源的依赖通过虚拟化 VMotion 或克隆技术，虚拟机可以在不同主机间快速平稳地迁移, 减少了物理主机的硬件升级、 维修对应用所产生的影响，缩短了应用在物理主机维护期间的停机时间。4. 以较少硬件资源实现高可用性高可用性ESX主机群组通过VMware HA技术，监控群组中所有ESX主机。发生故障时， 虚拟机自动在备用资源上重新启动，实现服务器的高可用。在引入 PC 服务器虚拟化技术以前 为保证服务器的高可用，必须通过一对一购置相等的硬件资源通过 HA 或群集模式实现高可用 硬件固定，在业务发展一段时间后，随着业务量的增加，还需进行相应的硬件升级。PC服务器 虚拟化后，可以通过建立资源池，以所需硬件较小的资源池，完成一对多的备份。5. 简化了服务器管理通过vCenter统一管理平台，分级别、分权限对应用虚拟机方便地进行管理、克隆、分配 资源、增减配置、备份或监控性能。四、VMware虚拟化技术在运维中存在的问题随着虚拟化技术在农业银行的广泛使用，虚拟机数量呈爆发式的增长。如何对数量庞大的 虚拟机群进行有效管理和运维是每个使用单位所面临的一个挑战。我们梳理了在运维中已经遇 到的和潜在的隐患，与大家共同探讨。1. 虚拟化管理制度的缺乏目前，专门针对虚拟化管理的制度还比较欠缺。很多用户对虚拟化系统的管理没有充分认 知，在部署后也没有重视并实施具体的管理方法，这很可能会导致虚拟环境产生性能问题，并 给系统管理员带来无尽的新的问题。在虚拟化中，大量的需求都是动态的，这也意味着在部署 虚拟机之后需要进行持续地管理与优化。系统管理员必须从一开始就做好虚拟机生命周期管理 规划，并同时配备相关虚拟化管理制度。2. 物理主机的安全风险物理服务器是整个系统架构中最基本的组成部分，所有的虚拟机都 依托于物理服务器运行，一旦服务器发生软、硬件故障或异常宕机，那么整个运行于其上的虚 拟机就会面临着运行风险，从而影响到业务。首先，要确保物理主机的安全可靠。在多数金融 企业中，不可避免地会存在多个品牌的服务器，对于部分机型较老、配置较低、故障率较高、 潜在风险比较大的物理机，可以采取迁移、淘汰的办法，将其上的虚拟机迁移到配置较高的机 型上，进而将这部分物理机淘汰。其次，采购主机时，选择合适的主机硬件，特别需要关注的是机器主要硬件对ESX版本能 否有良好的支持。主机设备到货后，及时进行微码升级，尽量减少Bug的影响。对维保公司， 要特别要求在机房留有备件，一旦出现硬件故障，能及时更换解决。最后，还要加强主机安全巡检，关注机器信息面板，发现报警灯亮起应及时进行诊断及修 复。在实际使用中应充分做好虚拟机的备份，以便在物理机发生单点故障时，能快速启动虚拟 机备份以满足应急需求。3. 资源共享带来的资源争用多个虚拟机部署到同一台物理机上，会造成资源的相互争用。我们在实践中发现，一般情 况下，虚拟机资源争用现象在CPU、内存上表现并不明显。而磁盘读写频繁的虚拟机群磁盘10 资源争用比较突出。所以在部署虚拟机时，需要将磁盘10需求高的虚拟机与磁盘IO需求低的 虚拟机搭配部署。4. 虚拟机的安全风险由于虚拟机上可能运行着各种操作系统，如果有安全漏洞的虚拟机没有及时修补漏洞，不 仅会影响其自身安全，而且有可能会将安全风险扩散。因此，为了确保虚拟机的安全运行，需 要及时进行漏洞的修补，同时也需要部署必要的安全工具。安装杀毒软件和恶意软件防护程序， 防止虚拟机遭受病毒及恶意软件的侵袭。5. PC 服务器资源的浪费问题由于虚拟机具有易于部署、快速便捷的特点，应用部门在申请虚拟机时随意性较大，对于 CPU、内存、硬盘的需求大多没有进行调研，往往直接申请VMware所能达到的满配，有的甚至 超出了操作系统所能识别的上限。而这些虚拟机在运行过程中，CPU和内存的使用率也偏低， 存在着极大的浪费。在日常运维中，我们还发现，资源池中存在着一些长期不再使用的虚拟机。由于应用部门 未能及时申请删除，这部分虚拟机也占用了大量的资源。针对以上问题，我们规范了虚拟机资源申请流程，加强审核，适当控制虚拟机资源的需求， 严格确认资源的使用时间，到期后按时回收。加强与应用开发部门的沟通，保证虚拟资源申请 的准确性与合理性。6. 虚拟机备份及恢复问题对虚拟机进行合理备份，可以保证物理机或虚拟机出现故障后，在最短的时间内恢复。目 前我们使用的备份方式主要有虚拟机克隆和VDR备份。(1) 虚拟机克隆备份。克隆是虚拟机备份的最常见方式，将虚拟机克隆至备用主机的本地 磁盘或NAS存储上。通过克隆备份的虚拟机恢复十分简单，只要选中它并根据实际需要迁移到 指定的主机下，启动电源重新进行网络设置后就完成虚拟机的恢复。由于虚拟机的数量巨大， 手动备份工作非常繁琐。在实践中，也可以通过编写一些小程序来实现自动批量克隆备份。(2) VDR备份和恢复。VDR2.0是VMware5.0提供的虚拟机备份和恢复工具，它提供了对 备份数据的重复数据删除和压缩功能来节省磁盘空间，它仅对虚拟机磁盘文件中变化的数据块 部分做备份，使得在第一次全备份完成之后的备份过程非常快速。 VDR 备份操作简单，登录后 进行虚拟机备份策略的设定，VDR便会按照策略自动执行备份。在还原虚拟机时，选择一个还 原时间点，将虚拟机还原到指定的ESX主机上。（3）利用 vSphere Da ta Pro tec tion （VDP）备份。VDP 备份得益于 EMC Avamar 技术， Avamar 是一款高效的虚拟机备份产品，对于虚拟机备份从备份效率到重复数据删除效率都优于 其他备份厂商，VDP备份插件和VDR 样，VMware公司提供了部署应用的ova虚拟机模板， 需要在vSphere Web Client上进行相关的配置工作，每个VDP虚拟机最多可以备份100台虚 拟机，并具有定时备份和删除重复数据的功能。VDP可以说是VMware较为稳定的一个备份产 品，无论在备份效率和稳定性上对于VMware前期的备份产品都有了较大程度的改进和提高。在PC服务器资源池的备份工作中，可以通过以VDP和虚拟机克隆相结合的方式作为虚拟 机备份的主要策略来使用。五、VMware虚拟化技术运维的优化探索在日常运维中，我们也探索了一些行之有效的管理方法。1. 虚拟机统一分组根据虚拟机应用系统的服务对象、服务时段、应用数据相关性等几个维度将虚拟机物理主 机进行分类整合。按应用属性将ESX主机分为柜面业务类和24小时业务类，在创建虚拟机时，虚拟机根据 自身应用属性，按类别部署在同类ESX主机上。分为这两个类别后，在日常维护时，可以轻松 地协调出停机维护时间段。同时按业务类型，规划出高可用存储资源池集群和普通 ESX 主机群 将重要应用及数据库和普通应用虚拟机分类存放，提升资源利用率，也有效降低虚拟资源池维 护管理的复杂度。进一步扩大PC服务器资源池的规模，优先将资源要求高的虚拟机升级至VMware的较高版 本；重要业务系统调整分布在双 SAN 存储保存，多措并举，降低运行风险，提高业务的连续性。2. 虚拟机模板统一制作针对虚拟机的部署，采用统一的Suse模板、Windows模板。所有模板均参照总行的 Runbook 最新版本进行制作，大大提升了系统版本的规范性。随着数据库和 WAS 在虚拟机上部署得越来越多，可以考虑同时在模板中内置一些自动脚本， 如虚拟机信息配置（IP、主机名），数据库的创建（vg, lv，建库），Was应用节点的创建 （dmgr，node，server 等）。当虚拟机部署完毕后，如果需要，仅需修改配置文件，脚本即可 自动完成各项配置工作，这将大大提升虚拟机部署的自动化，也减轻了运维人员的工作量。3. 利用F5负载均衡系统，对虚拟机进行负载均衡配置F5 负载均衡系统的负载均衡器通过负载均衡机制将所有请求平均分配到多台节点服务器， 使得系统业务处理能力大大提升。此外，负载均衡器还能监控服务器节点的可用性，其中某一 台服务器故障时，能将访问请求转移到其他可以正常工作的服务器。通过这一技术，即使出现 单点故障需要维护或维修，也不会影响到业务连续性。通过建立虚拟机负载均衡群集，让多台虚拟机使用F5设备做负载均衡并对外提供服务， 一台虚拟机出现故障时，其他虚拟机继续提供服务，对前台客户不产生影响。这不仅解决了虚拟机的单点故障，也解决了单台虚拟机存在的性能瓶颈问题，目前农业银行BoEing、NEWB0S、ACBS 等系统均采用了负载均衡群集的模式。VMware 虚拟化技术在给我们带来便利的同时，也带来了许多的运维及管理风险。随着虚拟 机数量的急剧增加，虚拟机的运维管理问题也越来越突出，这就要求我们在日常运维中，要从 人员、操作和技术等多个方面来综合考虑安全保障，严格执行安全措施，切实落实日常巡检， 备份情况检查等日常维护工作，最大限度地化解运行风险。同时，也要积极探索行之有效的管 理方法，最大限度地发挥虚拟化技术的作用。