H3C CAS 虚拟化平台架构

1.1H3CCAS虚拟化平台架构H3C公司依托强大的研发实力、广泛的市场应用和技术理解，以客户需求为导向，为企业新一代云计算数据中心基础架构提供一体化的云计算平台解决方案，帮助用户实现快速、可靠的虚拟化数据中心和云业务应用部署。H3CCAS云平台云计算解决方案包含统一的计算资源池、统一的网络资源池、统一的存储资源池，并提供了一体化的监控和部署工具进行统一的虚拟化与云业务管理，通过简洁的管理界面，轻松地统一管理数据中心所有的物理资源和虚拟资源，不仅能提高管理员的管控能力、简化日常例行工作，更可降低IT环境的复杂度和管理成本。CAS云计算管理平台服务器虚拟化、存储虚拟化和网络虚拟化只是构成云计算基础设施的硬件资源池，在云计算环境中，最重要的一点是实现资源池的自动化，避免人力对于基础设施的过多干预。H3CCAS（CloudAutomationSystem）通过自动化的管理平台和手段，帮助用户实现对云硬件资源和业务流程的快速部署与自动化维护和管理。H3CCAS云计算管理平台由三个组件构成：CVK：CloudVirtualizationKernel，虚拟化核平台运行在基础设施层和上层客户操作系统之间的虚拟化核软件。针对上层客户操作系统对底层硬件资源的访问，CVK用于屏蔽底层异构硬件之间的差异性，消除上层客户操作系统对硬件设备以及驱动的依赖，同时增强了虚拟化运行环境中的硬件兼容性、高可靠性、高可用性、可扩展性、性能优化等功能。CVM:CloudVirtualizationManager，虚拟化管理系统主要实现对数据中心的计算、网络和存储等硬件资源的软件虚拟化管理，对上层应用提供自动化服务。其业务围包括：虚拟计算、虚拟网络、虚拟存储、高可用性（HA）、动态资源调度（DRS）、虚拟机容灾与备份、虚拟机模板管理、集群文件系统、虚拟交换机策略等。CIC:CloudIntelligenceCenter，云业务管理中心由一系列云基础业务模块组成，通过将基础架构资源（包括计算、存储和网络）及其相关策略整合成虚拟数据中心资源池，并允许用户按需消费这些资源，从而构建安全的多租户混合云。其业务围包括：组织（虚拟数据中心）、多租户数据和业务安全、云业务工作流、自助式服务门户、兼容OpenStack的RESTAPI接口等。企业云政府云教育云医疗云电力云API业务编排层组织/虚拟数据中心自助服务门户云业务工作流管理层虚拟机生命周期管理镜像文件管理多租户安全管理策略配置管理自动化服务层弹性计算服务容灾备份服务弹性负载均衡服务虚拟机模板服务虚拟化层虚拟计算资源池虚拟存储资源池虚拟网络资源池硬件基础设施层计算存储网络从逻辑架构上，H3CCAS云计算管理平台包括虚拟化层、自动化服务层、管理层、业务编排层、API层：虚拟化层利用CVK提供的底层虚拟化能力和上层CVM提供的管理能力，屏蔽底层物理硬件基础设施的异构性和复杂度，对外以虚拟资源池的形式呈现。自动化服务层强调业务运行的高可用性和可扩展性，并未业务提供自动的容灾备份与资源调度能力。管理层对虚拟化资源及云运营要素进行管理，如虚拟机生命周期的管理、虚拟机镜像文件和配置文件的管理、多租户的安全隔离、网络策略配置的管理等。业务编排层对云计算资源进行可运营性管理，包括对虚拟资源池的编排、最终用户的自助服务门户、业务的申请、审批与开通、用户帐务的管理与报表输出等。API层为第三方云运营管理平台提供RESTful的API接口。1.2H3CCAS虚拟化平台特点1.2.1完善的虚拟机生命周期管理传统的虚拟机生命周期是指虚拟机从创建到删除所经历的各个阶段，最常见的划分为“创建、运行、终结”三个阶段。在IaaS架构中，虚拟机作为最为重要的IT基础设施，它的生命周期供贯穿于整个云业务服务的流程之中，并直接关系着云计算平台的资源利用状况。因此，为了更好的将虚拟机的生命周期管理和云业务及资源平台管理结合在一起，在H3Cloud云计算解决方案中，将虚拟机的生命周期外延为“规划、创建、运行、调整、终结”五个阶段。在云解决方案中，虚拟机生命周期的管理除了关注虚拟机正常的生命阶段以外，还需要关注虚拟机两个外延属性一一业务和资源。1. 规划虚拟机的规划是IT架构的关键设计畴在这个阶段需要将业务需求转化为IT需求，并落实到业务和资源两个方面的规划设计中来。着重考虑两个方面的容：业务梳理和评估通过对业务的梳理，评估数据中心平台各业务部门对虚拟机类型和规模的需求定义各部门组织以及给组织划分其所属的虚拟资源，包括计算资源，网络资源，存储资源以及虚拟机模板等。实际操作流程如下图所示：ftiukidJiSLrq-Uf片(rjh:2. 创建虚拟机的创建是虚拟机实体诞生并提供给用户业务的开始。H3Cloud云方案提供了多种方式来创建虚拟机：从模板生成，自定义参数，克隆等。虚拟机创建时需要考虑硬件资源（CPU数量（核数）&CPU调度优先级，10资源：存储资源&I0优先级。存大小，网络资源等）和系统和应用（操作系统等）两方面的容。这些因素在H3C云管理平台中虚拟机创建流程中都会有涉及，具体操作界面如下图所示：wjq盘标nQq1逹甘雪昌HlK丰乱iSt-.I总叱丑匚竇;惑f：刼霍此士/谯王石MWHR封：CPUHhE.1B*I益*壬mjurs；flcpi.rtttr.M1:中*“nn*tiIlflLiMltt3. 运行虚拟机的运行可以实现完整的传统物理机运行状态。而且依托虚拟化技术实现更加灵活的虚拟机使用模式：启动、休眠、关闭、暂停、恢复、重启。用户可以依托H3C云管理平台简单的实现上述虚拟机的状态的切换，具体如下图所示：11Jj吧冈uiiFw冃0碑“HH看-r.PfflR*Mm區屮2SkHriftaw吟daa*aiu*-i寺（4利dn7Bi=a*sEHaIEEnwHs师RQ9餌QLHXdSIH段陋MHHJi*HIM目KEPILn舸d子阿啊SfFVEBemota适shifl2.iee.O42662552=5.0找M|JxVEBmmJ一-XJonSng加攜林女散按收尹T!取蛟推左融鮭刊甕mifh-repjOSnecigEUE2.S4:00:lc5a:243H.DQWfeSB2SKBmu-rtfr-02vnsSfi*B1Ei3=4：QQ;46：3d3Q1.44KS466.(HffiVl4mmT已加&Tjnsto535400XDsErTSIf221因KBmln證如vnetfi0234C7i?口D?tQ0DOB.J-0132R11KQrTlEtkJ疋ItM3E：iO:d2aiO33304J9B.1r甜i.e-eKe1.2.3兼容第三方虚拟化平台的独立智能软件交换机组件H3CS1010V是H3C公司面向企业和行业数据中心虚拟化环境推出的一款智能软件交换机产品，适用于VMwareESXi企业增强版环境。通过与VMware公司密切合作，3CS1010V能够与VMware虚拟基础设施完全集成其中包括VMwarevCenter和VMwareESXi，并替代VMware的基本虚拟交换机，为虚拟机提供功能增强型的分布式虚拟交换能力。H3CS1010V在设计上遵循OpenFlow标准体系架构，实现控制平面与转发平面分离的可编程网络技术。整个产品包括VCE、VFE和Plugin三个部分。vCenterServerwnwareL服务器1VMVMVMVMVFEVMwareESXiVMwareESXi链路聚合等VFE（VirtualForwardingEngine）虚拟转发模块，安装和运行在VMwarevSphere中，取代VMware虚拟交换机。扮演OpenFlow数据平面的角色，实现虚拟网络端口的流量控制与转发。多个VFE组成了分布式虚拟交换机。VFEVCE（VirtualControllerEngine）虚拟控制模块，以虚拟机的形式交付。扮演OpenFlow控制器的角色，实现VFE模块的集中管理和配置。与VMwarevCenter紧耦合。Plugin（插件）通过VCE注册到vCenterServer，以插件的形式运行在vCenterServer中。在VMwareVDS的基础上，增强vNIC端口网络控制能力（如PVLAN、VEPA、S1010VVCEVFEVMwareESXi服务器3VMVMVM#10#11#12J服务器2BVMVMVM#6#7#8H3CS1010V虚拟化产品系统架构VFE（VirtualForwardingEngine，虚拟转发引擎）安装和运行在ESXi服务器上，是VMwareESXi核的一部分，能够完全取代VMware虚拟交换机的功能。从定位上看，相当于OpenFlow标准中的OpenFlow交换机，扮演数据转发平面的角色，实现虚拟网络端口的流量控制与转发。VFE接收到数据包后，首先在本地的OpenFlow流表中查找转发目的端口，如果没有匹配，则把数据包转发给VCE模块，由控制层决定转发策略和转发端口。部署在多个ESXi上的VFE组成一个跨物理主机的分布式软件虚拟交换机。当虚拟机发生迁移的时候，虚拟网卡上的网络策略能够在各个服务器上同步。VCE（VirtualControllerEngine，虚拟控制引擎）以标准的OVF（OpenVirtualizationFormat，开放虚拟化格式）虚拟机格式交付，通过VMwarevCenter提供的OVF模板部署功能安装在一台单独的虚拟机上。从定位上看相当于OpenFlow标准中的控制器（Controller）通过WebGUI界面，实现VFE的集中管理和配置。Plugin（插件）运行在VMwarevCenterServer上的一个插件，是H3CS1010V专为VMware定制开发的第三方管理接口，主要提供端口策略组的配置界面。H3CS1010V运行在VMwareESXi管理程序中，支持标准的IEEE802.1Qbg（EVB）协议标准和开放的OpenFlow体系架构，提供：基于端口策略组的虚拟机网络连接；网络策略随虚拟机迁移自动化感知能力；清晰化的网络与计算资源管理边界。1.2.4HA高可用部署传统数据中心的服务器高可靠性保障通常会选择依赖于集群技术的部署。而云计算平台将计算资源虚拟化以后，可以利用虚拟服务器自身虚拟化的特点实现传统物理服务器上无法实现的高可靠性。为了提升云业务系统的可靠性，在云计算平台的计算资源池建设时，可以将多个物理主机合并为一个具有共享资源池的集群。CVMHA功能会监控该集群下所有的主机和物理主机运行的虚拟主机。当物理主机发生故障，出现宕机时，HA功能组件会立即响应并在集群另一台主机上重启该物理主机运行的虚拟机。当某一虚拟服务器发生故障时，HA功能也会自动的将该虚拟机重新启动来恢复中断的业务。具体操作如下图所示：-丄云廃憑*ia：*力云胖呂$畴*群驀xs用户:就龙箕罰境除了对集群中的物理服务器节点进行持续检测之外，H3CCASHA软件模块还对运行于物理服务器节点之上的虚拟机进行持续检测。在每台服务器节点上都运行了一个LRMd（LocalResourceManagerdaemon，本地资源管理器守护进程），它是HA软件模块中直接操作所管理的各种资源的一个子模块，负责对本地的虚拟化资源进行状态检测，并通过shell脚本调用方式实现对资源的各种操作。当LRMd守护进程检测到本机的某台虚拟机出现通信故障时，首先将事件通知给DC，由DC统一将该虚拟机状态告知集群所有的物理服务器节点，并按照一定的策略算法，为该故障的虚拟机选择一个空闲的服务器节点，在该节点上重启该虚拟机。共享存储池SAN/iSCSI/NFS在集群内自动为虚拟机选择空闲的服务器节点，实现动态迁移和业务的高可靠性服务器集群VMLRMdVMVMCVKVMVMLRMd持续检测本机虚拟机运行状态，由DC为故障的VM自动选择迁移后的服务器节点。使用H3CCAS云计算软件HA特性进行虚拟机故障切换H3CCASHA技术有效的解决了目前其它高可用性解决方案面临的问题：当物理服务器发生硬件故障时，所有运行于该服务器的虚拟机可以自动切换到其它的可用服务器上，相对传统的双机容错方案，H3CCASHA可以最大程度减少因硬件故障造成的服务器故障和服务中断时间。不同于其它HA的双机热备方式，所有参与HA的物理服务器都在运行生产系统，充分利用现有硬件资源。同时，对众多的操作系统和应用程序，H3CCAS提供统一的HA解决方案，避免了针对不同操作系统或者应用，采用不同的HA方案带来的额外开销和复杂性。通过H3CCASHA，IT部门可以：为没有容错功能的应用提供冗余保护传统意义上HA实现很复杂并且价格昂贵，多用于关键性的服务或应用，而H3CCASHA为所有的应用程序提供了高性价比的HA解决方案。为整个IT环境提供“第一条安全防线”不同于其它基于操作系统和应用的HA实现方式，H3CCASHA为IT系统提供了更统一、更易于管理的高可用性解决方案。H3CCAS用最少的成本和最简单的管理方式为所用的应用提供了最基本的冗余保护功能。综上所述，H3CCASHA解决方案的技术特点总结如下：1. 自动侦测物理服务器和虚拟机失效H3CCAS会自动的监测物理服务器和虚拟机的运行状态，如果发现服务器或虚拟机出现故障，会在其它的服务器上重新启动故障机上所有虚拟机，这个过程无需任何人为干预。2. 资源预留H3CCAS永远会保证资源池里有足够的资源提供给虚拟机，当物理服务器宕机后，这部分资源可以保证虚拟机能够顺利的重新启动。3. 虚拟机自动重新启动通过在其它的物理服务器上重新启动虚拟机，HA可以保护任何应用程序不会因为硬件失效而中断服务。4. 智能选择物理服务器当与H3CCAS动态负载均衡功能共同使用时，H3CCASHA可以根据资源的使用情况，为失效物理服务器上的虚拟机选择能获得最佳运行效果的物理服务器。HA功能给企业云计算平台带来的价值如下：简便的设置和启动：使用“新建集群”向导来进行初始设置，使用H3CCVM虚拟化管理平台添加主机和新的虚拟机。降低硬件成本和设置：在传统集群解决方案中，必须有重复的软硬件，而且各个组件必须正确连接和配置。使用CVM集群时，只要保证有足够的资源容纳要确保其故障切换的主机的数量，就可以便捷自动地完成主机故障切换。无论硬件和操作系统平台如何，CVMHA都通过为应用程序提供可用的、经济的高可靠性，而使其更“大众化”。1.2.5DRS动态资源调整CVM提供的动态资源调整功能可以持续不断地监控计算资源池的各物理主机的利用率，并能够根据用户业务的实际需要，智能地在计算资源池各物理主机间给虚拟机分配所需的计算资源。通过自动的动态分配和平衡计算资源，动态资源调整特性能够：整合服务器，降低IT成本，增强灵活性；减少停机时间，保持业务的持续性和稳定性；减少需要运行服务器的数量，提高能源的利用率。随着业务量的增长，虚拟机对计算资源需求会相应的迅速增加。此时其所在物理主机的可用资源可能就不能再满足其上承载的虚拟机的计算需要。CVM动态资源调整功能组件可以自动并持续地平衡计算资源池中的容量，可以动态的将虚拟机迁移到有更多可用计算资源的主机上，以满足虚拟机对计算资源的需求。即便大量运行SQLServer的虚拟机，只要开启了动态资源调整功能，就不必再对CPU和存的瓶颈进行一一监测全自动化的资源分配和负载平衡功能，也可以显著地提升数据中心计算资源的利用效率，降低数据中心的成本与运营费用。VMVMVMVMVMVMVMVMVMVM集群物理,器如上图所示，动态资源调整功能通过心跳机制，定时监测集群主机的CPU利用率，并根据用户自定义的规则来判断是否需要为该主机在集群寻找有更多可用资源的主机，以将该主机上的虚拟机迁移到另外一台具有更多合适资源的服务器上。具体操作如下图所示：除了定时检测和动态迁移之外，H3CCAS还充分考虑了虚拟机对物理服务器主机的亲和性因素，即衡量虚拟机对当前物理主机的依赖程度。例如，用户可能希望某些虚拟应用系统只允许在固定的物理主机上运行，而不允许其动态迁移。此时，只需要在H3CCAS云计算管理平台上，去勾选虚拟机的自动迁移属性即可（虚拟机自动迁移属性配置）。动态资源调整技术特色总结根据业务需求自动调整资源H3CCAS动态资源调度功能将物理服务器主机资源聚合到集群中，通过监控CPU和存等关键计算资源的利用率持续优化虚拟机跨物理主机的分发，将这些资源动态自动分发到各虚拟机中。自动平衡计算容量H3CCAS动态资源调度功能会不间断地平衡资源池的计算容量，提高服务级别并确保每个虚拟机能随时访问相应资源，满足虚拟应用程序的高可用性。1.2.6DRX动态资源扩展H3CDRX解决方案可以在云平台中实现基于用户业务负载的资源弹性扩展功能。虚拟化管理平台能够主动探测用户业务负载情况。当用户业务负载增加至超出事先设定的阈值时，虚拟化管理平台自动创建或开启承载该业务的虚拟机以增加该业务的计算资源。当业务负载减少至超出事先设定的阈值时，虚拟化管理平台自动减少承载该业务的虚拟机以释放计算资源。内甘业址状态的资訴门功弹tt扩展J业势資海组狀态统计莒皂展示H3CCAS平白”凡性扁俎业茅J如上图所示，H3CDRX解决方案的主要功能如下：基于动态资源扩展虚机组的负载监控用户事先设定好业务负载阀值。包括业务负载的上限和下限阀值。当用户业务增加到超出上限阀值时增加虚拟机资源；当用户业务降低到超出下限阀值时减少虚拟机资源监控运行于虚拟化平台上承载用户业务的虚拟机cpu、存、网络等资源的实际负载状况当业务负载超出用户事先设定的阀值后给虚拟化管理平台上报资源扩展事件，以触发虚拟化管理平台自动进行资源的弹性扩展（包括资源的增加和回收）%始钟%Q旺岂P态赍苗扩莊M务丘战曲揑壬魏圧冏企弟竖苴昊业整细F1匡匸宦拟机叭4以V内存芈内就月率生曲纹叭I弓n担展圈诅卜寸荼読将白初J展止玉$L:H+回収旳化时，.生统将白动旦也埜1;札资源扩展策略的设定当用户业务负载超出或者低于事先设定的上下限阀值时，以虚拟机的形式实现业务资源的弹性扩展。包括资源的增加和资源的回收动态资源扩展业务信息展示提供丰富的动态资源扩展业务的统计信息展示1.2.7虚拟机的资源限额默认情况下，H3CCAS给每台物理服务器主机上的虚拟机分配数量相同的CPU、存以及磁盘I/O资源。但是，并不是所有虚拟机工作负载天生相同，例如，SQL服务器和Web服务器的访问需求就不尽相同，因此，手动调整分配给每个虚拟机的资源就显得非常重要。服务器集群VMVMVMCPU优先级磁盘I/O优先级VM#1高中VM#2中高VM#3低低VMVMVMCPU%VM#1VM#2VM#3I/IPnetworkH3CCAS通过资源限额方式来为虚拟机指定资源调度的优先级。有三种预设的限额分配方式：高、中、低，调度优先级权重分别为4:2:1，反映到份额上的数值如下表所示：高中低优先级权重421CPU调度优先级数值20481024512CPU调度优先级百分比57.1%28.6%14.3%磁盘1/0调度优先级数值800500300磁盘1/O调度优先级百分比50.0%31.2%18.8%比如，一台物理服务器主机上分配了5个虚拟机，CPU调度优先级分别为高、中、中、低、低，那么，高优先级的虚拟机至少可以获得4/(4+2+2+1+1)=40%的CPU资源，中优先级的虚拟机至少可以获得20%的CPU资源，而低优先级的虚拟机至少可以获得10%的CPU资源。需要强调的是，虚拟机资源限额机制的真正目的是为了确保每个虚拟机对资源的调度下限，如果物理服务器上没有发生虚拟机的资源抢占行为，那么，即使是低优先级的虚拟机也有可能独享该物理服务器上绝大部分的资源。高中低SQL服务器Web服务器_Mail服务器OVM#1OVM#2OVM#3高中低jSQL服务器Web服务器Mail服务器OVM#1OVM#2QVM#3VM#1资源发生抢占的情况下，CPU资源调度优先级严格按照4:2:1的权重确保所有的虚拟机都能抢占到一定的资源，保证业务的可用性。VM#2VM假如高优先级的虚拟机处于负载低潮时，中优先级和低优先级的虚拟机可以抢占本属于高优先级虚拟机的资源，以提高应用程序的效率和物理资源的利用率。当所有的虚拟机都处于满负载运行的情况下，CPU资源严格按照4:2:1的权重比例进行调度，以确保所有的虚拟机都能抢占到一定数量的资源，保证业务的可用性。一旦某个虚拟机的负载回落到权重比例之下，那么，其它的虚拟机可以抢占本属于该虚拟机的资源，以最大限度地利用物理资源的利用率，保证应用程序的运行效率。1.2.8虚拟机的备份随着云平台对IT信息化系统的依赖加深，业务系统备份是必不可少的组件。相应的，在云计算平台中，针对计算资源池中虚拟机备份也至关重要。H3CloudVirtualizationManager实现了透明的定时备份和即时备份功能，会在暂停虚拟机中的应用程序之后，为正在运行的虚拟机创建快照，从而对备份工作进行集中处理，以确保文件系统的一致性。如下图所示：呼DCLI暑*#曲HUH3CloudVirtualizationManager的备份特性是一种高效而低成本的灾难恢复特性，它将给用户带来如下价值：基于磁盘的备份功能，为虚拟机提供快速、简单的数据保护无需额外代理的备份，简化了部署复杂度支持全自动的定时备份和手工干预的即时备份，满足不同的应用要求1.2.9完善的性能状态监控基于物理服务器的性能监控提供物理服务器CPU和存等计算资源的图形化报表及其运行于其上的虚拟机利用率TOP5报表，为管理员实施合理的资源规划提供详尽的数据资料。HI要CPUS用审皿CPUIP地址10.152.200.81上I三祀且弓HPProUardDL380G7uf：l芯虽2*65型号IntellRjXeanlR)CPUEPL-Lt?!2.52GHZ内存125.91GB占伽11t抚El13I-1.-：7H-内再制用宰.4211.4511.4811.51OOOQOOOOO0O1Oa-d765422Top5曲tttPUSM用聿vOOOa-rtOIOTi-HaO61v0011-rt-DDB06-lGO71UW利用率vnnqnnAQfifinha二ITOP5嗨擢血内存刑用率111卅VDQ5Z-ED0398160113v9DQO3-CDmmon0004-0107-150&4内桶Jffl率廊物理服务器性能图形报表基于虚拟机的性能监控提供虚拟机CPU、存、磁盘I/O、网络I/O等重要资源在的关键元件进行全面的性能监测。喚曲吐呈站计lElMbpsJ5*亠ZHftJi伍】11：e心dhftMy4i：dTfTil0-EnstemT砌：.f9垃甩戶记:iFHtF?*st-*8W-nXKFmlLhC|谊i=W曰!Hi?115-近2fituIJCVtJiiGrU.iUJTLIS!199235233JalU-IKZDIu*HUei:mh：4UtKWt-B=：BWiTTiBtfir*iEft(n4iio-m-JemsW+4kBmi4V农力斗1寸特阿2!T22Wwparm*Jr直虚拟机性能图形报表基于虚拟交换机的性能监控提供虚拟机交换机上各个虚端口的流量统计与模拟面板图形化显示。CA5H3CCAS-svf#M:RlBTWrlmik:jra:曇苦esma口Wu朗隔7F*r4jteJUEHFJd俱歸承岂爭虚拟交换机状况监测基于虚拟网卡的性能监控提供进出虚拟机虚端口的流量的图形化实时显示。虚拟网卡性能状况监