天津市教育“三通两平台”区县云数据中心建议方案.doc

天津市教育“三通两平台”区县云数据中心方案技术建议书技术建议书杭州华三通信技术有限公司目录1项目建设背景32本期项目建设范围及目标要求32.1本期天津市“三通两平台”区县云计算数据中心建设目标32.2建设原则43本期项目方案设计要点44“三通两平台”区县云计算数据中心总体部署方案54.1区县云计算数据中心设计64.1.1区县云计算数据中心整体设计64.1.2融合数据中心设计74.1.2.1网络与安全融合设计114.1.2.2网络与计算融合设计144.1.2.3计算与存储融合设计204.1.3区县云计算数据中心计算资源池设计214.1.3.1计算资源池的关键设计思路214.1.3.2新建计算资源池234.1.3.3利旧设备计算资源池264.1.3.4计算资源池总体容量评估274.1.3.5行政管理权限设计274.1.3.6业务快速部署设计284.1.3.7典型业务保障设计304.1.3.8业务迁移设计324.1.3.9业务编排自动化设计354.1.4区县云计算数据中心存储池设计414.1.4.1零存储方案的实现414.1.4.2零存储方案的特点和价值434.2区县下属学校云节点设计444.2.1应用集中带来的挑战444.2.2云点解决方案架构454.2.3云点方案关键-VSR454.2.4云点统一资源管理464.2.5云点业务部署474.3市级综合管理平台设计474.3.1市级综合管理平台总体设计474.3.2H3C OpenStack云管理平台484.3.2.1H3C OpenStack云管理方案485本次方案推荐设备及设备说明505.1推荐设备详细列表505.2推荐设备说明515.2.1核心交换机515.2.2统一基础架构系统545.2.3云计算软件581 项目建设背景上世纪九十年代以来，通过一系列重大工程和政策措施，教育信息化发展奠定了一定的基础。随着教育模式的改革和新技术的不断涌现，信息化教学的应用不断拓展和深入，教学资源不断丰富，教育信息化在促进教育公平、提高教育质量、创新教育模式领域的支撑和带动作用初步显现。教育信息化十年发展规划明确提出了信息化目标，即建成人人可享有优质教育资源的信息化学习环境，基本形成学习型社会的信息化支撑服务体系，基本实现所有地区和各级各类学校宽带网络的全面覆盖，教育管理信息化水平显著提高，信息技术与教育融合发展的水平显著提升。2 本期项目建设范围及目标要求2.1 本期天津市“三通两平台”区县云计算数据中心建设目标全面落实教育部新时期教育信息化的战略部署，推进我市义务教育现代化建设的整体水平，为最终全面实现“十二五”教育信息化的标志工程“三通两平台”打下坚实的基础。为实现这一目标，有以下两个关键性要点：完成16个区（县）教育信息化基础设施及应用建设，为各区（县）最终实现“三通两平台”打造可管、可用、可运维的信息化基础环境系统，形成统一规范的标准。探索并最终形成天津市基础教育信息化资源建设模式和应用格局，建立可持续发展的科学机制,并打造一套能够为该机制服务的信息化基础系统；2.2 建设原则“三通平台项目”是以“促进优质教育均衡发展，提升教育教学质量”为导向，以“提升办学水平，提高教学质量，建立可持续的资源和管理公共服务平台，实现优质资源班班通、网络学习空间人人通”为核心目标，深层次应用信息技术，加快教育现代化步伐，整体提升教育信息化的水平与效益的建设项目。整体方案的设计应遵循以下原则：（1）可靠性原则教育云数据中心基础平台有高度的稳定性、可靠性，保证上层业务应用的高可用。因此，要考虑设备与线路质量、网络结构冗余，平台及应用的HA、数据容灾备份等设计因素。（2）先进性原则云计算已成为时下各行各业信息化建设的热门，利用云计算技术可以提升设备的利用率、让业务部署更加弹性与灵活、降低系统的运营成本，因此构建教育公共信息云平台是非常必要的，保证整个系统的先进性与灵活性。（3）可扩展性原则在“三通两平台”建成后，要求不在影响业务应用的前提下，系统可以进行顺利扩展或平滑升级。因此需要采取模块化、标准化的设计来满足迅速扩展与兼容的要求。（4）建设与服务的持续性原则对于“三通两平台”建设的方案设计与设备选型，要充分考虑供应厂商的持续服务能力，优先考虑大厂商的主流方案与产品，避免设备停产及厂商倒闭导致无法持续服务，同时也需要考虑厂商设备的升级换代向下的兼容性与业务应用的适应性，避免造成投资浪费。3 本期项目方案设计要点1) 教育云平台建设方案需遵循“统一规划、统一标准、分级分权、兼容差异”的业务部署原则。2) 教育云平台建设采用全虚拟化全融合云中心基础架构，满足业务承载与管理方面的完备性要求。3) 教育云平台建设要求实现资源编排的自动化，能够满足各区县、各学校IaaS基础资源的便捷交付。4) 教育云平台建设要求充分发挥云计算的技术优势，能够满足典型业务的重点保障。5) 教育云平台建设要求尽量避免重复建设，多途径实现利旧设备在教育云中的方案价值。6) 教育云平台建设要求规划和应用好云、管、端资源，最大程度支撑业务系统的创新部署与应用.7) 教育云平台建设能够满足综合运维管理的规划需求，实现多级云的可视化管理要求。8) 教育云平台建设需要考虑延伸服务，实现现有业务的迁移及整体方案的部署交付。4 “三通两平台”区县云计算数据中心总体部署方案根据本期工程的需求和建设目标,天津市基础教育信息化“三通两平台”区县级云计算数据中心整体建设方案如上图所示。整个平台由市教委综合管理平台、区县云计算数据中心、区县下属学校云节点三部分组成，区县云计算数据中心与市教委综合管理平台通过天津教育科研网互联，区县云计算数据中心与区县下属学校通过校校通建设的教育科研外延网互联，区县云计算数据中心同时提供Internet接口。天津市教委综合管理平台市教委统一管理平台，用于管理各区县的云数据中心所有软硬件设备，在区县云计算数据中心出现故障时可第一时间告警，对于各区县的公共基础应用平台可以直接下发应用模板，并基于该应用模板将需要的网络资源（如网段、VLAN号），安全策略（防火墙、IPS）等可以通过自动化编排工具实现一体化下发，从而实现天津市教育公共基础应用业务的快速部署。区县云计算数据中心 各区县的基础教育集中资源池，完成市教委统一的公共基础应用部署，并实现本区县内特色应用及各重点学校的校本系统部署。并可以将业务直接推送到学校云节点，实现分布式业务系统访问。区县下属学校云节点 各重点学校的路由、业务部署一体化设备，用于连接区县的教育科研外延网和Intenet，也可以部署学校自己的特色应用。4.1 区县云计算数据中心设计4.1.1 区县云计算数据中心整体设计区县云计算数据中心总体逻辑拓扑结构如上图所示。整个平台由新建计算资源池、利旧资源计算池（如果原有服务器需要利旧）、存储资源池、管理中心四部分组成，网络出口与电子政务外网相连。新建计算资源池服务器采用刀箱服务器方式，在刀箱中部署两路和四路的刀片服务器，并且部署存储刀片。利旧设备计算资源池则采用各区县原来已有的机架式服务器，存储采用零存储方案，将刀箱中的存储刀片和利旧的机架服务器上的磁盘虚拟成一个聚合的存储资源池。4.1.2 融合数据中心设计云计算不仅是技术，更是服务模式的创新。云计算之所以能够为用户带来更高的效率、灵活性和可扩展性，是基于对整个IT领域的变革，其技术和应用涉及硬件系统、软件系统、运维管理等各个方面。IaaS（基础架构即服务）作为云计算的硬件支撑平台，将基础架构进行云化，从而更好的为应用系统的上线、部署和运维提供支撑，提升效率，降低TCO。同时，由于IaaS包含各种类型的硬件和软件系统，因此在向云迁移过程中也面临前所未有的复杂性和挑战。那么，云基础架构包含哪些组件？主要面临哪些问题？有哪些主要的解决方法呢？一、 数据中心基础架构网络安全、服务器、存储等硬件设备作为承载业务的重要IT基础设施，承担着稳定运行和业务创新的重任。数据中心出现故障的情况几乎不可避免。因此，数据中心解决方案需要着重关注如何尽量减小数据中心出现故障后对关键业务造成的影响。为了实现这一目标，首先应该要了解数据中心出现故障的类型以及该类型故障产生的影响。影响数据中心的故障主要分为如下几类：w 硬件故障w 软件故障w 链路故障w 电源能耗问题w 机房空间利用问题w 网络设计问题数据中心的故障类型众多，但故障所导致的结果却大同小异。即数据中心中的设备、链路或server发生故障，无法对外提供正常服务。导致这些问题的主要原因是在数据中心中硬件基础架构层次复杂，网络本身就有出口路由器、核心交换机、接入交换机，要保证安全，在数据中心前端还需要提供防火墙、IPS等安全设备保证数据中心业务层面的安全性，在服务器的后端还必须有专用的存储网络，如下图所示：数据中心的任何一个业务的提供都依赖于这些设备的可用性，当任一单点出现故障时，都会导致数据中心业务无法对外交付。多个层次的设备如果不是一个厂商的，又会导致例如互联互通、故障排查等问题，比如当某个业务无法提供正常服务时，这个问题是由于网络引起的？安全设备引起的？服务器设备引起的？存储设备引起的？通常把问题定位清楚就需要好几天的时间。随着服务器、存储、网络规模的增加，硬件成本也水涨船高，同时管理众多的基础设施的维护成本也随着增加。传统IT基础设施建设往往采用机架式设备，一整套设施至少需要占用1个机柜的空间，各设备之间通过繁杂的线缆连接，维护较为困难。同时传统情况下服务器的利用率长期保持在20%以下，各设备间分开供电与散热，带来了大量的空间、电力、能耗等方面的浪费。缓解这些问题最好的方式有二：一是在数据中心中采用紧凑的架构设计、例如网络和安全的融合，安全设备通过插卡的方式部署在核心交换机上，又例如分布式存储，存储池直接采用服务器上的磁盘。 二是冗余设计，可以通过对设备、链路、Server提供备份，从而将故障对用户业务的影响降低到最小。但是，一味的增加冗余设计是否就可以达到缓解故障影响的目的？有人可能会将网络可用性与冗余性等同起来。事实上，冗余性只是整个可用性架构中的一个方面。一味的强调冗余性有可能会降低可用性，减小冗余所带来的优点，因为冗余性在带来好处的同时也会带来一些如下缺点：w 网络复杂度增加w 网络支撑负担加重w 配置和管理难度增加因此，数据中心的基础架构设计要考虑多方面的问题。在采用紧凑型架构、高可靠设备组件、提高网络的冗余性的同时，还需要加强网络构架及协议部署的优化，从而实现真正的优化。二、 云计算数据中心硬件资源联动如上图所示，云计算技术的引入实现了应用和服务器之间的松耦合，主要解决了原来非云计算模式下的单个系统硬件高配低用、硬件资源利用率、业务系统难以实现HA、系统故障难以快速回复等问题，云计算架构在传统基础架构计算、存储、网络硬件层的基础上，增加了虚拟化层、云层：l 虚拟化层：大多数云基础架构都广泛采用虚拟化技术，包括计算虚拟化、存储虚拟化、网络虚拟化等。通过虚拟化层，屏蔽了硬件层自身的差异和复杂度，向上呈现为标准化、可灵活扩展和收缩、弹性的虚拟化资源池；l 云层：对资源池进行调配、组合，根据应用系统的需要自动生成、扩展所需的硬件资源，将更多的应用系统通过流程化、自动化部署和管理，提升IT效率。云基础架构资源池使得计算、存储、网络以及对应虚拟化单个产品和技术本身不再是核心，重要的是这些资源的整合，形成一个有机的、可灵活调度和扩展的资源池，面向云应用实现自动化的部署、监控、管理和运维。云基础架构资源的整合，对计算、存储、网络虚拟化提出了新的挑战，并带动了一系列网络、虚拟化技术的变革。传统模式下，服务器、网络和存储是基于物理设备连接的，因此，针对服务器、存储的访问控制、QoS带宽、流量监控等策略基于物理端口进行部署，管理界面清晰，并且设备及对应的策略是静态、固定的。云基础架构模式下，服务器、网络、存储、安全采用了虚拟化技术，资源池使得设备及对应的策略是动态变化的,如下图所示。由于部署了虚拟化，一台独立的物理服务器变成了多个虚拟机，并且这些虚拟机是动态的，随着应用系统、数据中心环境的变化而迁移、增加、减少。例如上图中的Server1，由于某种原因（例如Server1负载过高），其中的某个虚拟机VM1迁移到同一集群中的Server2。此时如果要保持VM1的业务访问不会中断，需要实现VM1的访问策略能够从Port1随着迁移到Port2，这就需要交换机能够感知到虚拟机的状态变化，并自动更新迁移前后端口上的策略。这是一种简单的计算虚拟化与网络融合联动的例子。事实上，云基础架构融合的关键在于网络。目前计算虚拟化、存储虚拟化的技术已经相对成熟并自成体系，但就整个IT基础架构来说，网络是将计算资源池、存储资源池、用户连接组一起的纽带，只有网络能够充分感知到计算资源池、存储资源池和用户访问的动态变化，才能进行动态响应，维护网络连通性的同时，保障网络策略的一致性。否则，通过人工干预和手工配置，会大大降低云基础架构的灵活性、可扩展性和可管理性。4.1.2.1 网络与安全融合设计如上图所示，本次项目在区县云计算数据中心中，采用紧凑的网络安全融合设计，在数据中心内部，网络安全架构只分为核心层和接入层，核心层采用两台模块化交换机S10508，负责数据中心内、以及数据中心内和数据中心外的数据的交换和路由，接入层负责所有服务器的接入。新建计算资源池的服务器采用刀箱的方式，因此不需要为新建计算资源池准备单独接入交换机，从刀箱的交换刀片接入核心交换机即可，对于利用利旧的机架服务器搭建的利旧设备计算资源池，则单独准备服务器接入交换机和利旧服务器存储接入交换机，管理服务器也准备相应的接入交换机。对于数据中心的安全防护，则通过部署防火墙、IPS和NetsStream（网络流量分析）设备来提供全面的2-7层的安全防护，有效抵御来自于区县中小学、教育科研网其它节点、Internet上的木马、病毒、漏洞等攻击，同时，部署负载均衡设备来提供数据中心出口的智能选路，所有防火墙、IPS等安全设备以插卡的方式部署在核心交换机的业务插槽上，已减少网络出口的层次。基于紧凑型的网络架构，核心交换机成为数据中心网络中最关键、最重要的部件，数据中心核心交换设备的可靠稳定尤为重要。尽管可以通过架构、策略、配置等的调整和优化等多种手段降低核心设备的故障几率以及影响范围，但若要解决最根本的设备本身的软硬件故障，则必须选用数据中心级的网络设备。本次采用的数据中心级核心交换机S10508应具备以下特征：1) 控制平面与转发平面物理分离传统的园区网交换机一般采用“Crossbar+共享缓存”的交换架构，引擎板继承担控制平面的工作，同时也承担数据转发平面的工作，跨槽位的流量转发报文需要经背板到引擎板的Crossbar芯片进行转发。这种架构限制了设备的可靠性和性能：w 可靠性限制：引擎需要承接数据转发平面的工作，因此在引擎出现主备倒换时必然会出现丢包。此外引擎11冗余，也使得Crossbar交换网只能是11的冗余，冗余能力无法做的更高。w 性能限制：受制于业界当前Crossbar芯片的工艺以及引擎PCB板卡布线等制造工艺，将Crossbar交换网与CPU主控单元集中在一块引擎板上的结构，一般单块引擎的交换容量不可能做的太高。数据中心级交换机产品将控制平面与转发平面物理分离，一般有独立的引擎板和交换网板，同时采用CLOS多级交换架构，大大提高设备的可靠性及性能。如下表所示为CLOS架构与传统的Crossbar+共享缓存交换架构对比。图3 Crossbar架构也CLOS架构逻辑实现Crossbar+共享缓存CLOS多级交换结构1，单平面交换；2，交换矩阵和控制统一，即引擎承担了交换和控制双重功能；1，多块交换网板共同完成流量交换2，控制和交换硬件分离转发能力受限于交换网片的交换能力和PCB单板制造工艺，单引擎达到1TB以上就很难提升。多块交换网板同时分担业务流量，相当于N倍于单级交换的能力，可实现510TB交换容量可靠性引擎倒换会丢包控制平面与转发平面硬件物理分离，引擎切换时不影响转发，可实现零丢包冗余能力引擎11冗余，双引擎负载分担式无冗余引擎11冗余，交换网板N+1冗余表2 Crossbar与CLOS交换架构对比2) 虚拟化能力数据中心的复杂度越来越高，需要管理的设备也越来越多，设备的虚拟化可将同一层面（核心、汇聚、接入）的多台设备虚拟化为一台，进行设备的横向整合，简化设备的配置和管理。3) 绿色节能数据中心是企业能耗的主要部门，同时高的能耗将会带来高的发热量，影响设备的电子器件的稳定性，将到据中心设备的稳定运行。选用低能耗设备降低发热量是提高可靠性的一个方面，另一方面设备本身的散热风道设计的合理与否？能否更好的配合机房的空调循环？也影响着数据中心的可靠性。为更好的配合机房冷热风道的布局，机柜中发热量较大的设备最后是前后散热的风道设计。但普通的横插槽设备一般是左右散热的方式，因此应优先考虑采用竖插槽的设备，实现前后散热。在核心交换机上部署各类安全插卡，如下图所示：如上图所示，数据中心通过部署网络安全融合方案，通过安全插卡的方式在一台核心交换机中完成了安全功能部署，从而取代了过去像“串糖葫芦”似的串联部署在网络中的大量安全设备（比如防火墙、IPS、LB等）。从交换机任何一个端口进来的数据，都会通过背板和内部高速接口进入这些安全插卡进行分析和过滤，保证最终从出端口转发出去的数据流将是干净的、安全的、可靠的。由于各板卡之间都是通过内部数十GE的高速接口处理，转发效率要远远高于过去多个安全设备之间的交互方式。因此，网络安全融合后的一体化方案不仅降低了设备数量，减少了网络的故障点和部署与维护成本，同时提升了数据交互的效率。4.1.2.2 网络与计算融合设计本次区县云计算数据中心中，新建计算资源池采用基于融合基础架构的刀箱式设备UIS，如下图所示：融合基础架构UIS设备对于区县云计算数据中心作用有以下两个方面：一、 简化机房硬件架构层次融合基础架构设备UIS通过在一个刀箱中集成了服务器、存储、网络、虚拟化软件等设备，大大提高了服务器的利用率，减少了空间、电力、能耗等方面的消费。经测试统计得出，采用融合基础架构设备，可以提升至少3倍的服务器利用率，降低至少75%的空间占用，减少至少27%的电力消耗，降低初始购买和后期运维成本。融合基础设施UIS能够改善数据中心环境，共享服务池可在运行中随时调用，提高业务环境的灵活性，加速实现应用程序的价值。融合基础设施充分利用现有的技术投资，消除数据中心的技术设备冗积问题，化繁为简。通过统一的管理，所有资产都成为资源池的一部分，能够分割、组合、变化，动态适应任何业务、负载或应用的需求。这些资源的使用也经过优化，帮助区县教育局提高利用率，降低使用能耗和成本。H3C UIS统一基础架构，通过将计算、网络、存储访问和虚拟化统一到一个综合系统中，进行集中管理，并使用H3C自主研发的虚拟化平台、云管理系统等软件进行协调，解决了上面提到的问题。二、 实现网络与计算之间的感知联动服务器虚拟化技术的出现使得计算服务提供不再以主机为基础，而是以虚拟机为单位来提供，同时为了满足同一物理服务器内虚拟机之间的数据交换需求，服务器内部引入了网络功能部件虚拟交换机vSwitch（Virtual Switch），如下图所示，虚拟交换机提供了虚拟机之间、虚拟机与外部网络之间的通讯能力。IEEE的802.1标准中，正式将“虚拟交换机”命名为“Virtual Ethernet Bridge”，简称VEB，或称vSwitch。vSwitch的引入，给云计算数据中心的运行带来了以下两大问题：n 网络界面的模糊主机内分布着大量的网络功能部件vSwitch，这些vSwitch的运行、部署为主机操作与维护人员增加了巨大的额外工作量，在云计算数据中心通常由主机操作人员执行，这形成了专业技能支撑的不足，而网络操作人员一般只能管理物理网络设备、无法操作主机内vSwitch，这就使得大量vSwicth具备的网络功能并不能发挥作用。此外，对于服务器内部虚拟机之间的数据交换，在vSwitch内有限执行，外部网络不可见，不论在流量监管、策略控制还是安全等级都无法依赖完备的外部硬件功能实现，这就使得数据交换界面进入主机后因为vSwitch的功能、性能、管理弱化而造成了高级网络特性与服务的缺失。n 虚拟机的不可感知性物理服务器与网络的连接是通过链路状态来体现的，但是当服务器被虚拟化后，一个主机内同时运行大量的虚拟机，而此前的网络面对这些虚拟机的创建与迁移、故障与恢复等运行状态完全不感知，同时对虚拟机也无法进行实时网络定位，当虚拟机迁移时网络配置也无法进行实时地跟随，虽然有些数据镜像、分析侦测技术可以局部感知虚拟机的变化，但总体而言目前的虚拟机交换网络架构无法满足虚拟化技术对网络服务提出的要求。为了解决上述问题， 本次项目H3C的解决思路是将虚拟机的所有流量都引至外部接入交换机，此时因为所有的流量均经过物理交换机，因此与虚拟机相关的流量监控、访问控制策略和网络配置迁移问题均可以得到很好的解决，此方案最典型的代表是EVB标准。802.1Qbg Edge Virtual Bridging（EVB）是由IEEE 802.1工作组制定一个新标准，主要用于解决vSwtich的上述局限性，其核心思想是：将虚拟机产生的网络流量全部交给与服务器相连的物理交换机进行处理，即使同一台物理服务器虚拟机间的流量，也将发往外部物理交换机进行查表处理，之后再180度调头返回到物理服务器，形成了所谓的“发卡弯”转发模式，如下图所示：EVB标准具有如下的技术特点： 借助发卡弯转发机制将外网交换机上的众多网络控制策略和流量监管特性引入到虚拟机网络接入层，不但简化了网卡的设计，而且充分利用了外部交换机专用ASIC芯片的处理能力、减少了虚拟网络转发对CPU的开销； 充分利用外部交换机既有的控制策略特性（ACL、QOS、端口安全等）实现整网端到端的策略统一部署； 充分利用外部交换机的既有特性增强了虚拟机流量监管能力，如各种端口流量统计，Netstream、端口镜像等。EVB标准中定义了虚拟机与网络之间的关联标准协议，使得虚拟机在变更与迁移时通告网络及网管系统，从而可以借助此标准实现数据中心全网范围的网络配置变更自动化工作，使得大规模的虚拟机云计算服务运营部署自动化能够实现。CVM产品是H3C为数据中心云计算基础架构提供最优化的虚拟化管理解决方案，该产品通过将数据中心IT资源的整合，不仅能够达到提高服务器利用率和降低整体拥有成本的目的，而且能简化劳动密集型和资源密集型IT操作，显著提高系统管理员的工作效率。下面以CVM和H3C iMC（智能管理中心）产品为例简单描述使用EVB后虚拟机的创建过程。如上图所示使用EVB标准后，虚拟机创建过程可以大致分为如下五步： 网络管理员将可用的网络资源通过H3C iMC的图形界面录入iMC数据库中； 服务器管理员在通过CVM产品创建虚拟机之前，CVM产品会自动通过REST API接口查询iMC中可用的网络资源； 服务器管理员在CVM产品上创建虚拟机，在指定虚拟机的CPU、内存、硬盘等计算参数的同时，指定步骤二中的某个网络资源；当服务器管理员将创建虚拟机的请求提交之后，CVM产品会首先创建虚拟机，其过程同市场上主流的虚拟化产品，不再赘述；虚拟机创建成功后，CVM会将该虚拟机与其所使用网络资源的绑定关系通知给vSwitch； vSwitch会通过EVB标准中的VDP(VSI Discovery and Configuration Protocol)协议将虚拟机及网络资源的绑定关系通知给接入交换机 接入交换机将根据网络资源的编号向iMC发送请求，iMC收到请求后会将该网络资源对应的网络配置下发到接入交换机上，从而完成了整个虚拟机的创建过程。通过上述过程，虚拟机不但拥有了CPU、内存、硬盘等计算资源，还拥有了相应的网络资源并据此自动接入网络。虚拟机迁移过程基本与上述过程类似，稍有区别的是：如果迁移前后的接入交换机不同，系统会在迁移之前的接入交换机上删除该虚拟机的相关网络配置，从而达到 “网络配置跟随”的目的。通过上述的举例可以看出：EVB不仅简化了虚拟化结构，并使得网络参与虚拟化计算，变革了原来交叠不清的管理界面和模式，关联了虚拟机变化(创建、迁移、撤销、属性修改等)和网络感知，这些都是通过确定和简单的技术如Multi Channel和协议如VDP来实现的。这些技术与协议将会如同ARP、DHCP等标准的网络协议一样为云计算数据中心IT基础设施所认识和支持，成为虚拟化环境中的标准和基础协议。CVM上对虚拟交换网络的管理实现如下图所示：4.1.2.3 计算与存储融合设计如上图所示，在本次项目建设中，存储池采用服务器刀箱中的存储刀片，通过零存储技术，将多个刀片存储虚拟为一个共享存储，H3C 零存储技术方案融合了计算虚拟化和存储虚拟化，在一个硬件平台上同时提供计算资源和存储资源，从而能够构架无需专门共享存储设备的新型数据中心。H3C零存储技术方案提高了服务器资源利用率，减少数据中心设备占用的物理空间，并且存储容量能够按需扩容，极大提升了数据中心基础架构的弹性。H3C零存储技术方案的逻辑架构图如下。它充分利用了提供计算虚拟化的服务器的磁盘驱动器资源，从而在数据中心中虚拟出一个共享存储vStor。vStor在功能上与物理共享存储完全一致；同时由于vStor与计算完全融合在一个平台上，用户无需象以往那样购买连接计算服务器和存储设备的SAN网络设备（FC SAN或者iSCSI SAN）。4.1.3 区县云计算数据中心计算资源池设计4.1.3.1 计算资源池的关键设计思路层次化的资源池分区设计：层次化的计算资源池架构资源池划分方式：依照业务业应的不同类型，云平台的资源池划分通常有以下几种方法：单一资源池所有的业务应用均在同一个资源池中，这种方式比较简单，适合业务应用不多，物理服务器数量也不多，通常在20台以下的情景。在这种模式下，一个资源池内的业务按照不同的业务类型划分VLAN与安全域，可实现不同业务的访问控制。如下图所示：根据用户接入类型划分资源池处于安全与网络隔离的考虑，对于不同用户接入类型的业务划分不同的资源池。如面向Internet用户的业务应用划分到一个资源池，面向内网用户的业务应用划分到一个资源池。这样不同的资源池之间可以实现更为严格的安全控制。如下图所示：根据业务属性划分资源池对于常见教育业务应用来说，业务应用的架构通常是分层部署的，由WEB层、APP层与DB层构成，实际部署时也分为WEB服务器、应用服务器和数据库服务器，中小型应用通常会将WEB与APP部署在一台服务器上，而数据库服务器单独部署。对于这种业务应用可以将WEB、APP划分到一个资源池中，数据库划分到一个单独的资源池中，通过轻载、高配的方式保证数据库访问的高性能与高可靠。对于一些核心的生产类数据库，可以部署在高配的物理服务器或小型机上。此外，对于虚拟桌面这类应用，需要单独划分资源池，避免也业务应用的虚拟机产生冲突。如下图所示：结合天津市目前的业务现状，以及现阶段的业务应用规划情况，建议采用方案2或方案3。计算资源池规模设计1、现有业务负载评估1）服务器资源统计（利旧涉及）：数据中心内的多台服务器硬件资源的整理评估。以此为依据评估将这些独立的服务器整合为资源池后，资源池内可调配的计算能力。主要关注cpu、内存、网络等关键性指标。2）业务负载统计:梳理当前数据中心内的各业务系统的实际负载情况，包括CPU利用率、磁盘 I/O、网络I/O、内存利用率等指标梳理各业务关键程度。业务关键程度决定了服务器整合比，可靠性，SLA设计等云计算平台的关键指标计算资源池中最重要的两个性能指标为CPU和内存的规模设计：2、计算资源池规模计算方法CPU规模规划计算方法：每台物理服务器CPU的平均值（MHz）平均CPU数量（路/颗）=标准化的每台物理服务器CPU平均值（MHz）高峰时CPU利用率平均值（百分比）标准化的每台物理服务器CPU平均值（MHz）=高峰时CPU利用平均数（MHz）同时运行的虚拟机数量（业务数量）高峰时CPU利用平均数（MHz）=高峰时CPU总利用数（MHz）4.1.3.2 新建计算资源池依据上一章节，本次项目区县云数据中心内的资源池划分主要考虑业务维度来进行。从大的业务功能划分来看，区县数据中心内的业务分为两个大的功能区块。公共基础应用资源区：市教委统一规划并推送的业务资源，管理权归市教委。本地应用资源区：区县自主业务资源区，内部根据具体业务，又分为区内基础应用资源区和区属学校特色应用资源区。服务器容量规划单台服务器所能支持虚机数量的决定因素主要取决与两方面：服务器的硬件配置CPU性能-多核高主频技术使得CPU成为性能瓶颈的可能性越来越低内存大小-做为硬指标的内存，配置越高，所能支持的虚机数量越多应用负载大小由于物理服务器资源自身的最大限制，应用负载越大，所能同时运行的虚机数量越少建议将不同应用访问特性的应用混合部署在同一物理服务器上灵活运用DRS和VMotion技术可将物理机与虚机的比率关系调到最优考虑到HA及DRS所要求的资源冗余，所有运行虚机在正常负载下，总体资源使用率不超过三分之二会比较合适在部署虚拟化时，对物理服务器的硬件配置需要考虑以下因素：可用的CPU目标数量尽可能多，单台服务器建议配置6个以上的CPU核。超线程技术并不能提供等同于多核处理器的好处；建议关闭CPU的超线程功能使用具有EM64T能力的Intel VT 或AMD V 技术的CPU可以同时支持运行32位和64位的虚拟机采用同一厂商、同一产品家族和同一代处理器的服务器组成的集群，可以获得最好的虚拟机迁移兼容能力内存资源往往比CPU资源更会成为潜在的瓶颈，尽可能采用最大容量的内存条（单条8GB效果优于两条4GB）。虚拟机资源分配1、虚拟机CPU分配原则：尽量使用最少的vCPUs，如果是单线程应用，无需多线程处理。虚拟CPU数量不要等于或超过物理CPU核数，如双路双核的服务器配置，虚机最多使用两个虚拟CPU2、内存分配原则：内存总量为在资源评估后，计算虚拟机评估结果所需实际内存尽量避免大于物理内存的总和。因为应用程序而产生的更多内存需要用磁盘内存来解决，会导致系统性能下降。关键应用可考虑固定内存的方法以保证性能的稳定性虚拟机的物理分布同一个资源池内的虚拟机在物理服务器上的分布，要尽可能考虑平衡负载的原则，即保证资源池内的物理服务器CPU、内存资源占用率均衡，避免某单台物理服务器上的负载特别高，而其它处于闲置状态。个别业务应用可能会存在某个时段负载突发上升的情况，如考试成绩查询系统，对于这类应用，需要部署DRS(动态资源调度)和DRX（动态资源扩展）：通过动态资源调度（DRS）集群的部署，可以解决单个虚拟机负载过高时，位于同一台物理服务器上的其它业务应用虚拟机不会被“饿死”。通过动态资源扩展（DRX）集群的部署，可以解决当单个虚拟机负载超过物理服务器性能后，快速克隆多个同样业务的虚拟机，配合负载均衡（LB）设备，完成对负载的分担。4.1.3.3 利旧设备计算资源池本期项目建设前，部分区县已有服务器资源，为遵循尽可能避免重复建设，保护现有投资的原则，考虑通过两步实现原有设备资源的充分利旧。步骤一：将原有设备资源向云迁移迁移后业务规划仍跑原有业务，纳入区内基础应用资源池管理；空闲资源作为整体资源池的一部分，灵活调用；步骤二：充分利用现有业务资源的存储空间通过H3C零存储解决方案，将现有业务资源的存储资源纳入整体存储资源池，实现以下两个功能：为现有业务资源提供存储资源服务；为本地其它业务资源提供存储扩展服务；H3C 零存储解决方案融合了计算虚拟化和存储虚拟化，将计算和存储集成到一个硬件平台，形成可横向扩展（Scale-out）的云计算基础架构。运行在这种架构上的虚拟机不仅能够像传统层次架构那样支持vMotion、DRS、快照等，而且数据不再经过一个复杂的网络传递，性能得到显著提高。由于不再需要集中共享存储设备，整个数据中心架构得以扁平化，大大简化了IT运维和管理。利用H3C零存储解决方案构建数据中心，有效利用服务器资源，降低能源消耗，帮助企业实现IT环境的节能减排。4.1.3.4 计算资源池总体容量评估天津市教育“三通两平台”区县云计算数据中心计算资源池总体容量取决与两部分，一是当前规划承载的业务子系统数量需要多少台虚拟服务器，业务子系统包括教委计划下发的公共基础服务系统和区县基础应用系统及分配给区属学校的特色应用资源系统；二是计划预留给将来扩展的基础资源。通常服务器的平均利用率在5-15%之间，而部署到云平中采用虚拟架构整合后，服务器的平均利用率可达到50%-60%，单台服务器承载的虚拟机个数理论上为CPU核数乘以1.5倍，以两路6核服务器为例，最优配置为2*6*1.5=18，考虑到服务器负载情况，2路6核服务器单台最佳承载虚拟机个数为10个左右。按照经验值，区县公共管理平台和公共资源平台所需虚机大约为60个，区属学校所需虚机约平均每学校2个，按每个区平均60个学校算，学校共需120个虚机，总共需要180个虚机，每个数据中心再预留20个虚机。如采用2路6核服务器，则所需的服务器数量为（60+120+20）/10=20台。4.1.3.5 行政管理权限设计天津市基础教育区县级数据中心支撑环境是为区县级教育云服务平台提供基本保障，也要满足天津市教委应用平台在区县级教育行政部门的部署，因此区县级云计算中心需要同时满足市教委和区县教育局自身的两级管理。H3C CAS软件可以将区县云计算数据中心的资源划分为两个资源池，一个由市教委进行直接管理，方便新上线业务、业务新增模块的快速下发，一个由区县教育局进行自管理和资源分配，但是由市教委进行统一监控协调。如下图所示：4.1.3.6 业务快速部署设计在传统的业务部署模式下，一个业务在多个区域大范围上线需要应用使用方各自部署业务，耗费大量精力和时间。H3C云彩虹解决方案，在市教委教育云平台和区县教育云平台间建立两级云联动机制，通过网络，由市教委向区县，实现业务模板快速推送，保证业务短时间内在多区域大范围上线。快速上线业务分类新建上线业务：例如，新建管理应用和部分试点教学应用；短期上线业务，例如，幼儿园招生系统、资源评比系统等在每年在固定时间内上线的教学和管理应用；市-区县云平台的对接市-区县云平台的对接可实现两级平台的分级管理，平台对接后市云平台不仅可以监控本地的云资源与业务运行状况，也可以监控到部署在公共资源池中的区业务运行状况；区云平台可以监控到本地的云资源。如下图所示：市-区两级平台对接的部署过程主要分为两步：在市平台中为区云平台创建对接账户以及为其绑定相应的资源（包括计算、存储、网络资源、管理用户等）市平台为添加组织，建议每个区对应一个组织。添加区组织时为对应的区指定虚拟机资源配额（数量）：市-区两级平台的对接是实现云彩虹的第一步，在这一步的部署对网络无特定要求，只有市、区两级平台网络互通、IP可达即可。标准模板推送实现上述第一步中的市-区两级平台对接之后，保证网络带宽足够的条件下，即可实现标准模板的推送。为缩短业务推送的时间，建议市-区网络带宽不小于1000M，且为专线连接保证链接质量。4.1.3.7 典型业务保障设计部分区县数据中心的业务访问量会周期性或随机的出现波动。有些业务的波动幅度很大，其峰值访问量甚至会超出正常访问量的好几倍（典型的如：每到幼儿园招生报名时期，部署在区县或者学校的幼儿园招生报名系统面临的业务访问压力远远大于平时）。随着访问量的弹性变化，这类业务对IT资源的需求也存在较大的波动，这就要求区县云数据中心的IT基础架构能够支撑这样的弹性扩展需求，IT部门面临很大的挑战。计算虚拟化简化了部署业务服务器的流程和具体工作，极大的缩短了新业务服务器的部署周期，使得IT部门可以通过快速增减业务服务器来应对业务访问量的突发性变化。但采用这种部署方式的一个不能忽略的前提是： IT管理人员能够对业务访问量的突发性变化具备很强的敏感性，并且能够迅速采取应对措施。但当前的IT基础架构中，业务负载监控平台、虚拟服务器管理平台和业务分发的系统之间往往是割裂的，没有整合形成统一方案。IT管理人员在感知到业务访问变化时，只能通过手工进行虚拟服务器的增减和在业务分发系统的相应配置。这无疑缺乏灵活性且效率低下。因此，区县云数据中心需要一个新的解决方案，整合上述的业务负载监控平台、虚拟服务器管理平台和业务分发系统，自动化的实现上述三个业务系统的关联部署，为IT基础架构注入智能，增强IT资源调配的自动化能力。同时构建一个统一的管理平台来实现针对支撑教育特定业务的一组虚拟服务器的运行状况进行统一的监控、管理和集中展示。针对这些需求，H3C推出了“面向应用的云动态资源扩展解决方案”DRX（Dynamic Resource eXtension，动态资源扩展）解决方案。H3C DRX解决方案可以在云平台中实现基于用户业务负载的资源弹性扩展功能。即是当用户某项正常运行的业务面临突发流量访问时，H3C CAS虚拟化平台能够监测到业务所在虚拟机性能不足，并将虚拟机进行快速复制，配合负载均衡LB设备对外提供服务，当访问高峰过后，H3C CAS平台能够动态的收缩，删除过剩的虚拟机，从而实现计算资源随需而动。如下图所示，H3C DRX实现如下几大功能：业务负载监控：CAS平台集成业务负载监控平台，实现对虚拟机资源负载情况的监控资源自动弹性扩展：业务负载监控平台检测到业务负载超过设定的阈值后，联动CAS平台自动扩展资源业务负载增高时，通过快速克隆/部署虚拟机来增加业务对应的资源数量业务负载减小时，通过关闭/删除虚拟机来减少业务对应的资源数量针对动态扩展业务组的状态统计信息展示，便于维护人员对业务进行管理和预判 H3C DRX动态资源扩展功能示意图：综上所述，H3C DRX解决方案整合了基础业务负载监控平台、资源调度平台、业务分发系统和展示平台，可以针对用户业务负载的变化自动的增减相应IT资源。从而较有效的实现企业业务访问量的突发性变化和对应的企业IT资源的供给的动态平衡，提升IT基础架构的有效使用率和调度灵活性。其具有以下功能特点。面向业务：基于用户业务承载状况实现业务实际所需资源的动态调度。业务资源的动态弹性扩展：支持业务资源的动态弹性伸缩，实现IT资源供给和业务需求的动态平衡。统一的资源扩展业务展示平台：统一的资源扩展业务展示，方便运维人员掌握当前资源部署和运行状况。4.1.3.8 业务迁移设计业务应用迁移到云内根据业务平台云化的实施顺序，可以把业务平台云化划分成三个阶段，即业务平台云化前的准备阶段，业务平台云化的实施阶段，业务平台云化后的维护管理阶段。业务平台云化准备阶段该阶段主要包括业务平台云化评估、云计算资源选择两部分工作内容。业务平台云化评估主要是针对梳理出需要整合或迁移的业务平台，对照业务平台云化评估要求，最终确定哪些平台可云化；云计算资源选择主要考虑满足网络发展和业务部门需求的情况下，针对业务平台迁移后的可维护性提出对云资源的相关技术要求或建议。业务平台云化实施阶段该阶段主要根据实际情况决策如何分配云平台相关资源，选择迁移方式，并组织平台迁移实施等工作。业务平台云化后的维护管理阶段业务平台迁移后对云平台及其所承载的业务平台的运维、监控、安全、统计分析等管理与维护的技术要求。对于现有业务应用的迁移方式，可以选择新建安装、P2V(Physical-to-Virtual)两种方式：新建方式即在分配的虚拟机上重新部署业务平台的运行环境（包括操作系统、数据库、应用程序等的安装及配置），把业务数据迁移到虚拟机上。P2V方式即将实体机的磁盘数据转换成虚拟机格式，导入到虚拟化目标环境中。新建和P2V两种方式的各有优缺点，对比如下：H3C提供P2V的迁移工具与技术支持服务。H3Cloud Clonezilla是H3C虚拟化和云计算解决方案提供的一款企业级迁移工具，它可以将现有的物理系统镜像文件转换为一个H3Cloud虚拟机。具体实现如下图所示：采用H3Cloud Clonezilla实施P2V的基本步骤如下：采用Clonezilla Live CD启动，对于OS上的硬盘做镜像；在CVM上创建VM，创建磁盘文件，并挂接磁盘文件到VM上的硬盘中；挂接VM的CD到Clonezilla Live CD iso或host的光驱上；采用Clonezilla Live CD启动，恢复镜像到对应的VM的硬盘中；采用从硬盘引导VM。针对目前天津市教委和区县已有部分业务应用运行在VMware虚拟化平台上，H3C同样提供V2V(Virtual-to-Virtual)迁移工具与技术支持服务。可以实现业务应用的在线迁移与格式转换，业务应用可以快速的统一部署到H3C CAS平台上，实现平台的统一，便于后续的管理与扩展。H3C提供的V2V迁移可以支持Raw格式的虚拟机部署与QCOW2精简格式的虚拟机部署，如下图所示：QCOW2精简格式部署可以节省虚拟机镜像文件的磁盘空间占用，因此建议V2V迁移后采用QCOW2精简格式部署。迁移步骤如下：步骤一：从VMware下载vmdk文件到本地电脑，将映像文件上传至CAS系统步骤二：执行格式转换命令“kvm-img convert -O qcow2 windows2008-001.vmdk windows2008-001-FromVMware”，转换后的文件格式为qcow2。步骤三：在CAS系统创建虚拟机，选择raw或qcow2格式的虚拟机镜像文件，启动Windows Server2008。云化后维护管理阶段要求业务平台迁移到云计算平台后，除了按照现有业务平台维护管理制度及流程做好日常维护工作外，还必须结合云计算的特点，加强对虚拟资源的维护管理。建议根据云平台所承载的业务重要性、故障处理时限要求，影响用户规模等因素划分承载业务的容灾等级，对不同的容灾等级采用不同的容灾策略，充分利用虚拟化技术及集群架构的优势（如：HA、DRS、DRX等高级功能）。根据业务应用特征和虚拟机运行情况及时调整、优化虚拟机的资源配置，包括CPU、内存、存储等参数；根据运行情况，及时优化动态迁移、高可靠性、动态资源分配等策略，并建立云平台运维分析制度4.1.3.9 业务编排自动化设计随着教育信息化发展地不断加快，要求资源管理系统能够满足各区县、各学校的IaaS资源敏捷交付，实现资源自动化编排H3C资源自动化管理RAM是支持虚拟化，专注于自动化，面向应用的全资源部署方案。通过对服务配置模型化，将相似的服务部署任务抽象为一个通用的虚拟资源服务模型，实现了配置的重用。将模型与实际资源匹配，并完成自动部署，将传统手工需要耗费数周的配置任务缩短为分钟级。通过资源配置下发，实现端到端的访问控制和质量保证。通过对传统物理、虚拟化的设备全面池化，使得设备的配置和能力集透明化，为自动化部署提供坚实的基础。依据实际业务的部署，通过所见即所得的服务编排完成服务模型的构建。基于快捷的服务目录，可以随时在不同的网络域中应用预定义的服务模型创建服务，并为服务设置生效的起至时间，系统自动在预订的时间内部署和去部署配置，实现业务的快速上线和恢复。丰富的资源池化受设备硬件和协议的限制，设备的许多配置是有限制的，以网络设备交换机为例，每个设备上的ACL数量受到ACL号的限制和硬件的限制，中低端设备的ACL数量不超过2000个、VLAN号最多只有4096个、网络总带宽受到接口带宽的限制、不同设备的不同接口支持的ACL和QoS的能力也是不同的。RAM对资源和设备能力进行池化，为后续的网络编排、服务匹配及服务模拟部署提供支撑，是RAM自动化的基石。统一的设备适配层：支持对物理设备和虚拟设备的统一管理，支持对网络资源和计算资源的统一管理，支持路由器、交换机、防火墙、LB、Hypervisor的统一管理，支持H3C、Cisco、Huawei、F5等多主流网络厂家设备的统一管理。RAM的VLAN、ACL、QoS等是基于iMC业务组件实现的，使得RAM快速提供广泛的设备支持能力。端到端的网络资源和设备能力集池化：支持ACL number、ACL出入方向、ACL掩码规则池化；支持VLAN number、VLAN链路、VLAN接口的池化，支持QoS标记、限速、带宽保证以及QoS速率圆整等；支持OSPF、RIP能力集池化，支持MSTP，VRRP池化，支持防火墙域间策略，F5 LB的池化等基于业务的可视化服务编排服务编排是RAM的核心；通过简单的图形化操作，将每一项功能、每一类资源抽象成一个通用的虚拟服务模型，并在服务模型中进行具体的配置；最后将编排好的业务模型存放到服务目录中，当有新的IT业务上线或变更时，可引用编排好的服务模型，方便今后业务的快速申请和开通。服务单元：服务编排的最小单位，RAM提供了可编排的端到端IT资源，包括二层网络、路由器、交换机、虚拟交换机（虚拟服务器Hypervisor中的vSwitch）、端口、链路、防火墙、负载均衡、虚拟化平台、常见的IT应用（SAP、Lync、Exchange、Polycom等）。IT资源模型：在业务编排中引入IT资源模型的概念，将IT资源按照层次进行切分，从而使得IT资源结构更加清晰。系统提供常用的IT资源结构模型，管理员可以根据自己的IT资源结构创建出自己的IT资源模型，甚至定义自己的网络角色。基于业务的正向编排：在服务模型编排界面，管理员可以依据当前业务部署或构想的业务部署，直接拖拽服务单元，以所见即所得的方式构造业务的逻辑拓扑结构。然后基于此业务逻辑拓扑为业务构建业务属性，从而保证业务能够有效的为指定租户提供服务。不同的服务单元能够支持的业务属性和配置能力是不同的。基于网络域的反向编排：除了通过所见即所得的方式构造业务逻辑拓扑外，管理员能够基于现有的网络域选择设备，更加方便快捷的构建出贴合实际业务的业务逻辑拓扑，后续基于此业务逻辑拓扑构建业务属性的过程与正向编排相同。服务快速申请与撤销基于服务目录的服务模型管理：编排完成的服务模型统一存储在服务