数据中心建设专题方案

XXX数据中心建设方案目录第1章 总述41.1 XXX数据中心网络建设需求41.1.1 传统架构存在的问题41.1.2 XXX数据中心目标架构51.2 XXX数据中心设计目标61.3 XXX数据中心技术需求71.3.1 整合能力71.3.2 虚拟化能力71.3.3 自动化能力81.3.4 绿色数据中心要求8第2章 XXX数据中心技术实现92.1 整合能力92.1.1 一体化交换技术92.1.2 无丢弃以太网技术102.1.3 性能支撑能力112.1.4 智能服务的整合能力112.2 虚拟化能力122.2.1 虚拟交换技术122.2.2 网络服务虚拟化142.2.3 服务器虚拟化142.3 自动化152.4 绿色数据中心16第3章 XXX数据中心网络设计173.1 总体网络结构173.1.1 层次化结构的优势173.1.2 标准的网络分层结构173.1.3 XXX的网络结构183.2 全网核心层设计193.3 数据中心分布层设计203.3.1 数据中心分布层虚拟交换机203.3.2 数据中心分布层智能服务机箱203.4 数据中心接入层设计223.5 数据中心地址路由设计253.5.1 核心层253.5.2 分布汇聚层和接入层253.5.3 VLAN/VSAN和地址规划26第4章 应用服务控制与负载均衡设计274.1 功能介绍274.1.1 基本功能274.1.2 应用特点284.2 数据中心的应用情况324.2.1 XXXX应用1324.2.2 XXXX应用n334.3 应用优化和负载均衡需求334.3.1 XXXX应用的负载均衡要求334.3.2 开放式系统应用的负载均衡要求344.4 应用优化和负载均衡设计344.4.1 智能服务机箱设计344.4.2 应用负载均衡的设计374.4.3 地址和路由404.4.4 安全功能的设计434.4.5 SSL分流设计444.4.6 扩展性设计454.4.7 高可用性设计46第5章 网络安全设计495.1 网络安全部署思路495.1.1 网络安全整体架构495.1.2 网络平台建设所必须考虑的安全问题505.2 网络设备级安全515.2.1 防蠕虫病毒的等Dos攻击515.2.2 防VLAN的脆弱性配置525.2.3 防止DHCP相关攻击535.3 网络级安全535.3.1 安全域的划分545.3.2 防火墙部署设计545.3.3 防火墙策略设计565.3.4 防火墙性能和扩展性设计565.4 网络的智能主动防御575.4.1 网络准入控制585.4.2 桌面安全管理595.4.3 智能的监控、分析和威胁响应系统615.4.4 分布式威胁抑制系统64第6章 服务质量保证设计676.1 服务质量保证设计分类676.2 数据中心服务质量设计676.2.1 带宽及设备吞吐量设计676.2.2 低延迟设计696.2.3 无丢弃设计706.3 非数据中心网络的服务质量设计716.3.1 QoS实施方案726.3.2 分析业务需求726.3.3 QoS策略的制定和部署756.3.4 评测和调整796.4 QOS策略管理806.4.1 QoS自动配置806.4.2 QoS策略管理器解决方案80第7章 网络管理和业务调度自动化837.1 MARS安全管理自动化837.2 VFrame业务部署自动化83第8章 两种数据中心技术方案的综合对比848.1 技术方案对比848.1.1 传统技术领域对比848.1.2 下一代数据中心技术能力比较858.2 技术服务对比878.3 商务对比888.4 总结88第9章 数据中心网络割接方案89第10章 附录：新一代数据中心产品介绍9010.1 Cisco Nexus 7000 系列10插槽交换机介绍9010.2 Cisco Nexus 5000 / 2000系列交换机介绍9110.3 Cisco NX-OS 数据中心级操作系统简介93第1章 总述为进一步推进XXX信息化建设，以信息化推动XXX业务工作的改革与发展，需要建设XXX的新一代绿色高效能数据中心网络。1.1 XXX数据中心网络建设需求1.1.1 传统架构存在的问题XXX现有数据中心网络采用传统以太网技术构建，随着各类业务应用对IT需求的深入发展，业务部门对资源的需求正以几何级数增长，传统的IT基础架构方式给管理员和未来业务的扩展带来巨大挑战。具体而言存在如下问题：l 维护管理难：在传统构架的网络中进行业务扩容、迁移或增加新的服务功能越来越困难，每一次变更都将牵涉相互关联的、不同时期按不同初衷建设的多种物理设施，涉及多个不同领域、不同服务方向，工作繁琐、维护困难，而且容易出现漏洞和差错。比如数据中心新增加一个业务类型，需要调整新的应用访问控制需求，此时管理员不仅要了解新业务的逻辑访问策略，还要精通物理的防火墙实体的部署、连接、安装，要考虑是增加新的防火墙端口、还是需要添置新的防火墙设备，要考虑如何以及何处接入，有没有相应的接口，如何跳线，以及随之而来的VLAN、路由等等，如果网络中还有诸如地址转换、7层交换等等服务与之相关联，那将是非常繁杂的任务。当这样的IT资源需求在短期内累积，将极易在使得系统维护的质量和稳定性下降，同时反过来减慢新业务的部署，进而阻碍公司业务的推进和发展。l 资源利用率低：传统架构方式对底层资源的投入与在上层业务所收到的效果很难得到同比发展，最普遍的现象就是忙的设备不堪重负，闲的设备资源储备过多，二者相互之间又无法借用和共用。这是由于对底层网络建设是以功能单元为中心进行建设的，并不考虑上层业务对底层资源调用的优化，这使得对网络的投入往往无法取得同样的业务应用效果的改善，反而浪费了较多的资源和维护成本。l 服务策略不一致：传统架构最严重的问题是这种以孤立的设备功能为中心的设计思路无法真正从整个系统角度制订统一的服务策略，比如安全策略、高可用性策略、业务优化策略等等，造成跨平台策略的不一致性，从而难以将所投入的产品能力形成合力为上层业务提供强大的服务支撑。因此，按传统底层基础设施所提供的服务能力已无法适应当前业务急剧扩展所需的资源要求，本次数据中心建设必须从根本上改变传统思路，遵照一种崭新的体系结构思路来构造新的数据中心IT基础架构。1.1.2 XXX数据中心目标架构面向服务的设计思想已经成为Web2.0下解决来自业务变更、业务急剧发展所带来的资源和成本压力的最佳途径。从业务层面上主流的IT厂商如IBM、BEA等就提出了摒弃传统的“面向组件（Component）”的开发方式，而转向“面向服务”的开发方式，即应用软件应当看起来是由相互独立、松耦合的服务构成，而不是对接口要求严格、变更复杂、复用性差的紧耦合组件构成，这样可以以最小的变动、最佳的需求沟通方式来适应不断变化的业务需求增长。鉴于此，XXX数据中心业务应用正在朝“面向服务的架构Service Oriented Architecture（SOA）”转型。与业务的SOA相适应，XXX提出支撑业务运行的底层基础设施也应当向“面向服务”的设计思想转变，构造“面向服务的数据中心”（Service Oriented Data Center，SODC）。传统组网观念是根据功能需求的变化实现对应的硬件功能盒子堆砌而构建企业网络的，这非常类似于传统软件开发的组件堆砌，被已经证明为是一种较低效率的资源调用方式，而如果能够将整个网络的构建看成是由封装完好、相互耦合松散、但能够被标准化和统一调度的“服务”组成，那么业务层面的变更、物理资源的复用都将是轻而易举的事情。SODC就是要求当SOA架构下业务的变更，导致软件部分的服务模块的组合变化时，松耦合的网络服务也能根据应用的变化自动实现重组以适配业务变更所带来的资源要求的变化，而尽可能少的减少复杂硬件的相关性，从运行维护、资源复用效率和策略一致性上彻底解决传统设计带来的顽疾。具体而言SODC应形成这样的资源调用方式：底层资源对于上层应用就象由服务构成的“资源池”，需要什么服务就自动的会由网络调用相关物理资源来实现，管理员和业务用户不需要或几乎可以看不见物理设备的相互架构关系以及具体存在方式。SODC的框架原型应如下所示：在图中，隔在物理架构和用户之间的“交互服务层”实现了向上提供服务、向下屏蔽复杂的物理结构的作用，使得网络使用者看到的网络不是由复杂的基础物理功能实体构成的，而是一个个智能服务安全服务、移动服务、计算服务、存储服务等等，至于这些服务是由哪些实际存在的物理资源所提供，管理员和上层业务都无需关心，交互服务层解决了一切资源的调度和高效复用问题。SODC和SOA构成的数据中心IT架构必将是整个数据中心未来发展的趋势，虽然实现真正理想的SODC和SOA融合的架构将是一个长期的历程，但在向该融合框架迈进的每一步实际上都将会形成对网络灵活性、网络维护、资源利用效率、投资效益等等方面的巨大改善。因此XXX本次数据中心的网络建设，要求尽可能的遵循如上所述的新一代面向服务的数据中心设计框架。1.2 XXX数据中心设计目标在基于SODC的设计框架下，XXX新一代数据中心应实现如下设计目标：l 简化管理：使上层业务的变更作用于物理设施的复杂度降低，能够最低限度的减少了物理资源的直接调度，使维护管理的难度和成本大大降低。l 高效复用：使得物理资源可以按需调度，物理资源得以最大限度的重用，减少建设成本，提高使用效率。即能够实现总硬件资源占用量降低了，而每个业务得到的服务反而更有充分的资源保证了。l 策略一致：降低具体设备个体的策略复杂性，最大程度的在设备层面以上建立统一、抽象的服务，每一个被充分抽象的服务都按找上层调用的目标进行统一的规范和策略化，这样整个IT将可以达到理想的服务规则和策略的一致性。1.3 XXX数据中心技术需求SODC架构是一种资源调度的全新方式，资源被调用方式是面向服务而非象以前一样面向复杂的物理底层设施进行设计的，而其中交互服务层是基于服务调用的关键环节。交互服务层的形成是由网络智能化进一步发展而实现的，它是底层的物理网络通过其内在的智能服务功能，使得其上的业务层面看不到底层复杂的结构，不用关心资源的物理调度，从而最大化的实现资源的共享和复用。要形成SODC要求的交互服务层，必须对网络提出以下要求：1.3.1 整合能力SODC要求将数据中心所需的各种资源实现基于网络的整合，这是后续上层业务能看到底层网络提供各类SODC服务的基础。整合的概念不是简单的功能增多，虽然整合化的一个体现是很多独立设备的功能被以特殊硬件的方式整合到网络设备中，但其真正的核心思想是将资源尽可能集中化以便于跨平台的调用，而物理存在方式则可自由的根据需要而定。数据中心网络所必须提供的资源包括：l 智能业务网络所必须的智能功能，比如服务质量保证、安全访问控制、设备智能管理等等；l 数据中心的三大资源网络：高性能计算网络；存储交换网络；数据应用网络。这两类资源的整合将是检验新一代数据中心网络SODC能力的重要标准。1.3.2 虚拟化能力虚拟化其实就是把已整合的资源以一种与物理位置、物理存在、物理状态等无关的方式进行调用，是从物理资源到服务形态的质变过程。虚拟化是实现物理资源复用、降低管理维护复杂度、提高设备利用率的关键，同时也是为未来自动实现资源协调和配置打下基础。新一代数据中心网络要求能够提供多种方式的虚拟化能力，不仅仅是传统的网络虚拟化（比如VLAN、VPN等），还必须做到：l 交换虚拟化l 智能服务虚拟化l 服务器虚拟化1.3.3 自动化能力自动化是SODC架构中上层自动优化的实现服务调用必须条件。在高度整合化和虚拟化的基础上，服务的部署完全不需要物理上的动作，资源在虚拟化平台上可以与物理设施无关的进行分配和整合，这样我们只需要将一定的业务策略输入给智能网络的策略服务器，一切的工作都可以按系统自身最优化的方式进行计算、评估、决策和调配实现。这部分需要做到两方面的自动化：l 网络管理的自动化l 业务部署的自动化1.3.4 绿色数据中心要求当前的能源日趋紧张，能源的价格也飞扬直上；绿地（Green Field）是我们每个人都关心的议题。如何最大限度的利用能源、降低功耗，以最有效率方式实现高性能、高稳定性的服务是新一代的数据中心必须考虑的问题。第2章 XXX数据中心技术实现根据以上新一代数据中心网络的技术要求，必须对传统数据中心所使用的常规以太网技术进行革新，数据中心级以太网（Data Center Ethernet，简称DCE）技术由此诞生。DCE之前也被一些厂商称为汇聚型增强以太网技术（Converged Enhanced Ethernet，简称CEE），是兼容传统以太网协议并按新一代数据中心的传输要求，对其进行全面革新的一系列标准和技术的总称。因此，为达到XXX的新一代数据中心的建设目标，必须摒弃传统以太网技术，而采用新一代的DCE（CEE）技术进行组网。具体而言，本次XXX数据中心所采用的DCE技术，可以达到以下的技术目标。2.1 整合能力2.1.1 一体化交换技术DCE技术的重要目标是实现传统数据中心最大程度的资源整合，从而实现面向服务的数据中心SODC的最终目标。在传统数据中心中存在三种网络：使用光纤存储交换机的存储交换网络（Fiber Channel SAN），便于实现CPU、内存资源并行化处理的高性能计算网络（多采用高带宽低延迟的InfiniBand技术），以及传统的数据局域网。DCE技术将这三种网络实现在统一的传输平台上，即DCE将使用一种交换技术同时实现远程存储、远程并行计算处理和传统数据网络功能。这样才能最大化的实现三种资源的整合，从而便于实现跨平台的资源调度和虚拟化服务，提高投资的有效性，同时还降低了管理成本。XXX业务的特点不需要超级计算功能，因此本次项目要实现存储网络和传统数据网络的双网合一，使用DCE技术实现二者的一体化交换。当前在以太网上融合传统局域网和存储网络唯一成熟技术标准是Fiber Channel Over Ethernet技术（FCoE），它已在标准上给出了如何把存储网(SAN)的数据帧封装在以太网帧内进行转发的相关技术协议。由于该项技术的简单性、高效率、经济性，目前已经形成相对成熟的包括存储厂商、网络设备厂商、主机厂商、网卡厂商的生态链。具体的协议发布可参见 FCoE 的相关Web Sites。 ( http:/www.t11.org/fcoe )本次数据中心建设将做好FCoE的基础设施准备，并将在下一阶段完成基于FCoE技术的双网融合。2.1.2 无丢弃以太网技术为保证一体化交换的实现，DCE改变了传统以太网无连接、无保障的Best Effort传输行为，即保证主机在通过以太网进行磁盘读写等操作、高性能计算所要求的远程内存访问、并行处理等操作，不会发生任何不可预料的传输失败，达到真正的“无丢包”以太网目标。DCE在网络中以硬件及软件的形式实现了以下技术：类别的流控(Priority Flow Control)通过基于IEEE 802.1p类别通道的PAUSE功能来提供基于数据流类别的流量控制带宽管理IEEE 802.1Qaz 标准定义基于IEEE 802.1p 流量类别的带宽管理以及这些流量的优先级别定义拥塞管理IEEE 802.1Qau 标准定义如何管理网络中的拥塞(BCN/QCN)l 基于优先级类别的流控在DCE 的理念中是非常重要的一环，通过它和拥塞管理的相互合作，我们可以构造出“不丢包的以太网”架构；这对今天的我们来说，它的诱惑无疑是不可阻挡的。不丢包的以太网络提供一个安全的平台，它让我们把一些以前无法安心放置到数据网络上的重要应用能安心的应用到这个DCE的数据平台。l 带宽管理在以太网络中提供类似于类似帧中继(Frame Relay)的带宽控制能力，它可以确保一些重要的业务应用能获得必须的网络带宽；同时保证网络链路带宽利用的最大化。l 拥塞管理可以提供在以太网络中的各种拥塞发现和定位能力，这在非连接的网络中无疑是一个巨大的挑战；可以说在目前的所有非连接的网络中，这是一个崭新的应用；目前的研究方向主要集中在后向拥塞管理(BCN)和量化拥塞管理(QCN)这两个方面。2.1.3 性能支撑能力为保证实现一体化交换和资源整合，DCE还必须对传统以太网的性能和可扩展性的进行革新。首先为保证三网合一后的带宽资源，万兆以太网技术只是DCE核心层带宽的起点。而正在发展中的40G/100G以太网才是DCE技术将来的主流带宽。因此，要保证我们今天采购的设备能有5年以上的生命周期，就必须考虑硬件的可扩展能力。这也就是说从投资保护和工程维护的角度出发，我们需要一个100G平台的硬体设备，即每个设备的槽位至少要支持100G的流量（全双工每槽位200Gbps），只有这样才能维持该设备5年的生命周期。同时从经济性的角度来考虑，如果能达到400G的平台是最理想的。另外存储网络和高性能计算所要求的通过网络实现的远程磁盘读写、内存同步的性能需求，DCE设备必须提供比传统以太网设备低几个数量级的端口间转发延迟。DCE要求的核心层的三层转发延迟应可达到30us以下，接入层的二层转发延迟应可在34us以下。这都是传统以太网技术无法实现的性能指标要求。2.1.4 智能服务的整合能力众所周知，应用的复杂度是在不断的提升，同时伴随着网络的融合，应用对网络的交互可以预见的是网络的复杂度也将不断的提升。这也印证我们的判断：应用对网络的控制将逐步增强，网络同时也在为应用而优化。因此构建一个单业务的简单L2转发网络并不是网络设备的设计方向；全业务的设备和多业务融合的网络才是我们所需要的环境。那么我们需要什么样的全业务呢，很明显Data Center Ethernet 是一个必备的项目，同时我们至少还需要其它的基本业务属性来保障一个多业务网络的运行，如：l 服务质量保证QoSl 访问列表控制 ACLl 虚拟交换机的实现 Virtual Switchl 网络流量分析 Netflowl CPU抗攻击保护CoPPl 远程无人值守管理CMPl 嵌入式事件管理EEM当然，所有这些业务的实现都是在不影响转发性能的前提条件下的。失去这个大前提，多业务的实现就变得毫无意义。所以设计一个好的产品就必须顾全多业务、融合网络这个大前提。如何使这些复杂的业务处理能够在高达100G甚至是400G的线路卡上获得线速处理的性能是考验一个硬件平台的重要技术指标。最终的胜出者无疑就是能够用最小的代价来换取最大业务实现和性能的设备平台。2.2 虚拟化能力DCE对网络虚拟化不仅仅是传统意义上的VLAN和VPN，为实现SODC的交互服务层资源调度方式，DCE还能够做到以下的虚拟化能力。2.2.1 虚拟交换技术虚拟交换技术可以实现当我们使用交换机资源时，我们可以不用关心交换服务的物理存在方式，它可能是由一台交换机提供，也可能是两台交换机设备，甚至可以是一个交换机中的几个虚拟交换机之一。思科的DCE技术就提供了将两个物理交换机虚拟为一台交换机的虚拟交换系统（VSS）技术，以及将一个交换机虚拟化为多个交换机的虚拟设备（VDC）技术。（一）虚拟交换系统（VSS）VSS技术可将网络的双核心虚拟化为单台设备，比如使用的Cisco 6509的9插槽设备将完全被虚拟化成为单台18槽机箱的虚拟交换机。虚拟交换机性能倍增、管理复杂度反而减半。具体有如下优势：l 单一管理界面：管理界面完全为单台设备管理方式，管理和维护工作量减轻一半；l 性能翻倍：虚拟交换系统具备两台叠加的性能，与其它交换机通过跨物理机箱的双千兆以太网或双万兆以太网捆绑技术，远比依靠路由或生成树的负载均衡更均匀，带宽和核心吞吐量均做到真正的翻倍。l 协议简单：虚拟交换系统与其它设备间的动态路由协议完全是单台设备与其它设备的协议关系，需维护的路由邻居关系数以二次方根下降，在本系统中可达45倍下降，工作量和部署难度大大降低；虚拟交换系统同时作为单台设备参与生成树计算关系，生成树计算和维护量以二次方根下降，在本系统中可达45倍下降，工作量和部署难度大大降低。l 冗余可靠：虚拟交换系统形成虚拟单机箱、物理双引擎的跨机箱冗余引擎系统，下连接入交换机原来需要用动态路由或生成树实现冗余切换的，在VSS下全都可以用简单的链路捆绑实现负载均衡和冗余，无论是链路还是引擎，冗余切换比传统方式更加迅捷平滑，保持上层业务稳定运行。以前两个单引擎机箱的其中一台更换引擎，一定会导致数据的丢失，而虚拟交换系统里任意一台更换引擎，数据可以保证0丢失。（二）虚拟设备系统（VDC）VDC技术则可以实现将一台交换机划分为多个虚拟的子交换机，每个交换机拥有独立的配置界面，独立的生成树、路由、SNMP、VRRP等协议进程，甚至独立的资源分配（内存、TCAM、转发表等等）。它与VSS配合，将在实现更加灵活的、与物理设备无关的跨平台资源分配能力，为数据中心这种底层设施资源消耗型网络提供更经济高效的组网方式，也为管理和运营智能化自动化创造条件。物理设备虚拟成若干个逻辑上的独立设备的图示：2.2.2 网络服务虚拟化在服务资源整合以及设备虚拟化的基础之上，DCE要求每个虚拟化的网络应用区都有自己的业务服务设施，比如自己的防火墙、IDS、负载均衡器、SSL加速、网络服务，这些如果都是物理上独占式分配的，将是高成本、低效率且难于维护管理的。DCE网络在提供这些网络智能服务时都可以以虚拟化的方式实现各类服务的资源调用，思科的DCE网络中就可以实现虚拟防火墙、虚拟IDS、虚拟负载均衡器、虚拟SSL VPN网络等等，从而实现网络智能服务的虚拟化。2.2.3 服务器虚拟化服务器虚拟化可以使上层业务应用仅仅根据自己所需的计算资源占用要求来对CPU、内存、I/O和应用资源等实现自由调度，而无须考虑该应用所在的物理关联和位置。当前商用化最为成功的服务器虚拟化解决方案是VMWare的VMotion系列，微软的Virtual Server和许多其它第三方厂商（如Intel、AMD等）也正在加入，使得服务器虚拟化的解决方案将越来越完善和普及。然而人们越来越意识到服务器虚拟化的系统解决方案中除了应用、主机、操作系统的角色外，网络将是一个更为至关重要的角色。网络将把各个自由联系成为一个整体，网络将是实现自由虚拟化的桥梁。服务器虚拟化需要DCE能够提供以下能力：l 资源的整合：业务应用运行所依赖的物理计算环境都需要网络实现连接，然而在传统网络中，传输数据的数据网、互连CPU和内存的计算网、互连存储的存储网都是孤立的，这就无法真正实现与物理无关的服务器资源调度，因此实现真正意义上彻底的服务器虚拟化，前面提到的DCE三网一体化交换架构是必须的条件。l 网络的虚拟机意识：传统网络是不具备虚拟机意识的，即在网络上传递的信息是无法区别它是来自于哪个虚拟机，也无法在网络上根据虚拟机来提供相应的网络服务，当虚拟机迁移，也没有相应的网络跟踪手段保证服务的全局一致性。不过这些都是DCE正在解决的问题，一些DCE的领导厂商，比如思科，已经在推出的商用化DCE产品中提供了相应的虚拟机标识机制，并且思科已经联合VMware等厂商将这些协议提交IEEE实现标准化。l 虚拟机迁移的网络环境：服务器虚拟化是依靠虚拟机的迁移技术实现与物理资源无关的资源共享和复用的。虚拟机迁移需要一个二层环境，这导致迁移范围被局限在传统的VLAN内。我们知道Web2.0、云计算等概念都需要无处不在的数据中心，那么如何实现二层网络的跨地域延展呢？传统的L2 MPLS技术太复杂，于是IEEE和IETF正在制定二层多路径（即二层延展）的新标准，DCE的领导厂商思科公司也提出了一种新的协议标准Cisco Over the Top Virtualization(OTV)来解决跨城域或广域网的二层延展性问题，从而为服务器虚拟化提供可扩展的网络支撑。2.3 自动化自动化是SODC架构中上层自动优化的实现服务调用必须条件。在高度整合化和虚拟化的基础上，服务的部署完全不需要物理上的动作，资源在虚拟化平台上可以与物理设施无关的进行分配和整合，这样我们只需要将一定的业务策略输入给智能网络的策略服务器，一切的工作都可以按系统自身最优化的方式进行计算、评估、决策和调配实现。现在商用的DCE自动化解决方案包括管理自动化和业务部署自动化。XXX数据中心将在后续的建设中逐步完善自动化管理和自动化业务部署，但需要在本期通过DCE技术的实施打下未来自动化部署的坚实基础。2.4 绿色数据中心DCE技术的整合化、虚拟化和自动化本身就是在达到同样业务能力的要求下实现高效率利用硬件资源、减少总硬件投入、节约维护管理成本等方面的最佳途径，这本身也是绿色数据中心的必要条件。另外DCE产品必须在硬件实现上实现低功耗、高效率，包括l 利用最新半导体工艺（越小纳米的芯片要比大纳米的芯片省电）l 降低逻辑电路的复杂度 （在接入层使用二层设备往往要比三层设备省电）l 减少通用集成电路的空转（使用定制化的专业设计的芯片往往比通用芯片省电）l 等等由此可见，对于一台网络设备，在业务能力相当的前提条件下，越小的功耗就代表越先进的技术。在DCE设备一般可以做到维持三层的全业务万兆吞吐功耗小于25W、二层的万兆吞吐功耗小于13W。综上所述，在本次XXX新一代数据中心网络的建设中，将采用不同于传统以太网技术的DCE以太网技术，构建面向服务的高效能数据中心网络平台。第3章 XXX数据中心网络设计3.1 总体网络结构本次XXX数据中心网络的建设将采用新一代的DCE技术，并使用DCE技术的代表厂商Cisco公司的Nexus系列产品。网络结构将采用大型数据中心典型的层次化、模块化组网结构。3.1.1 层次化结构的优势采用层次化结构有如下好处：l 节约成本：园区网络意味着巨大的业务投资正确设计的园区网络可以提高业务效率和降低运营成本。l 便于扩展：一个模块化的或者层次化的网络由很多更加便于复制、改造和扩展的模块所构成，在添加或者移除一个模块时，并不需要重新设计整个网络。每个模块可以在不影响其他模块或者网络核心的情况下投入使用或者停止使用。l 加强故障隔离能力：通过将网络分为多个可管理的小型组件，企业可以大幅度简化故障定位和排障处理时效。3.1.2 标准的网络分层结构层次化结构包括三个功能部分，即接入层、分布层和核心层，各层次定位分别如下：l 核心层：是企业数据交换网络的骨干，本层的设计目的是实现快速的数据交换，并且提供高可靠性和快速的路由收敛。l 分布层：也称为汇聚层。主要汇聚来自接入层的流量和执行策略，当第三层协议被用于这一层时可以获得路由负载均衡，快速收敛和可扩展性等好处。分布层还是网络智能服务的实施点，包括安全控制、应用优化等智能功能都在此实施。l 接入层：负责提供服务器、用户终端、存储设施等等的网络第一级接入功能，另外网络智能服务的初始分类，比如安全标识、QoS分类将也是这一层的基本功能。3.1.3 XXX的网络结构根据业界企业网络最佳设计实践参考，在边缘节点端口较少的小型网络中，可以考虑将核心层与分布层合并，小型网络的网络规模主要由接入层交换机决定。但对于XXX而言，结合XXX的业务现状及发展趋势，我们可以看到未来几年内业务处于一个高速成长期，必须在本期网络架构中充分考虑未来的可扩展性。所以XXX企业内部核心网络层次结构必须具有以上严格清晰的划分，即具有清晰的核心层、会聚分布层、接入层等分层结构，才能保证网络的稳定性、健壮性和可扩展性，以适应业务的发展。XXX的业务应用特点又决定了核心层将相对接入的网络模块较少，只有楼层汇聚接入、数据中心汇聚接入、广域网接入等三块，如果采用单独的大容量物理核心设备将造成浪费，而如果采用低端核心设备则会对业务相对繁忙的数据中心汇聚形成瓶颈，也影响网络整体的稳定性。鉴于此，我们采用超大规模核心层设备Cisco Nexus 7000作为核心，但虚拟化为两套交换机，一套用于全网核心，一套用于数据中心汇聚。这样做的优势如下：l 逻辑上仍然是清晰的两套设备，完全保持了前述网络分层结构的优势。l 在性能上实现了网络核心和数据中心汇聚交换机资源的共享和复用，非常好的解决了核心层数据量和数据中心数据量可能存在较大差异的问题。l 以较低的投入升级了数据中心汇聚交换机的能力（相当于可以与核心层复用4Tbps以上的交换能力），适于下一阶段要进行的数据中心双网融合的资源需求。l 减少了设备数量，降低了设备投入成本、功耗开销和维护管理的复杂度。XXX新一代数据中心整体网络结构如下图所示：3.2 全网核心层设计本次我们采用能扩展到15Tbps以上的Cisco Nexus 7000系列大型DCE交换机，每台Nexus7000划分为两个VDC（虚拟交换机），一个虚拟交换机作为XXX全网核心，另一个虚拟交换机作为数据中心的分布汇聚层交换机。我们选择的是10插槽Nexus7010，以双机双冗余方式部署在网络核心。每台当前支持的最大交换容量为4Tbps，最大万兆端口容量为256个，每插槽交换能力为230Gbps（未来可扩展到500Gbps以上），可以在未来扩展40G/100G以太网。本次每台N7010实配32个万兆端口，48个千兆端口，这些端口都可在物理上划分为属于全网核心的虚拟交换机和属于数据中心汇聚的虚拟交换机，每个虚拟交换机从软件进程到配置界面都各自独立，但可以共享和复用总的交换机资源。每个虚拟交换机都支持vPC技术（Virtual Port-Channel），即可以实现跨交换机的端口捆绑，这样在下级交换机上连属于不同机箱的虚拟交换机时，可以把分别连向不同机箱的万兆链路用与IEEE 802.3ad兼容的技术实现以太网链路捆绑，提高冗余能力和链路互连带宽的同时，大大简化网络维护。核心层虚拟交换机与其它设备互连都采用路由端口和三层交换方式，因此采用vPC进行链路捆绑时使用三层端口链路捆绑技术。如图所示：3.3 数据中心分布层设计3.3.1 数据中心分布层虚拟交换机数据中心的分布汇聚层交换机是采用上述Nexus 7010内单独划分处理的虚拟交换机实现。虚拟交换机之间通过外部互连，并同样采用vPC的三层端口链路捆绑技术。分布汇聚层虚拟交换机与下面的接入层采用二层端口的vPC跨机箱捆绑技术互连，如下图所示。3.3.2 数据中心分布层智能服务机箱数据中心的网络智能服务由设计在分布层的智能服务机箱提供（Multi-Services Chassis）。单独的服务机箱可以不破坏高性能的一体化交换架构形成的数据中心主干，有选择的对三网合一的数据中心流量提供按需的网络智能服务。比如本地存储流量没有必要在传输过程中经过数据应用类防火墙的检查（存储网内有自己的安全访问控制机制），这样的设计比较容易实现类似的FCoE流量的无干扰直达。智能服务机箱采用Cisco Catalyst 6500交换机，配置720G引擎和18个万兆端口，内置防火墙模块（FWSM）、应用控制模块（ACE）， 提供应用级安全访问控制和应用优化、负载均衡功能。智能服务机箱采用双机冗余结构，利用Catalyst 6500的VSS虚拟交换机功能，两个独立的机箱完全可以看成为一个逻辑机箱，再通过共4个万兆上连至2个N7000上的分布汇聚层虚拟交换机上。VSS技术形成了一个具有1.44Tbps能力的智能服务机箱，再通过N7000的vPC技术，则形成了智能服务机箱和N7000之间全双工高达80Gbps的互连带宽。由于N7000和6500VSS上都预留了足够的万兆端口，这个捆绑带宽值根据未来智能服务处理性能的需要还可以成倍的平滑升级。物理和逻辑的连接示意图如下面所示。 物理结构图 逻辑结构图在一期实施中，智能服务机箱内智能服务器硬件模块的部署密度不高每个机箱内防火墙模块、负载均衡模块各一块，这样每个机箱内使用引擎加速技术的防火墙模块最大迸发吞吐量32Gbps，负载均衡模块最大四层吞吐能力16Gbps（而且不是所有都需要负载均衡），完全满足当前业务需求，因此可以在实施中简化配置，改双机箱VSS结构为一主一备机箱方式，在以后随业务需求上涨，业务模块增多，再完善为双机箱负载均衡的VSS模式。由于服务机箱内的防火墙模块和应用控制优化模块都支持虚拟化技术，因此还可以利用智能服务虚拟化实现基于每个数据中心业务组的定制服务策略和功能，使每个业务应用使用所需资源时不必过度关注其物理存在方式，从而实现与物理无关的跨平台智能服务调用（SODC的交互服务调用），极大的提高资源利用效率，减少了物理设施维护的复杂度。这部分将在后面智能服务的详细设计中加以阐明。3.4 数据中心接入层设计使用Cisco Nexus 5000和2000系列DCE接入交换机，可以实现数据中心接入层的分级设计。本次建议XXX使用的是具有将近1.2Tbps交换能力、初始配置有40个万兆以太网端口的Nexus 5020交换机，以及具备48个10/100/1000M以太网端口、4个万兆上连端口的Nexus 2148T。Nexus 2000是5000系列的交换矩阵延展器，通过部署在柜顶（Top of the Rack，ToR）的2148T，可以将本地接入的高密度服务器上连到5020，4个上连万兆端口可以提供48个千兆端口中至少40个端口的全线性转发能力，通过连接多台2148T，5020可以将1.2T的惊人交换能力延展到多个机柜，实现高性能、高密度、低延迟的DCE服务器群接入能力。而且作为5020的延展设备，2148T无需自身进行复杂配置，所有管理和配置都可在其上游的5020上完成，大大简化了多机柜、高密度服务器接入设备的管理复杂度。Nexus 5000和2000都是按柜顶（Top of the Rack，ToR）交换机的尺寸设计，12U的高度内紧凑的集成了高密度的DCE端口，但同时提供可热插拔的冗余风扇组和冗余电源系统，其可靠性远非其它传统以太网中固定接口小交换机所可比。Nexus 5000是业界第一款商用化FCoE交换机，其所有万兆以太网端口都支持FCoE。同时Nexus 5000支持扩展16个14G Fiber Channel端口或8个18G Fiber Channel端口，完全支持Fiber Channel SAN交换机的完整功能特性。也即传统需要以太网卡、FC存储卡（HBA）、InfiniBand卡的主机，只需要一张FCoE的以太网卡（CNA）就可以实现三种网络的接入，用户在操作系统上也可以看见虚拟化的以太网卡、HBA卡和InfiniBand卡，而它们共享万兆的高带宽，Nexus 5000还可通过Fiber Channel接口连接传统的SAN网络，实现SAN/LAN的整合，通过这种整合和虚拟化实现资源的自由调度和最大化利用，同时成倍减少的网卡数节约了功耗，提高了可靠性，降低了维护成本。XXX的20个主机、服务器机柜将分为两列，每列选两个列中柜（Middle of the Row），柜内部署Nexus 5020，而每列其它8个普通机柜在柜顶（ToR）放置Nexus 2148T。物理部署类似下图所示：普通的机柜内放置千兆端口服务器，每机柜可容纳具有冗余网卡的千兆服务器高达20个。每列的两个列中柜（MoR）内可放置具备万兆以太网卡的高性能服务器、万兆FCoE卡的新型服务器、具备Fiber Channel卡（HBA）的服务器和SAN交换机，甚至将来可以扩展具备FCoE接口的盘阵。提供两种实际物理接线的方法：方法1：交叉冗余链接每两个普通机柜的设备都与另一个机柜的Nexus 2148T冗余交叉上连，每个普通机柜柜顶（ToR）的Nexus 2148T又通过4个万兆交叉上连至本列的两个列中柜（MoR）内的Nexus 5020，每列两个列中柜（MoR）内的Nexus 5020冗余互连，并且再交叉上连至Nexus 7000的虚拟交换机上。物理连接类似下图所示：方法2：以Nexus 5000为单位的冗余和负载均衡这种方法保证对于每个Nexus 2000而言只连接一个Nexus 5000，避免跨越Nexus 5000的负载均衡，也即避免负载均衡时偶发的在两个Nexus 5000互连的链路上产生流量。这种方法的优点是负载均衡效果更好，避免两个Nexus 5000之间可能产生的拥塞（虽然可能性比较小），而且网络结构简单，易于管理。但缺点是冗余能力不如方法1，由于方法1让每一个Nexus 2000交错连接，所以可以容忍2000、5000同时出现故障。由于2000、5000同出故障的概率极低，而方案2更容易实施，管理复杂度更小，所以一期施工推荐使用方法2。在服务器的分配应尽量遵循相互业务紧密、访问量大或需要相互进行虚拟机迁移和调度的物理服务器应放置在同一柜列（Row）的原则，即共用一对Nexus 5000。上图每个机柜的20台服务器可以完全实现双网卡的Load Balance Teaming方式下的线性网络接入，即每台服务器2G带宽（4G吞吐量）的网络接入能力。在一期实施中，为简化服务器端设计，可以服务器网卡可以先采用Active/Standby的Teaming方式。3.5 数据中心地址路由设计3.5.1 核心层XXX数据中心核心层与分布汇聚层之间采用路由端口，实现三层交换，建议使用OSPF路由协议。3.5.2 分布汇聚层和接入层分布汇聚层和接入层之间使用交换端口，实现二层交换。如前所述，当前的主流虚拟机软件，如VMware、Virtual Server等都需要在二层交换下实现虚拟机迁移，因此在数据中心接入层使用二层交换将方便虚拟机的迁移和调度。当前由于Cisco独特的VSS虚拟交换机技术和vPC跨设备端口捆绑技术的使用，可以实现在二层结构下完全没有环路，从根本上解决了生成树算法收敛慢、不稳定、故障多的问题，也使得在一个数据中心内二层结构下的可扩展性与三层结构没有根本的区别。如下图所示，只要经过适当设计，本项目接入层的二层部分将没有环路，快速生成树算法将只用于在误操作等极端情况下的防范手段。当IEEE的改进生成树协议或者IETF的二层路由协议技术成熟，或者直接使用思科当前就可以提供的OTV技术，二层结构还可以扩展到城域和广域网中去，扩大服务器虚拟化的调度范围，向云计算的理想迈进。分布汇聚层的智能服务机箱相关的地址和逻辑设计将在后面专项的智能服务介绍中详细阐述。3.5.3 VLAN/VSAN和地址规划接入层内的Nexus 5000和2000将可以把主机服务器和存储设备一并接入统一交换，其中数据网络部分实现传统的VLAN设计，而存储网络则支持VSAN。在DCE的一体化交换架构下，数据网络部分的逻辑结构设计（地址和路由）与分层设计的传统网络完全兼容，因此用户现有的主机、服务器在割接到新数据中心时无需变更地址，实现平滑过度。第4章 应用服务控制与负载均衡设计4.1 功能介绍4.1.1 基本功能本项目我们在数据中心的分布汇聚层的智能服务机箱内配置了Cisco 应用控制模块 (Application Control Engine, ACE)，作为数据中心的重要网络智能服务，该模块可为后台应用服务器提供高性能表现和最高级别的体系控制和安全保护。ACE主要针对大型企业和电信用户的服务器集群环境，可以有效地对重要应用数据的传送进行优化和简化，同时具备良好的性价比。 ACE提供了如下的性能和功能：l ACE 提供四到七层数据包的内容交换和负载均衡功能，为服务器机群提供虚拟地址和端口。ACE在插入Catalyst 6500后，交换机上的所有端口即可成为四层交换端口。ACE与Catalyst 6509数据总线和交换矩阵都有连接，最高带宽为16Gbps,每秒连接数为345000个。ACE不仅为服务器提供负载均衡，还可为外部的防火墙、VPN集中器等等网络服务设施提供负载均衡。l ACE具备资源分配和隔离功能，是服务器虚拟化的重要手段之一。在一个物理模块中，ACE可以划分为多个独立的分区，每一个分区都可以分配给一个应用或者一个用户使用。另外，每一个分区都支持层次化的管理模式，提供了资源管理的灵活性和安全性。ACE支持基于角色的访问控制(role-based access control), 所有的用户都被分配了相应的角色(role),每个角色在分区内被允许执行相关的命令集。例如系统管理员角色(system admin role)可以执行ACE所有的命令而应用程序管理员角色(application admin role)只能执行和后台应用及内容交换的命令等。l ACE具有强大的安全功能，可以有效地保护后台的应用程序免受恶意攻击。主要的技术包括： HTTP深层包检测、双向动态、静态和基于策略的地址转换(NAT/PAT)，访问控制列表、TCP包头验证、TCP连接状态监控等。l ACE支持多层次的冗余性，对关键业务提供最高等级的可用性保护。ACE是目前业界唯一可以实现以下三种高可用性保护的四层交换机n 机箱间冗余 - 两台机箱间的ACE板卡可互为冗余保护n 板卡间冗余 - 同一机箱内的多个ACE板卡可互为冗余保护n 虚拟分区前冗余 同一ACE板卡内的不同虚拟分区之前可互为保护l ACE的冗余保护对动态的连接进行保护，保证当主业务板卡故障时业务连接仍然得以保持。l 硬件加速方式的协议控制，对常见协议提供有效的检查、过滤和绑定。 这些协议包括HTTP,RTSP,DNS,FTP,ICMP等。硬件方式实现ACL和NAT功能，最多支持一百万个NAT转换表项。4.1.2 应用特点4.1.2.1. 虚拟化分区虚拟分区实现了资源分段和隔离，使思科ACE可作为一个物理模块中的多个独立虚拟模块运行。凭借这个解决方案，企业能够利用一个思科ACE模块，为多达250个不同的企业机构、应用、或客户和合作伙伴提供事先定义的服务水平。虚拟分区使应用基础设施能更好地用于业务运营，同时减少设备并实现出色的控制。另外，每个虚拟分区还包括分级管理域，既能确保应用的性能水平，又可使ACE模块中的可用资源得到最大限度的利用。思科ACE为分散的管理提供集中的控制，从而为每个虚拟分区提供了基于模板的或可自定义的用户访问权限。基于角色的访问控制(Role Based Access Control, RBAC)特性允许企业对管理角色进行定义，限定管理员对模块或虚拟分区内特定功能的使用权。由于一个机构中可能有多位管理员需要以不同级别（例如，应用管理、服务器管理、网络管理、安全管理等）与思科ACE模块互动，因此，对这些管理角色进行准确定义，使每个管理员群组都能够在不影响其他群组的情况下顺利地执行任务，无疑是一项重要工作。通过与Cisco Catalyst 6500的虚拟路由转发(VRF)、防火墙模块的虚拟化相集成，可支持从路由功能、防火墙到应用控制负载均衡的端到端的智能服务虚拟化（如下图所示）。4.1.2.2. 性能和扩展性思科ACE提供了业界最高水平的应用供应能力。每个思科ACE模块的吞吐率可高达16 Gbps，每秒支持345,000个持续连接，可以轻松地处理大量数据文件、多媒体应用和庞大的用户群体。ACE系列模块配备了“随增长而投资”的付费许可证，提供了最高16 Gbps的可扩展吞吐率，客户无需为扩充容量而全面升级系统。在设计上，ACE也为未来的增值服务和扩展功能预留了空间。实际上，通过在单一Cisco Catalyst 6500机箱中安装四个ACE模块，它提供了业界最高水平的可扩展性。思科ACE还提供了多层冗余性、可用性和可扩展性，为您的关键业务提供最大限度的保护。它还是业内唯一提供三种高可用性模式的产品：l 机箱间高可用性：一台Cisco Catalyst 6500中的ACE由对等Cisco Catalyst 6500中的ACE保护。l 机箱内高可用性：Cisco Catalyst 6500中的一个ACE由同一Cisco Catalyst 6500中的另一个ACE保护(Cisco Catalyst 6500内置了强大的冗余性)。l 分区之间高可用性：思科ACE支持在两个模块上配置的虚拟分区之间的高可用性，使特定分区能够在不影响模块中其他分区和应用的基础上执行故障切换。所有这些可用性模式均通过复制连接状态和连接表，提供了快速的状态化应用冗余性。4.1.2.3. 安全功能思科自防御网络提供了多个级别的防御功能，使客户可以高枕无忧。思科ACE可通过以下特性，保护数据中心和关键应用免受恶意流量的影响：l HTTP深度包检测HTTP报头、URL和净负荷l 双向网络地址转换(NAT)和端口地址转换(PAT)l 支持静态、动态和基于策略的NAT/PATl 访问控制列表(ACL)可选择地允许端口间的哪些流量通过l TCP连接状态跟踪l 用于UDP的虚拟连接状态l 序列号随机生成l TCP报头验证l TCP窗口尺寸检查l 在建立会话时检查单播反向路径转发(URPF) 4.1.2.4. 集成硬件加速协议控制功能在应用供应领域尚属首次面世，为许多常用数据中心协议，如HTTP、实时流协议(RTSP)、域名系统(DNS)、 FTP和互联网控制消息协议(ICMP)，提供了有效的检测、过滤和修复功能。拥有多达256,000个条目的大型可扩展ACL能够同时支持应用希望获得的前端可扩展性（用户/客户端应用数量）和后端可扩展性（服务器/服务器群数量）。此外，多达1,000,000个条目的高性能、可扩展NAT事件处理功能也支持许多大型数据中心的整合和应用更快速的面世。虚拟分区则可以使所有重叠的IP子网保持独立，无需为保护数据中心而进行费用高昂的网络重新设计、重新配置，或添加额外的设备。思科ACE也支持对于协议符合性的检查，且可为安全分析提供事件记录和报告。4.1.2.5. 基础设施简化第二至七层网络集成作为Cisco Catalyst 6500机箱的一个模块，思科ACE可以轻松地插入任何新型或现有的网络，提供了一个第二至七层全面而丰富的解决方案。该解决方案支持Catalyst 6500所支持的所有端口类型和数量，支持