电子政务云平台建设方案-20140411

xxxxx电子政务云解决方案建议书云计算改变电子政务未来xxxx政务云解决方案建议书目 录第一章 前言11. 项目背景12. 云计算12.1. 云计算综述12.2. 云计算分类2第二章 需求分析31. 信息化建设分散重复32. 信息化水平不均衡43. 管理协调体制尚需完善44. 两化融合程度不高45. 机房资源不足5第三章 规划目标61. 建设统一化，减少重复投入62. 数据集中化，提高政府服务质量63. 政务专业化，促进政府部门服务方式和职能的转变64. 工业信息化，助力两化融合6第四章 整体设计71. 规划原则72. 顶层设计72.1. 基础设施集中规划82.2. 政务数据逐步整合92.3. 应用形成平台集合92.4. 统一管理平台103. 技术路线103.1. 资源池化技术103.2. 弹性扩展113.3. 智能化云管理113.4. 安全可控能力11第五章 建设内容131. 内容框架132. 云中心设计方案132.1. 总体框架152.2. 性能指标153. 计算资源池建设163.1. 架构设计163.2. 产品选型184. 存储资源池建设194.1. 架构设计194.2. 产品选型195. 云管理平台建设235.1. 需求分析235.2. 架构设计235.3. 产品选型236. 网络系统设计266.1. 设计原则266.2. 接入网络设计276.3. 局域网络设计307. 云安全管理建设347.1. 需求分析347.2. 架构设计378. 云备份系统建设408.1. 需求分析408.2. 架构设计419. 灾备中心设计429.1. 云计算中心面临的问题429.2. 容灾技术的选择43第六章 机房建议451. 中国移动（广东XXXX）数据中心452. 灾备中心机房46第七章 建设配置清单48第八章 运维体系建设521. 综述522. 风险评估5455第一章 前言1. 项目背景XXXX市政府信息中心作为全市信息化枢纽，承载着多项重要信息化应用，如内外网域名服务器、邮件系统等等，同时也是XXXX各委部局与公网、省政务网的传输出口。现各部局、各事业单位的数据资源、服务器、信息化系统各自为政，难以实现跨部门的数据共享。同时，随着平安XXXX、政府应急、共享灾备、智能交通系统等等一系列政府信息化工程的全面开展，以及国家、省对信息安全、平台性能要求的不断提升，信息中心现有的设备及网络架构已经难以支撑业务发展、安全、性能方面的新要求。面对部门各自为政、分散建设、不能互联互通、资源共享程度低、重复建设、统一管理等一系列的问题，云计算的服务模式和技术模式在资源管理、数据管理、服务管理方面给出了目前最好的答案。“云技术”出现，将使得XXXX市政府可建设电子政务云，统一对外（政府之间、政府对企业、政府对公众）提供服务的平台，着力建设服务型的政府信息化。2. 云计算在云计算的诞生之前，现代计算机已经走过了大半个世纪。从高高在上的大型机时代，到个人用户普及的PC机时代，再有Internet技术将全世界都联系到了一起。随着移动互联网时代的到来，数据的增长完全可以用“疯狂”来形容。云计算就是在这种发展背景下产生的新技术。2.1. 云计算综述云计算是一种IT资源的交付和使用模式，指通过网络（包括互联网Internet和企业内部网Intranet）以按需、易扩展的方式获得所需的软件、应用平台、及基础设施等资源。云计算具有资源池化、弹性扩展、自助服务、按需付费、宽带接入等关键特征。2.2. 云计算分类云计算从服务模式上来讲主要包括基础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）等内容。IaaS是Infrastructure-as-a-Service（基础设施即服务）的建成，云计算中心可使用IaaS的模式将其资源提供给客户，通过虚拟化技术，虚拟数据中心可以将相应的物理资源虚拟为多个虚拟的数据中心，从而在用户一端看到一个个独立的，完整的数据中心（虚拟的），这些虚拟数据中心可以由用户发起申请和维护，同时，这些虚拟数据中心还具有不同的资源占用级别，从而保证不同的用户具有不一样的资源使用优先级。PaaS是Platform-as-a-Service(平台即服务)的简称，PaaS能给客户带来更灵活、更个性化的服务，这包括但不仅限于中间件作为服务、消息传递作为服务、集成作为服务、信息作为服务、连接性作为服务等。此处的服务主要是为了支持应用程序。这些应用程序可以运行在云中，并且可以运行在更加传统的企业数据中心中。为了实现云内所需的可扩展性，此处提供的不同服务经常被虚拟化。PaaS厂商也吸引软件开发商在PaaS平台上开发、运行并销售在线软件。SaaS是Software-as-a-Service（软件即服务）的简称，一种通过Internet提供软件的模式，厂商将应用软件统一部署在自己的服务器上，客户可以根据自己实际需求，通过互联网向厂商定购所需的应用软件服务，按定购的服务多少和时间长短向厂商支付费用，并通过互联网获得厂商提供的服务。在SaaS模式下，企业不再象传统模式那样花费大量投资用于硬件、软件、人员，而只需要支出一定的租赁服务费用，通过互联网便可以享受到相应的硬件、软件和维护服务，享有软件使用权和不断升级，这是网络应用最具效益的营运模式。同时，服务提供商通过大规模的客户收取一定服务费用，一方面来达到软件的最大利用率，另一方面也降低频繁的客户现场实施和维护费用，更多的精力投入到技术及服务质量上，更好地通过有效的技术措施保证每家企业数据的安全性和保密性。第二章 需求分析XXXX市政府的信息中心机房目前承载XXXX市委市政府及各委部局多项重点应用，如信用网、内外网域名服务器、市府办内部公文系统、党政机关网站、华为网络监控平台、经信局网站、钢铁指挥部网站、重点项目电子督察督办系统、亿邮邮件系统、网上行为监控系统、原行风热线网站、人大提案系统、市委市政府大门安全监控系统等等。由于XXXX电子政务建设及运行采用集中管理模式，即所有部门的政务应用系统均部署在信息中心的机房，各部门的政务应用系统累计超过100多个。并且目前存在下述主要问题：1. 信息化建设分散重复XXXX市政府各个部门信息化建设多以独立建设为主，各个部门根据自己的需求分别构建自己的数据中心。每个数据中心根据不同的业务和应用需要购买计算、存储和网络资源，以及各种软件。每套业务和应用分别部署在某些物理资源之上，每套业务都是一个信息孤岛，这个孤岛包括需要单独的安全保护机制和软件的支持，以及配套管理的支持。概括从信息化的资源的需求和配置来看，目前XXXX政府各部门有很多独立的小型机房（数据中心），每个机房都有很多不同的甚至是独立的业务系统，这些系统中的数据以数据团的形式存在，需要独立的运维和保护。这样形成了政府部门、数据中心、业务系统、数据的分散模式。在这种情况下，主要不足如下： 分散建设、重复建设，并且数据中心的利用率不高； 作为数据中心中最核心的数据，分散在各个业务系统中，相互之间不能形成足够的共享机制，无法提供被利用的基础条件。社会最重要的财富散落各地，无法反馈于公民； 而对于政府部门来说，电子政务系统的服务是面向从政府到公民的所有社会建设者，对系统稳定性的要求程度很高，这与大多数的政府部门信息管理人员配置的薄弱形成明显的矛盾。XXXX政务信息化如果想要有进一步的发展和突破，以上三个方面的不足是必须要跨越的障碍。2. 信息化水平不均衡除了以上所描述的由于传统信息建设所产生的不足之外，每个部门对信息化的需求不同、专注点不同、所投入的精力不同，以至于不同部门之间的信息化水平发展较不均衡。3. 管理协调体制尚需完善如何真正将政府部门之间的数据进行整合和共享，形成一个基于XXXX政府部门的数据中心？如何将XXXX市政府数据与社会数据形成联动，整合出XXXX地区的统一的数据中心，形成全社会的信息化、网络化、自动自主化，达到电子政务发展中最终的理想阶段？目前XXXX尚未建立其完善的信息化建设管理协调机制，信息化主管部门推动跨部门的系统建设难度较大，也是造成政务信息化分散建设与水平发展不均的现状。4. 两化融合程度不高XXXX政务两化融合程度不高，两化融合是信息化和工业化的高层次的深度结合, 是指以信息化带动工业化、以工业化促进信息化，走新型工业化道路；两化融合的核心就是信息化支撑，追求可持续发展模式。5. 机房资源不足随着目前全市网上办事大厅、医疗卫生系统、办公OA等对社会、法人和公众提供直接服务，XXXX市政府信息中心目前的环境条件难以胜任。信息中心的机房基础电力仅有单套UPS供电，制冷无法满足设备大密度状况，最高只能提供99.9%的资源可用性。并且是以单中心的资源部署方式，无法达到数据容灾等可靠性要求。第三章 规划目标根据以上述分析，我们希望能够通过利用云计算技术解决XXXX市政府目前政务信息化发展中存在的问题以改进不足，使XXXX电子政务的水平迈上一个新的台阶。1. 建设统一化，减少重复投入云计算模式通过统筹规划的集中性特征，通过集中化的建设模式可以减少数据中心的重复投资，提高数据中心资源的使用效率，以及减低数据中心在能耗上的各方面问题。2. 数据集中化，提高政府服务质量通过对政务的集中、数据的整合、以及广泛原始数据的数据挖掘，可以将服务内容、服务对象、服务要求等方面的信息进行提炼和抽离，更有针对性的了解社会的需求，更好的服务大众。3. 政务专业化，促进政府部门服务方式和职能的转变在传统数据中心模式下，每个政府部门都需要搭建自己的数据中心和业务平台，是电子政务服务从基础设施到最终服务的所有资源建设和提供者。通过云计算对XXXX电子政务的改造，可以帮助政府各个部门从基础设施建设和业务服务建设的工作中解放出来。政府部门将成为XXXX电子政务云IaaS或PaaS的服务享受者，通过对平台之上业务专注，能够更加有效的利用政府的职能和人才的资源，充分为人民服务。4. 工业信息化，助力两化融合XXXX政务云平台可以帮助XXXX工业企业有效的降低资源、能源消耗，减轻物流、人流负担；通过信息技术的创新，有效提高物质能量开发利用水平，开发新资源，改善产业结构，提高社会效率，减低环境污染，升级传统支柱型产业的运作模式。第四章 整体设计1. 规划原则XXXX电子政务云规划将遵循以下总体规划原则： 顶层设计与分步实施原则以广义的电子政务需求为驱动进行总体设计，通过试点的实际运行效果分步推进并不断完善总体设计。对安全和标准规范等事关全局的技术内容，尤其要强调兼顾顶层设计与分步实施。先统一建立必需的接口标准最小集合，进而在项目实践中提炼出标准体系，而不是一开始就求大求全。 同时，尽量利用适合本规划目标的国家已有的相关标准法规。 集约化原则通过建设云计算公共服务平台，为电子政务应用、公共服务类应用提供集中运营管理的公共服务，实现资源共享，体现以云计算为核心实现”共性平台+应用子集”集约化建设的总体思路。 标准化原则电子政务云建设所需的设备均应该采用国际工业化标准生产，满足各个方面的标准规范。充分保重未来扩展时的兼容性和采购来源的多样化。 以增量带动存量原则电子政务云的规划以新系统建设与旧系统更新作为入手点和扩展方式，不要求所有系统的同时建设，以增量带动存量，循序渐进，不过度发展。 以小到大原则以弹性的设计从小入手，根据实际的需求逐渐扩展规模。在保证服务质量的基础上，尽量的降低城市云投资的成本。规模按需扩展。2. 顶层设计XXXX电子政务云将按照基础设施、应用、数据和管理四个层次做整体的统一规划，逻辑图如下：2.1. 基础设施集中规划电子政务云的基础建设将摒弃传统电子政务分散、独立建设的思路，对基础设施进行统一的规划和建设，而每个政府部门根据不同的业务需求提出对计算、存储、网络等资源的申请，并获得基础设施资源的使用权。基础设施集中的规划，将进一步释放政府部门的工作难度和工作量：传统架构下的信息中心云计算技术的新一代信息中心 业务负载与物理资产紧密耦合且互相独立，数据中心被切割成多个IT孤岛，资源无法共享，整个IT基础架构效率低下； IT基础架构缺乏弹性，无法根据业务需求动态化调整资源供给，难以满足IT服务快速增长的需求，又常常会造成资源的浪费； IT基础架构响应需求的时间过长，服务质量难以提高，影响企事业单位的真正业务开展； 管理难度越来越高，数据中心无法实现更高的自动化，运维成本无法降低； 每年的硬件投入无法预测，或者是硬件成本计划过高，投资保护无法得到控制 硬件平台虚拟化和自动化； 服务器、存储和网络等都在一个统一管理、分配的资源池中，底层硬件资源可高度共享，提高了IT基础架构的效率； 根据业务要求具备弹性的伸缩能力，拥有灵活的可适应性； 极其快速的工作负载置备，让业务快速开展起来； 侧重在满足业务的服务上，为应用程序屏蔽底层硬件架构的复杂性； 可控的投资成本，更高效的投资保护逐渐将XXXX市各个委办局的机房逐步统一到XXXX电子政务云计算中心，统一采购、部署、分配、管理，获得灵活、高效、低成本的智能硬件平台。2.2. 政务数据逐步整合在传统的数据中心架构下，各个业务平台后端是根据不同业务划分的数据空间。不同的业务平台之间可能会有业务的重复或数据的重复，却没有数据的共享和比对。在XXXX电子政务云的整体规划中，我们需要搭建一套更加统一的资源库和数据共享平台，各个业务平台通过政务数据总线将数据集中到数据统一资源库中，形成电子政务信息的数据整合，从而提高业务的更广泛性和数据的重复利用性，降低业务投入和数据获取成本。统一的政务资源库根据前端业务和应用的不同，生成两种不同开放级别的资料库，即支持公共资源目录的公共资源库和支持交换服务目录的交换资源库。通过统一的资源和数据集中，一方面使电子政务系统数据可以得到更高效的利用和保护，另一方面，数据的整合的目的从资源的角度来考虑，是数据共享的基础。统一的信息资源库的信息来源于电子政务的数据采集者，每个政府部门通过各自的数据采集和生成，将可共享的数据通过政府部门间的数据总线提交到数据的共享平台上，实现资源的共享和复用，保护政府投资，提高数据的价值。不过对数据的整合和共享将是XXXX电子政务云第二个阶段所要重点完成的内容。2.3. 应用形成平台集合应用的整合一方面是指完善统一的政府门户网站及用户的交互平台，一方面是指在云平台和XXXX市电子政务数据平台之上形成的全新的平台开发和服务。其中前者是电子政务平台的第一个阶段，而真正想要形成云计算服务体系，必须要在数据整合之后形成云应用的开发和发布中心。应用是数据服务于人的手段，也是数据的来源，也是云计算最能走到老百姓当中去凸显其价值的方式。2.4. 统一管理平台云计算中心建设的难度并非是云计算中心技术的运用和产品的配置，而是各个部门之间资源如何协调，整体的运筹，以及在建成之后的运维、管理和可持续性的发展上。这就需要一个统一管理的平台来对这一切工作进行支持。这个管理的平台包括对人的管理、对相关事件的管理以及对云计算中的基础设施资源、数据资源、业务资源的管理。XXXX电子政务云要做好未来系统建设定位，针对服务范围进行规划，要建设以电子政务为中心，覆盖电子政务各行业，以及扩充信息服务的云需求。另外要做好人才的培养计划。XXXX电子政务云包含了整个市政府部门的各个业务应用，涉及到安全、交通、教育、科研、民生等各个方面，系统的稳定与需要最大的保障。另一方面，目前中国云计算人才缺乏，XXXX需要在建设之处就开始进行人才培养。再根据业务覆盖范围的扩大，逐步增加人才培养的力度。3. 技术路线电子政务云计算项目是XXXX政务信息化的核心，为了更好的为电子政务提高可靠、稳定、高效的基础资源，本项目采取资源池化、动态资源调度、智能化云管理等技术路线进行构建。3.1. 资源池化技术资源池化就是将计算资源、存储资源、网络资源通过虚拟化技术，将构成相应资源的众多物理设备组合成一个整体，形成相应的计算资源池、存储资源池、网络资源池，提供给上层应用软件。资源虚拟化是对上层应用屏蔽底层设备或架构的资源封装手段，是实现云计算资源池化的重要技术基础。3.2. 弹性扩展云计算中心要实现所提供服务的质量，动态的资源调度是必不可少的。现有数据中心的IT基础架构采用固态配置，灵活性很差，当业务发展超出预期时，无法及时根据业务需求调整资源供给，难以满足业务快速增长的需求。而且系统资源扩展需要一定的周期，在此过程中，业务系统将处于高危运行状态，造成服务质量下降。而为了应用峰值而扩展的资源在正常情况下，将处于低负荷状态，造成资源浪费。云计算中心要避免这样的情况出现，就必须要实现动态的资源调度，实现业务系统资源配备的按需调整，结合管理系统的资源监控，根据业务负载等情况，调整业务资源配给，保障业务系统的资源供给，满足其运行需要，也就保障了业务的服务质量。3.3. 智能化云管理云计算中心具有IaaS、PaaS、SaaS等众多的服务模型，提供计算服务、存储服务、乃至整合各种资源的综合性服务，其资源的构成更加复杂、规模更加庞大。为了提高易用性和可维护性，各种资源构成之间的关系复杂。为了保证云计算中心的服务质量，对于众多用户资源配给的调整也要求更精准的、更及时。3.4. 安全可控能力云计算中心实现了用户、应用、数据的高度集中，安全性是客户选择云计算时要考虑的重要因素，因此应该特别重视安全方面的问题，把安全系统建设作为一项重要工作加以实施。同时云计算中心也是资源集成度很高的综合系统，其中涉及到云计算、云存储、云基础设施等多种资源，包括物理资源、虚拟资源池、虚拟组织等多个层面，因此云安全平台也应该针对多类型、多层面的资源实时保护，整合网络安全、系统与应用安全、数据安全等众多安全防护手段，提供多层次全方位的安全防护和完备的安全管理与监控功能，为云计算中心提供立体的云安全平台。第五章 建设内容1. 内容框架根据以上的分析和设计，XXXX电子政务云可以将顶层设计细化出如下的建设内容，从整体的设计看，可以有如下的分区。在基础设施、数据、应用和管理这几个部分中，首先要实现是基础设施的集中。通过资源平台的集中，才能逐步将电子政务的应用，尤其是新建的应用逐渐部署在统一的资源中，也形成数据的清洗和整合的流程以及存放的空间，并逐步形成针对电子政务云中心运维和管理的规则和流程。所以电子政务云形成的第一步是创建一个电子政务云的基础平台电子政务云中心。2. 云中心设计方案整个部署架构包括从计算资源、存储资源、网络资源、管理资源、备份资源、安全及灾备等资源全面为电子政务云保驾护航。其中在计算资源上采用物理机与虚拟机并行的运作方式，而云计算中心所有的关键数据将统一存放在系列存储阵列和存储系统上，选用业务领先厂家的统一管理计算、存储等平台资源。管理平台不仅能够对平台的资源进行管理，并能提供对人员、对项目和事务的统一管理。以下是对云平台核心区域的设计。2.1. 总体框架总体框架核心部分有如下几个模块：（1）虚拟化区：将物理主机进行资源池化，生成大量的虚拟机，用来承载大部分的前端和中间层应用服务器，以及小型应用系统（前端、中间层和数据层在同一主机上），此区域将是计算资源池的主要区域；（2）数据库集群区：用来承载较大型的数据库主机或者数据库集群，保证强大的数据处理性能；（3）管理区：用来部署云计算管理平台，实现对云计算的全方位管理；（4）云存储系统1：主要采用高端的存储阵列，存放事务型结构化数据，提供给数据库集群区来使用；（5）云存储系统2：主要采用大规模并行存储系统，用来存放大量的非结构化数据例如文档、图片、视频等，以及大量的虚拟机镜像文件；（6）备份模块：配置两个备份模块，分别对两套存储系统进行备份。2.2. 性能指标（1） 虚拟化区配置10个高性能SMP服务器节点，每节点64核，共512个核，每个核2GB内存共1024GB内存，可以支持超过100个应用；（2） 数据库集群区配置6个节点，每节点64核，共384个CPU核，每个核2GB内存共768GB内存；（3） 云存储系统1配置50TB存储容量，用于部署数据库系统；（4） 云存储系统2配置240TB裸容量，采用双副本的机制，有效容量120TB，同时满足了数据的安全可靠性要求；（5） 配置两套备份系统，分别对两套云存储系统进行备份，每份可支持备份容量为40TB。3. 计算资源池建设3.1. 架构设计云计算是大尺度的数据中心，所以云计算中心的设计也要基于数据中心不同业务类型与需求分别设计。云计算中心中，对计算资源的需求依旧主要为：数据库业务系统、普通业务系统以及密集型计算业务系统的计算需求。对于这些不同的计算需求，我们将采用不同的模式进行设计和规划。数据库业务系统对于数据库的业务，云计算中心建议采用传统的物理服务器架构来进行支持。一方面是由于物理数据库业务一般对系统和平台的限制，并非所有的数据库都可以移植到像虚拟化这样的计算平台上，另一方面，由于数据库对IO的高要求，对于虚拟化的环境并不能提供充足的IO支撑，另外，数据库系统的安全性要求很高，采用虚拟化技术虽然可以提高系统的灵活性，但是同物理设备上的其他系统会对数据库系统产生一定的影响，提供系统的安全风险。所以综合以上三方面的原因，数据库系统在云计算中心将采用物理设备集群的方式来部署。普通业务系统对于普通的业务系统需求，例如Web服务器、邮件服务器、设计服务器等不同种应用服务器都建议采用虚拟化的部署方式。虚拟化技术不仅可以提高资源的利用率，并且通过与X86平台计算节点的配合，能够有效的降低公司总的投资成本，提高系统的安全性、可管理性，降低业务部署的复杂度和时间需求。所以普通业务系统推荐采用虚拟化与X86平台的协同部署方式。计算密集型业务系统对于一些计算密集型的用户需求，例如能源行业的资源分布建模、气象的气象模拟、军事的弹道计算等，都需要大量的计算资源同时对同一任务进行并行的计算。这种需求就需要高性能计算资源或网格计算能力。综合上述对计算业务的分类和分析，将采用标准的x86架构服务器和龙芯服务作为电子政务云计算平台的计算资源节点。X86服务器其中X86架构的服务器使用标准化、商业化的部件，从而成为构建大型云计算中心的最佳选择。近年来，随着各种先进技术和工艺的采用，X86平台的芯片在性能上逐渐赶上甚至超越Unix平台芯片，使得X86平台的性价比也越来越突出。最后，基于x86架构的服务器因为其开放的架构，开放的生态系统，使其具有较低的运维成本，这也是小型机等封闭系统所不能比拟的，从可靠性的角度，在云计算环境下，通常大量采用虚拟化、分布式、并行计算等模式，有力的保证了计算系统的可靠性。在本技术建议书中，推荐采用基于Intel和AMD芯片的天阔X86服务器作为数据库节点、计算资源及管理节点。CloudView虚拟化软件CloudView是曙光基于开源的虚拟化技术Xen所开发的虚拟化软件和云计算管理软件（云计算管理软件的功能将在下面的部分着重描述，本部分主要介绍其虚拟化的功能）。CloudView虚拟化软件部署在服务器节点上，并将所有的计算节点做成一个统一的计算/虚拟资源池，在这个资源池中，用户可以任意虚拟出不同的操作系统，包括主流Windows和Linux。在使用者看来，这些虚拟的资源和传统物理的资源没有任何的不同。通过统一的资源分配，可以大大提高资源的使用效率，降低投资成本。不仅如此，通过CloudView还可以提供包括HA、迁移等各种高级的功能，提高虚拟机的安全性和可靠性、保证系统的高可用性。3.2. 产品选型主机节点包括数据库主机和虚拟化主机建议采用曙光高性能SMP服务器EP440-G：（1） 最大支持4颗物理处理器，每颗处理器含16个核心，每节点可达到64核心；（2） 每节点配置128GB内存，每个核心可以分配2GB内存，足够满足多数业务系统的需求；（3） 由于数据都集中存储，所以XXXX只需要配置两块600G SAS硬盘，并且做RAID 1，保证系统盘数据安全；（4） 数据库集群分区的主机节点，配置8Gb FC HBA卡，连接SAN存储网络；虚拟化分区的主机节点，配置40Gb IB HCA卡，通过Infiniband高速网络来连接并行存储系统4. 存储资源池建设4.1. 架构设计在电子政务的业务类型中，对于存储的需求基本属于两类，一类是RFID采集点所采集的大量小信息，一类是监控点所拍摄的车辆照片及视频数据。对于这两类存储存储资源池实现虚拟机镜像文件的共享存储，并用于视频、文档、图片、声音及物联网数据等非结构化数据的存储。存储资源池采用元数据与实际数据相分离的方式，通过分布式存储技术，将多台物理设备中的存储空间聚合成一个虚拟存储池，既能充分发挥存储系统的性能和磁盘利用率，又能为用户提供文件系统的共享功能，是一个完全开放的、共享的、跨平台的系统，具有高性能、高可靠性、使用维护简单、性能和容量可线性扩展的高端存储系统。根据存储对象的不同特性，将存储系统集中并分离为结构化数据存储和非结构化数据（包括照片、视频等数据）存储两大模块，每个模块采用高性能、虚拟化、扩展性能强的独立存储系统进行支持。这里采用的是DS800和Parastor。DS800是曙光推出的面向数据中心的中高端存储产品，其采用先进的设计理念和技术架构，面向大、中型数据中心提供高性能的、安全可靠的、资源弹性部署的存储平台。DS800在云计算平台主要存放重要的数据库文件，实现整个数据库业务区的统一存储平台。Parastor云存储系统同样具备双向的高可扩展性，主要将存放照片、录像等非结构化数据和虚拟机的备份、数据库备份等数据，其容量大、带宽高，聚合带宽目前可达到12Gb以上，支持在线的容量扩展，并具备高速的文件查询能力，是电子政务云监控数据和备份数据的最佳存储系统。另外，Parastor也将作为计算平台的资源存储中心，以及备份平台的存储备用中心。4.2. 产品选型（一）曙光DS800-G20企业级存储系统DS800-G20 是基于Intel 芯片设计出高性能和高可靠的硬件结构，为海量应用并发提供了大缓存、高带宽、高处理能力硬件平台，控制器配置多个IO接口卡插槽，可根据需要灵活选择10Gb iSCSI、8Gb FC、40Gb IB 等类型的接口卡，可轻松搭建IP SAN、FC SAN、混合SAN 等存储环境。DS800-G20在采用全冗余高可靠设计、完善的磁盘安全策略的基础之上，还能够提供丰富的数据保护功能，包括连续数据快照、数据复制、数据镜像等特性，通过这些特性，实现了从在线到近线、从XXXX到远程的数据管理和保护，为用户轻松提供多层次、跨地域的存储解决方案。在资源管理上，产品提供丰富的数据保护特性外，还通过创新的DDP 技术和磁盘诊断安全机制，将磁盘故障导致的宕机时间和机率减少80%。 提供2U12 盘位，2U24 盘位，4U60 盘位多种配置，满足客户复杂的应用需求； 新一代高性能Xeon 处理器，在处理器内部集成XOR 引擎，实现了RAID硬件加速处理，显著提升RAID 处理效率； 采用智能缓存调度机制，对全局缓存进行管理； 缓存数据的安全性上，不仅采用了缓存镜像机制，而且具备掉电保护功能,无掉电时间限制； 可将高性能SSD、SAS 和高容量NL SAS 驱动器进行基于磁盘阵列的混合，实现高效的分层存储； 全面冗余的I/O 路径、自动化故障转移以及在线管理，可创造“随时在线”的可用性，确保数据的可访问性； 强大的数据快照，XXXX数据卷拷贝和远程卷镜像提供了完善的数据保护和灾备功能。（二）分布式文件系统Parastor200海量分布式云存储系统主要解决用户文件数据存储共享以及视频等非结构化数据存储问题，是大规模云环境下最为理想的存储解决方案。存储系统的软件部件对应用表现为一个文件系统，提供Posix语义，保证已有应用程序不需要作任何修改。下图给出了存储系统的架构，它采用业界主流的控制路径和数据路径分离的设计理念。系统主要由索引服务器集群和存储服务器集群组成，在索引数据读操作比例很高的环境中，配置加速集群用作分担读负载。各类数据均存储在像Ext4这样的XXXX文件系统中，不同的文件或者文件的不同部分分散在不同的存储服务器上，相互之间可被独立访问。对于较大的媒体文件，各存储服务器可独立输出带宽，从而可提供高达几十GB/s的聚合带宽。海量元数据和数据存取。一般文件，它的元数据存储在索引服务器，而数据则分散存储在不同的数据服务器上。使用extendible hashing技术将同一目录的所有文件和子目录信息组织在一个文件中，高效的extendible hashing能快速地存储和查询千万级的大目录。采用自适应存储技术，对于不同大小的文件，采用不同的inode大小、数据切分策略，甚至是数据和元数据统一存储的策略，既保证大量小文件同时存取的效率，也能保证大文件对于带宽的要求。采用多索引服务器，大目录分段存储的策略，提高系统总的元数据管理能力。海量存储系统架构海量分布式云存储系统具备高可用和快速恢复能力。本着“将磁盘、服务器和网络等设备失效作为常态考虑”的理念，系统中所有部件都有冗余配置，并通过数据冗余提供高可靠。每一份元数据都有其副本数据，主从数据之间通过分布式日志系统保证它们之间的一致性。平时只有主副本数据提供访问，当主副本数据所在节点失效后，访问自动切换到从副本数据上。索引服务器分组使用的模式可以避免扩大了的系统带来开销的增长。数据同样提供多副本，只有有一个副本可以提供服务，系统即可用。根据部件失效造成的影响范围，下图给出了存储系统可能面临的失效的示意图。网络多通道技术自动屏蔽单一网络通道的故障。当磁盘失效时，某些数据副本受损，降低了数据的可用性。系统自动侦测到故障后，自动进行数据修复，将受损数据系统中剩余空间中重建。索引服务器能提供所有文件的分布信息，使修复并行化，大大减少了修复的时间，降低了修复期间，受损数据进一步丢失副本的可能。存储系统故障分类采用上述技术路线，可以构建可扩展、高可靠，有效处理海量元数据和数据的存储系统，满足各应用系统文件存储需求。分布式文件系统架构图电子政务云计算项目准备才有Parastor对非结构化数据、虚拟机文件进行存储及对整个数据中心进行备份的备用存储中心。5. 云管理平台建设5.1. 需求分析较之传统的数据中心，云的管理更为复杂，要求也更高。云管理解决方案必须能够高效的、自动化的管理云中的资源，并完成服务的快速交付，并且必须有服务质量保证措施，因此，云平台的管理解决方案非常重要，云管理解决方案的好坏影响着云平台是否可按预定目标正常运转、是否可以取得预期的收益。良好的管理解决方案带来的数据中心自动化技术可以大大降低数据中心管理的难度，大幅度提升业务敏捷性、提高服务质量，并获得更好的成本效益。5.2. 架构设计在云计算中心中，具备大量的计算设备、存储设备、网络设备，虚拟机、物理机，还有不同层级的管理人员，以及在云计算中心中的不同业务和项目需求，资源、人员等需要管理的对象越来越多，如何保证可管理性和简易型，尤其是如何能够进行统一的管理。因此，中国移动提供了曙光基于自主可控技术的CloudView云计算管理软件作为电子政务云计算中心的统一管理平台软件。5.3. 产品选型CloudView云管理软件云平台管理软件Cloudview主要进行系统资源的服务化、实现资源快速部署与按需分发、用户资产租赁服务、系统全局安全保障等。借助Cloudview，可以构建易于管理、动态高效、灵活扩展、稳定可靠、按需使用的新一代云计算中心。云平台管理软件Cloudview主要进行系统资源的服务化、实现资源快速部署与按需分发、用户资产租赁服务、系统全局安全保障等。借助Cloudview，可以构建易于管理、动态高效、灵活扩展、稳定可靠、按需使用的新一代云计算中心。系统架构设计采用模块化的系统架构设计，方便系统部署、管理与升级。物理架构按照要求动态云平台的建设，充分发挥系统管理架构资源共享要求。按照合规性要求提供变更管理的支持，提供虚拟化平台以整合共享服务器资源，提供数据中心业务连续性管理。服务器组系统中服务器的集合，包括安装了Hypervisor的虚拟化服务器及物理服务器，CloudView系统在hypervisor上运行虚拟机并做为资源进行管理。共享存储为系统中服务器提供共享存储，主要用于存放虚拟机数据及为用户分配可用的存储空间。共享存储可支持多套存储设备，不同的存储设备属于不同的物理资源分区；共享存储可支持一套存储设备，划分不同的存储分区，不同的存储分区属于不同的物理资源分区。应用服务器部署CloudView运营管理/运维管理以及终端用户的业务系统，但不包括用户对资产的访问流程。数据网实现云计算中心的用户业务数据及计算资源访问管理。数据网要求高吞吐量。管理网实现云计算中心的系统管理，提供运营管理、运维管理、终端用户服务的功能。管理网要求提供高安全性。数据库集群部署MySQL数据库集群或Oracle RAC，提高数据库的并发访问能力和吞吐量。允许管理员将系统用户管理信息以及资产计费信息相关数据库单独部署，以满足用户对不同系统规模及安全性的要求。6. 网络系统设计云计算中心网络子系统包含两部分：1)云计算中心接入网络2)云计算中心局域网6.1. 设计原则安全性网络安全需要从网络安全架构入手，遵从总体的信息安全体系建设，包括安全域的划分、安全技术手段的部署等等；可靠性网络架构必须能够达到/超过业务系统对服务级别的要求。通过多层次的冗余连接考虑，以及设备自身的冗余支持使得整个架构在任意部分都能够满足业务系统不间断的连接需求；网络按区域设计的原则在云计算中心网络部署中网络分区的划分原则为结合应用进行分区，同时考虑云计算中心未来发展的需要标准性：网络规划遵循业界公认的标准制度一个高兼容性网络架构，确保设备、技术的互通和互操作性，方便快速部署新的产品和技术，以适应业务的快速增长。可扩展性网络架构在功能、容量、覆盖能力等各方面具有易扩展能力，以适应快速的业务发展对基础架构的要求；易管理性网络架构采用分层次、模块化设计，同时配合整体网络/系统管理，优化网络/系统管理和支持维护。6.2. 接入网络设计接入网络是云计算中心的一个重要组成部分，是云计算中心与用户连接的纽带。接入网络负责 云计算中心与外部网络的连接 云计算中心接入线路的管理和调度 网络接入必要的安全防护措施接入网络的安全设计和规划必须要结合整网安全防护策略进行，因此，需要在总体上进行安全设计和防护策略的规划。6.2.1. 整体规划作为对外提供服务的区域，目标架构中本区域采用冗余架构，含有中国移动提供的两个互联网出口，设备包含出口路由器，流量清洗设备，链路负载均衡设备，IPS，防火墙，服务器负载均衡设备，其中防火墙要求采用双层异构模式。各部分设备实现的功能将在下面的部分进行详细描述。6.2.2. 安全规划接入网络既与核心网相连，又是一个Internet出口，必将是黑客入侵、病毒侵蚀、网络钓鱼欺骗等众多危害的最严重区域，所以此处的安全部署更是不容忽视的地方，建议部署安全设备应具有如下特性：整体设计需要实现如下目的：L2-L4基础安全防护：通过部署2层异构防火墙实现安全域的划分、访问控制，特别是对DMZ区Web、APP、DB等之间也要实现精细化控制。L4-L7深度安全防护：通过部署IPS系统实现针对Web等关键服务器的应用层防护，避免网页篡改、SQL注入、植入木马等应用层安全威胁。同时，IPS集成专业的防DDoS攻击能力，对TCP Flood、DNS Flood、UDP Flood、CC等高级攻击进行防护系统可靠性保障：通过在出口部署链路负载均衡和服务器前端部署应用加速设备，实现针对链路的容错能力、服务器性能优化+负载均衡，保证在突发大流量、系统故障等情况下，系统仍然能够稳定运行。智能分析监管系统：对全网网络、安全、服务器等设备进行统一的监控、审计和管理，能够实时智能分析出各种网络安全事件，实现分层的网络安全状态监视，从而能够及时智能的安全事件做出处理。互联网防火墙部署 在Internet出口配置两台独立盒式千兆防火墙，两台防火墙与链路负载均衡设备之间采取全冗余连接，保证系统的可靠性， 为了保证系统的可靠性，我们建议配置两台防火墙为双机热备方式，在实现安全控制同时保证线路的可靠性， 同时，为了今后的可扩展性考虑，建议防火墙支持策略路由和BGP，便于今后实现旁挂流量清洗设备。DMZ区防火墙部署在DMZ区内部多层服务器区的各层之间可以部署一台高性能的嵌入式防火墙，可以通过扩展硬件板卡实现性能的扩展，通过虚拟防火墙以增强不同层次之间的安全性，如图。由于web服务器直接面对访问者，通常来说是网络中的薄弱环节，使用分层防御可以将重要的服务器通过防火墙进行保护，即使web服务器被攻陷，也不会造成应用服务器与数据库服务器的进一步破坏。6.2.3. 多链路负载均衡规划建议在互联网防火墙后段部署两台链路负载均衡设备，通过双机热备提高可靠性。具体策略如下： 配置负载均衡虚服务，使其只对出方向报文做处理：选择能唯一标识链路的链路中间设备作为实服务，根据调度算法进行链路选路，类似于防火墙负载均衡应用，不同的是，这里不需要使用三明治组网，因为无需应答报文原路返回。 可以和NAT应用网关共同组网，不同的链路使用不同的源地址，从而保证往返报文穿过同一条链路。 通过健康性检测，可以检查链路内任意一路由节点的连通性（最大可支持255跳），从而有效保整个路径可用性。 通过调度算法，均衡多条链路间流量，通过设置链路权值实现按照带宽进行负载均衡。6.3. 局域网络设计这一部分阐述的主要是主数据中心内部的网络，云计算数据中心内部的网络系统设计考虑到“分区分域、多重安全”的安全保证以及根据不同分区对性能要求的不同，采用不同的网络技术，配置不同的网络设计，从而保证各类系统对带宽、延迟等的要求。6.3.1. 核心模块对突发流量和集中业务访问的调度问题作为云计算中心核心层的设备，全线速、高带宽是设备选型的核心因素。传统的数据中心网络设计虽然是千兆服务器接入、万兆网络骨干，但在网络的骨干层面基本存在一定的带宽收敛设计，如出现多个万兆端口向较少万兆端口突发数据，则存在严重的突发拥塞瓶颈，当交换系统对流量突发的缓存调度能力有限时，必然导致在集中业务访问引起的流量突发情况下的大量丢包，引起传输层的窗口滑动、重传和流量环境进一步恶化，降低服务响应能力，为解决数据中心高密应用调度、流量浪涌式突发缓冲等关键的性能问题，在对数据中心核心设备进行选型时必须考虑以上的问题。高可用性问题高可用是数据中心基础网络的必须考虑的问题，据有关机构调查，可用性是各行业数据中心各项业务指标排在首位的关注项。对于当前数据中心密集应用环境，核心基础网络平台的应对故障快速恢复能力已经不是秒级指标能够满足的，快速收敛目标已经设定在毫秒级。因此，毫秒级恢复能力成为数据中心的故障恢复指标。组网简易性在双归属星型组网中，传统方式是采用VRRP+MSTP以避免环路，但是这种方式会导致的组网复杂，维护工作量大，不易维护的问题。在网络设计中需要考虑采用简化组网的方式进行规避。高性能要求核心层设备所有接口都采用全线速转发机制，保证不会因为带宽问题而导致的瓶颈。6.3.2. 内部核心模块设计核心模块设计要点：采用交换机虚拟化技术虚拟化网络设计，简化了网络拓扑，网络各层之间屏蔽环路，通过链路聚合实现负载分担，将多条网络层间链路简化成一条逻辑链路，避免了传统组网中采用的VRRP+MSTP而导致的组网复杂的问题。核心交换机支持分布式大缓存和多级队列调度技术云计算中心会存在多个区域流量并发的情况，而传统交换机是采用Push模式对报文进行缓存，具体方式是在入端口收到流量后，在其Ingress Buffer做简单缓存，查转发表后将流量推（Push）给目的端口Egress Buffer内，再由出端口调度转发。如下图所示，对于网络中常见的高速端口到低速端口、多端口到单端口等网络拥塞模型，拥塞瓶颈和缓存压力都集中在目的端口Egress Buffer上，报文拥塞时会丢失较多的报文。6.3.3. 汇聚/接入模块云计算数据中心将分为多个子分区，每个子分区对安全和性能的要求都不尽相同，因此，我们拟以“分区分域”的思想来规划主数据中心内部的网络系统。设计重点为采用高性能设备及链路多个承载核心业务系统，汇聚接入设备需提供高密度的接入能力，千兆下行直接接入服务器，核心设备之间通过万兆链路捆绑进行虚拟化，上行到核心设备的骨干网采用万兆链路口字型连接，骨干万兆的数量随业务的增加而增加。采用网络虚拟化技术简化组网通过网络虚拟化技术将汇聚接入设备也虚拟化，以达到全网的虚拟化部署，虚拟化的汇聚接入设备可以将分散在不同网络设备上的多业务板卡集成在一起，达到资源虚拟化的目的，将交换机、防火墙、服务器负载均衡以及上联链路虚拟化整合到一个平台下进行管理，避免了STP+VRRP的部署，且简化了网络、安全策略的部署。通过网络安全融合方案简化安全设备部署将防火墙和服务器负载均衡设备融合到网络设备中，简化了安全设备部署。防火墙支持虚拟防火墙技术，对不同业务分区之间的访问提供安全策略控制。服务器负载均衡设备，在多个承担同样功能的服务器之间对流量进行负载分担，提高系统的效率。7. 云安全管理建设7.1. 需求分析云计算给人们带来了无尽的好处，但随着网络应用扩大网络安全风险也变得更加严重和复杂。原来由单个计算机安全事故引起的损害可能传播到其他系统和主机，引起大范围的瘫痪和损失；另外加上缺乏安全控制机制和对网络安全政策及防护意识的认识不足，这些风险正日益加重。而这些风险与网络系统结构和系统的应用等因素密切相关。XXXX电子政务的云计算中心必然也有同样的风险，下面从链路安全、网络安全、系统安全、应用安全及管理安全进行分类描述。7.1.1. 数据传输安全网络安全不仅是入侵者到云服务端内部进行攻击、窃取或其它破坏，他们完全有可能在传输线路上安装窃听装置，窃取你在网上传输的重要数据，再通过一些技术读出数据信息，造成泄密或者做一些篡改来破坏数据的完整性；以上种种不安全因素都对网络构成严重的安全威胁。因此，对于机密信息或商业机密这样带有重要信息传输的网络，数据在链路上传输必须加密。并通过数字签名及认证技术来保障数据在网上传输的真实性、机密性、可靠性及完整性。7.1.2. 数据存储安全用户的数据存储在云中，数据既包括私人数据，也有大量的企业数据，例如涉及企业的发展规划、技术资料、核心代码等。由于敏感数据明文存储，在存放资料的设备在丢失、维修时，容易造成数据泄密。因此，用户的数据加密存放在云存储中对用户的数据安全至关重要。7.1.3. 身份安全在未采取专门安全防护措施的集群系统中，用户通过管理界面输入用户名和密码，管理系统对用户名和密码进行校验，如果一致就允许用户登录，否则就拒绝。这种简单的身份认证过程存在一些问题：非法访问非法用户通过技术手段进入集群，窃取秘密信息。身份仿冒传统身份认证方式存在以下问题： 用户为了防止自己忘记密码，一般使用保密强度较低的字符串作为密码，容易被他人猜中或暴力破解； 用户在输入密码的过程中，可能被他人偷窥； 用户终端上的病毒、木马可以窃取到密码； 用户密码在从终端到管理服务器的网络传输过程中，可能被监听和截获。7.1.4. 网络安全来自与公网互联的安全威胁基于Internet公网的开放性、国际性与自由性，内部网络将面临更加严重的安全威胁。因为，每天黑客都在试图闯入Internet节点，假如我们的网络不保持警惕，可能连黑客怎么闯入的都不知道，甚至会成为黑客入侵其他网络的跳板。假如内部网络的一台机器安全受损（被攻击或者被病毒感染），就会同时影响在同一网络上的许多其他系统。透过网络传播，还会影响到与本系统网络有连接的外单位网络；影响所及，还可能涉及法律、金融等安全敏感领域。7.1.5. 内部网络与系统外部网互联安全威胁如果系统内部局域网络与系统外部网络间没有采取一定的安全防护措施，内部网络容易遭到来自外部网络不怀好意的入侵者的攻击。如：入侵者通过Sniffer等程序来探测扫描网络及操作系统存在的安全漏洞，如网络IP地址、应用操作系统的类型、开放哪些TCP端口号、系统保存用户名和口令等安全信息的关键文件等，并通过相应攻击程序对内网进行攻击。入侵者通过网络监听等先进手段获得内部网用户的用户名、口令等信息，进而假冒内部合法身份进行非法登录，窃取内部网重要信息。恶意攻击：入侵者通过发送大量PING包对内部网重要服务器进行攻击，使得服务器超负荷工作以至拒绝服务甚至系统瘫痪。7.1.6. 内部局域网的安全威胁系统安全所谓系统安全通常是指网络操作系统、应用系统的安全。目前的操作系统或应用系统无论是Windows还是其它任何商用UNIX操作系统以及其它厂商开发的应用系统，其开发厂商必然有其Back-Door（后门）。而且系统本身必定存在安全漏洞。这些后门或安全漏洞都将存在重大安全隐患。但是从实际应用上，系统的安全程度跟对其进行安全配置及系统的应用面有很大关系，操作系统如果没有采用相应的安全配置，则其是漏洞百出，掌握一般攻击技术的人都可能入侵得手。如果进行安全配置，比如，填补安全漏洞，关闭一些不常用的服务，禁止开放一些不常用而又比较敏感的端口等，那么入侵者要成功进行内部网是不容易，这需要相当高的技术水平及相当长时间。因此应正确估价自己的网络风险并根据自己的网络风险大小做出相应的安全解决方案7.1.7. 管理安全内部管理人员或员工把内部网络结构、管理员用户名及口令以及系统的一些重要信息传播给外人带来信息泄漏风险。机房重地却是任何都可以进进出出，来去自由。存有恶意的入侵者便有机会得到入侵的条件。内部不满的员工有的可能熟悉服务器、小程序、脚本和系统的弱点。利用网络开些小玩笑，甚至破坏。如传出至关重要的信息、错误地进入数据库、删除数据等等。这些都将给网络造成极大的安全风险。管理是网络中安全得到保证的重要组成部分，是防止来自内部网络入侵必须的部分。责权不明，管理混乱、安全管理制度不健全及缺乏可操作性等都