X高校数字化校园大数据中心建设方案设计

wordXXX高校数字校园数据中心建设方案建议书目录一、项目概述44567二、需求分析999101012三、数据中心总体规划14四、云数据中心建设规划174.1 资源池规划184.2 资源池规划内容204.3 虚拟化软件选型规划234.4 云管理平台建设规划2427五、大数据建设规划29295.2 大数据架构介绍34355.4 分布式文件系统355.5 MapReduce计算框架36385.7 分布式数据库385.8 Hive数据仓库395.9 大数据调优服务39六、高性能建设规划424242436.3.1计算节点大数据DataNode节点43GPU节点43八路胖节点446.3.4管理节点NameNode节点456.3.5 IO节点JobTracker、TaskTracker节点4546466.3.8 TSDM集群部署软件介绍516.3.9 备份复原软件介绍5354七、机房建设规划55八、方案配置清单56一、 项目概述遍布全球的互联网络正在无时无刻、无所不在地渗透到人们工作、生活和学习中，成为推动社会开展的强大动力。在商业化的世界中，众多企业正在把自己转变成一种称为“数字神经系统的新型组织，让企业能够以数字神经系统的方式对内部业务流程、知识共享和网络商务进展整合，快速响应全球化的竞争。高校不仅承当着人才培养的重任，还承当了一些前沿科技和技术的研究。同样，作为培养和造就新世纪人才的教育系统和学校，也面临同样的社会环境变化趋势。然而，很多学校却明显落在了互联网络时代的后面，尽管学校已经采用了一些先进的设备和工具，但是还在沿用千百年来的传统教学方法和管理模式。电化教学设备、电脑乃至校园网都变成了利用率很低的简单摆设，真正起决定性变化的管理和教学的方法和模式却没有随着社会开展的大趋势进展相应变革。面对知识全球化和民族素质提高的教育要求，以与一系列的教育市场化竞争的挑战，“数字化校园正在日臻成熟并发挥越来越重要的作用。“数字化校园的目标就是为了使校园的使用者可以更有效的利用校园来开展教学、科研活动并更方便快捷地进展学习、生活。因此校园的主人：学生教师管理人员就成为数字化校园的服务对象，他们的主要校园活动：教学科研管理生活就成为数字化校园的内容主体。“数字化校园的目标用一个词来表示就是服务，为学生、教师、管理人员提供更好的服务就是数字化校园的宗旨。目前云计算、互联网+、大数据分析、移动和物联网开展迅猛，数以亿计的用户通过互联网服务时时刻刻都产生大量的交互，这些交互通过手持设备、RFID、无线传感器产生大量的数据，IDC预计到2020年全球数据将增加到35ZB1ZB=1024EB、1EB=1024PB，是2009年的45倍，其中80%以上为非结构化数据。这些需要处理的数据量越来越大、增长迅猛，而业务需求和竞争压力对数据处理的实时性、有效性又提出来更高的要求，常规的数据库技术手段根本无法应付与处理。由此而生产了Big Data技术来处理此类问题。大数据技术将是IT领域新一代的技术与架构，他将帮助人类从大量、复杂的数据中提取价值，它可以帮助决策者在储存的海量信息中挖掘出需要的信息，并且对这些信息进展分析研究，从而发现重要的趋势信息。因此大数据的有效管理和挖掘将成为未来竞争和增长的根底，并日益成为企业的生产要素和战略资产，预计也将带来新一轮生产率的提升和消费者体验改善，类似工业革命的大数据时代已经降临，我们有理由相信未来大数据的产业规模将会至少以万亿美元来进展衡量。大数据将给IT行业开拓一个新的黄金时代，作为某某重要的高校我们有义务在这些前沿科技上做出对人类、社会、某某、某某有帮助的研究并造福人类、造福某某和某某。云计算是一种新型的信息资源管理和计算服务模式，是继大型计算机、个人电脑、互联网之后信息产业的一次革命。云计算可将分散的计算、存储、服务资源有机整合起来管理和服务，转变了传统IDC运行管理理念，是未来计算的开展方向。云计算以其资源动态分配、按需服务的设计理念，具有低本钱解决海量信息处理的独特魅力。云计算+大数据将会为现有的数据中心增加可用性特点能高效地、安全地运营；另一方面，并能降低数据中心的能源消耗和运行本钱；我们对云计算的理解是：云计算一种基于网络的支持异构设施和资源流转的服务供给模型，它提供给客户可自治的服务，实现资源的按需分配、按量计费。云计算导致资源规模化，促进分工的专业化，使得资源供给商和用户都更加关注于自己的业务，有利于降低单位资源本钱，促进全社会的开拓创新。浪潮从事教育行业已经有数十年经验，致力于帮助教育用户提供一体化的数字化校园解决方案，在教育行业有数量众多的成功案例，浪潮承诺站在用户角度，寻求最为合理的解决方案，最大限度满足客户需求。本次建设目标为：利用云计算技术打造XXX高校大数据分析、高性能应用等高校科研根底平台。云计算资源中心建设后，将包括校园云计算虚拟化中心、大数据分析、和高性能计算中心，并为此三个中心提供统一管理平台。通过云计算资源中心的建设，物理资源将被组织起来统一调配和供给，提供给学校各学院、部门、教师与学生使用。并且通过云数据中心为学校提供大数据分析和高性能计算服务。通过资源集中化，资源的共享得以实现，应用在资源之间的迁移也成为可能。当资源集中后，对于一样资源进展管理的代价将大幅度降低，而资源的使用率将成倍提升。从而解决数据中心当前面临的问题，更有效的推动信息化的开展。基于云计算的大数据和高性能中心建设目标主要有以下几个方面：1、资源纬度集约化。通过虚拟化方式，为各学院、部门和师生提供根底计算服务和数据存储。2、数据纬度一体化。方便数据共享，为大规模数据整合和交换提供可能。3、管理纬度服务化。利用云计算方式，实现根底软硬件资源的统一管理、按需分配、综合利用，降低各部门系统建设本钱和日常运行维护费用。高校数字校园云计算平台建设着重点为：提供IAAS服务的服务器虚拟化中心，提供校园师生教学办公用的校园云盘中心和提供高性能计算服务的高性能计算中心。建设完成后的高校云计算平台实现以下功能：1、建设服务器虚拟化中心；为学校各大业务平台提供IAAS服务，以虚拟服务器的方式为校园各大业务平台提供业务支撑服务；2、建设大数据分析；为前沿的大数据分析和研究提供服务，为局部在校学生课题提供服务；3、建设校园高性能计算中心；为学校一些需要进展高性能计算的部门提供高性能计算根底平台，为业务部门高性能计算需求提供服务；4、建设云计算中心统一管理平台；为校园云计算中心中的业务云平台、大数据分析系统、高性能计算中心提供统一的管理平台，为不同管理用户和业务用户提供统一入口；5、通过建设云计算平台，学校实现对资源的大集中统一管理并提升整体计算能力；通过虚拟化技术提高资源利用率，防止重复建设，节约整体本钱。结合本项目的实际应用和开展要求，在进展云计算+大数据+高性能平台方案设计过程中，应始终坚持以下原如此： 1可扩展性原如此为了保护已有的投资以与不断增长的业务需求，系统必须具有灵活的结构并留有合理的扩大余地，以便根据需要进展适当的变动和扩大；主要业务平台系统应采用开放的结构，符合国际标准、工业标准和行业标准，适应技术的开展和变化。2合理性原如此在一定的资金条件下，以适当的投入，建立性能价格比高的、先进的、完善的业务系统。所有软硬件的选型和配置要坚持性能价格比最优原如此，同时兼顾与已有设备和系统的互联互通能力，以与与目前操作系统和应用系统的兼容性。在满足系统性能、功能以与考虑到在可预见的未来不失去先进性的条件下，尽量取得整个系统的投入合理性，以构成一个性能价格比优化的应用系统。系统架构的设计应尽可能地运用虚拟化、云计算等新技术，以符合未来的技术开展方向。这种设计方法可以最大化地利用投资，并在利用率、管理、能源等各方面提高用户投资的效率，降低总体拥有本钱，减少浪费的发生。结合新技术的运用，也可以让各应用系统更好地融入未来整体IT建设规划中，防止发生推到重建的现象，从而更好地保护学校在信息系统上的投入。3可靠性原如此系统要具有高可靠性与强大的容错能力。该系统必须保证724全天候不连续地工作，核心设备比如数据库服务器和存储设备具有全容错结构，并具有热插拔功能，可带电修复有关故障而不影响整个系统的工作，设计应保持一定数量的冗余以保证整体系统的高可靠性和高可用性。即便是在系统建设初期也要着重考虑系统可用性、可靠性问题，防止出现系统停顿等问题造成信息系统的中断服务。通过结合云计算等新技术，可以更好地提高系统的可靠性和可用性。4可管理性原如此选择基于国际标准和开放的技术，采用标准化、规X化设计；同时采用先进的设备，易于日后扩展，便于向更新技术的升级与衔接，实现系统较长的生命力；保证在系统上进展有效的开发和使用，并为今后的开展提供一个良好的环境；在设计、组建中心机房系统时，采用先进的、标准的设备；在选购服务器、存储和连接设备时，选用同一家公司的系列产品，确保系统部件间的严密配合和无缝联接，并获得良好的售后服务和技术支持；整个系统建成后按照整理一套完整的文档资料，以便提高整个系统的可管理性与可维护性。通过建立云计算平台，通过服务的方式交付对物理硬件的需求，代替传统硬件设备跟随着应有系统的增加而增加的模式，对现有应用系统进展整合，实现IT服务的快速交付，节能响应国家号召，提升业务系统安全。1、合理利用硬件资源，减少运行消耗云计算平台可将服务器物理资源转换成池化的可动态分配的计算单元，从学校业务具体需求出发，在资源池中划分出适合具体业务需要的服务计算单元，不再受限于物理上的界限，从而提高资源的利用率，简化系统管理，让信息化建设对学校业务工作的变化更具适应力，从而构建出信息系统平台的根底。云平台建成后，可减少物理服务器数量至原有数量的一半以上，机房空间占用面积大大减少，机房相应配套设施建设也可能够相应减少，在实际工作中预计可节省能源达到70%以上，响应国家节能减排的要求。 2、增强业务部署速度，提高即时响应能力云平台能够对学校业务系统提出的建设需求做到快速响应、快速部署，部署更新工作时间由原来数天或数星期缩短为只需几分钟即可完成。如果总资源池中的硬件计算资源告急，只需要添加相应的物理服务器，简单的将新购的服务器部署到资源池集群中，云平台会根据整体资源池的动态资源平衡来自动分配新增加的计算资源给应用程序，真正的实现新服务器的即插即用。3、完善应急安全机制云平台可以自动监控资源池中计算单元和应用单元的可用性，检测物理服务器故障，如果检测到故障，可重新在资源池中其他物理服务器上重新启动相关业务，整个过程无需人工干预。通过专线光纤将同城异地的两个云平台连接起来，既可形成一个稳定的基于云平台技术的容灾系统。可以实现应用级数据备份和业务系统的应用级容灾，容灾系统切换时间可以实现分钟级，并且能进展容灾演练操作。4、提供便捷的管理运维方式。云平台可以通过一个统一的管理平台，来进展对平台中运行的各项业务设立不同权限的管理账号，根据工作需要设置不同的管理权限，并可通过其管理日志追溯操作过程。还可以通过在平台上安装第三方安全软件的方式，一次性解决平台内所有计算单元的病毒防护、木马查杀、补丁升级等工作。二、 需求分析随着信息技术的不断开展，学校在信息化建设方面加大投入，各部门陆续购置了相关业务软件和服务器，越来越多的业务实现了信息化。学校目前使用的服务器多数为一路、两路的小型PC架构服务器，每台服务器仅仅只能运行单一操作系统和单个应用程序，且服务器使用时间根本上都在5年以上。目前的平台建设模式导致服务器数量越来越多，产生了如下问题：1服务器使用效率低。由于一台物理服务器对应一个应用系统，服务器的计算、存储等资源得不到充分利用。2系统存在安全隐患。大多数服务器购置于5、6年前，设备老化，可靠性下降；相当一局部服务器管理权在学院或者部门，缺乏技术人员管理；除学校一卡通服务器采用双机热备模式以外，其余的应用没有做任何保护，每周需要做一次手工备份，数据丢失危险时刻存在。3机房空间紧X。4. 电力系统告急，能耗增加，空调功率跟不上。5系统不便管理，新业务部署时间长。6. 校园师生对云盘的应用需求日益强烈，对移动办公、数据备份等需求明显。7. 一些院系有高性能计算的业务需求，自建高性能中心涉与重复投资且高性能计算中心维护复杂，分散维护困难。现有应用系统与底层硬件之间存在的“竖井式结构，需要根据海量数据处理、实现应用弹性、构建多活数据中心等关键技术的开展，渐进式的对根底架构进展全方位规划。现有的服务器、网络、存储、终端需要根据云计算平台的开展需求，对硬件资源进展动态的统筹划分，充分发挥了现有硬件的整体效能，以满足云计算平台的开展需要。通过云计算中心平台建设，利用虚拟化技术、集中建设服务器虚拟化中心、大数据分析系统和高性能计算中心，为校园提供弹性，即时，可定制的云计算服务。节约建设本钱，提升云计算服务质量，为校园内广阔师生和业务部门提供基于云计算的IAAS，云盘，高性能计算等业务支撑服务。 XXX高校数字化校园云平台需求在信息化建设的不断开展过程中，校园中业务不断开展，对服务器数量需求不断增加，同时各部门各院系分散申购服务器，浪费极大，维护不方便，集中部署服务器又造成机房空间压力不断增大，维护难度不断增大，服务器数量不断增加等一系列问题。基于服务器虚拟化技术为根底的服务器虚拟化中心提供弹性、可扩展、可定制的虚拟服务器系统，即IAAS服务。2.2.2 XXX高校常见业务系统分析需求一卡通业务系统校园“一卡通系统是指利用智能卡技术、网络技术、数据存储技术、数据加密技术、系统与网络安全技术、计算机控制技术和软件工程等技术；采用银行卡社会金融功能与校园卡校务管理功能相结合的方式；遵循国家金融、技术标准和行业规X；在校园内提供身份认证和金融服务的管理信息系统。一卡通系统以下简称“一卡通是数字化校园的根底工程和重要的有机组成局部，旨在为广阔师生员工的教学、科研和生活提供方便、快捷的电子化服务，使其既可以代替学校目前使用的各种证件，又可以应用于各个消费场所，还可以应用于需要身份认证的场所，同时又可通过银行转帐系统与指定的银行进展转帐、圈存，实现校园无现金流通，从根本上实现“一卡在手，走遍校园的设想。给师生带来一种全新方便的现代生活，从而有效提升工作效率，提高学校的现代化管理水平。“一卡通系统是以软件、硬件集成的综合信息集成系统，构建在数字化校园之上的统一身份认证、数据中心平台、统一信息门户等根底平台，与学校其它业务管理信息系统严密结合，实现数据共享和交换，组成数字化校园的重要信息采集网络，为学校提供实时可靠的信息来源和决策依据。综合信息服务系统综合信息服务系统以学校数据中心为根底，将分散在各部门的数据集中到一起，以师、生角色为主线，提供跨部门立体式的人事、教学、学工、科研、设备资产、财务经费等综合查询服务。查询服务以学校基表由教育部制定的，用以反映高等教育的各级各类学校根本情况的基层统计报表为根底，支持面向主题的多维查询。个人用户也可以查询自身相关根本情况个人数字档案。同时通过全面的数据分析，给院系领导、校领导决策提供数据支持，可以对学校的根本情况有一个全面的了解，通过其掌握学校开展的宏观情况。校园系统校园系统主要提供Web页面的浏览服务。整个系统提供了对外与对外接口。对外访问接口提供了外界了解学校的途径，展示学校形象以与师资力量，招生最新信息等。对内接口的主要适用对象为校内师生，为在校师生提供内部信息展示，课程安排，最新活动咨询等相关信息。另外，目前Web、FTP、BBS三类应用有极大的相关性，方便教师和学生进展课内外交流和授课内容、课外辅导资料等的下载等。同时，可以将图书馆供公开使用的资料在Web服务器上公布，即整合图书馆信息系统和校园网系统。系统服务器是一套电子邮局系统和信件发送、接收系统，主要为校园广阔的教师与学生提供方便、与时的电子通信手段。系统主要使用对象为校内教师，如果应用资源条件允许，可以考虑为学生开设独立的账户，方便师生沟通。办公OA系统办公自动化服务器只为学校日常办公服务，现在的OA技术能够提供文字处理、表格制作、公文流转、会议安排等等服务。教务系统主要承当教务处日常新闻发布、学生没学期课程安排和选课等应用，考虑峰值同时选课学生在线人数。数据库系统数据库系统是整个系统中的核心业务系统，推荐使用两台物理服务器做RAC部署，保证业务的连续稳定以与性能的充足。数据库主要存放师生注册信息，一卡通消费信息记录，日常报表学生成绩等校园核心信息，是整个系统最为关键的局部，推荐采用Oracle RAC。当前中国正面临从粗放到可持续开展方式的转变挑战。大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。在我国，大数据将重点应用于以下三大领域：商业智能商务智能可有效提高企业运营活动的效率。如在零售行业，由于同类产品的差异小，可替代性强的特点，零售企业销售收入的提高离不开出色的购物体验和客户服务。零售企业需要根据销售有特色的本地化商品并增加流行款式和生命周期短的产品，零售企业需要运用最先进的计算机和各种通信技术对变化中的消费需求迅速做出反响。通过对大数据的挖掘，零售企业在选择上架产品时，为确保提供式样新颖的商品，需要对消费者的消费行为以与趋势进展分析；在制定定价、广告等策略时，需进展节假日、天气等大数据分析；在稳定收入源时，需要对消费群体进展大数据分析，零售企业可以利用、Web、电子等所有联络渠道的客户的数据进展分析，并结合客户的购物习惯，提供一致的个性化购物体验，以提高客户忠诚度。同时，从微博等社交媒体中挖掘实时数据，再将它们同实际销售信息进展整合，能够为企业提供真正意义上的智能，了解市场开展趋势、理解客户的消费行为并为将来制定更加有针对性的策略。政府决策通过对大数据的挖掘，可有效提高政府决策的科学性和时效性。如：日本大地震发生后仅9分钟，美国国家海洋和大气管理局NOAA就发布了详细的海啸预警。随即，NOAA通过对海洋传感器获得的实时数据进展计算机模拟，制定了详细的应急方案，并将制作的海啸影响模型发布在等。公共服务一方面，政府利用大数据技术把积累的海量历史数据进展挖掘利用，可以提供更为广深的公共服务，另一方面，政府可以通过对卫生、环保等领域的大数据实时分析，提高危机的预判能力，为实现更好、更科学的危机响应提供了技术根底。如在交通系统，随着汽车工业的开展，车辆保有量的不断攀升，车与路，车与环境之间的矛盾日趋加剧，诸如交通堵塞、事故增多、能源浪费和环境污染等问题的恶化，需要通过对历史以与现在的车辆情况、路网情况的实时大数据分析，制定更为优化的系统方案，使车辆行驶在最优路径上，缩小行车时间、节省燃料、减少环境污染，提高路网通行能力和服务质量。大数据虽然极具价值，但由于类型复杂、规模巨大，不论传统的OLAP数据仓库技术还是新兴的分布式处理技术等单一方案都有特定的短板，不可能满足所有的需求，因此，要真正释放大数据的能量，推动大数据应用并非易事，主要面临着以下问题和挑战。挑战一：根底设施的持续扩展问题IDC公司2012年发布的数据显示，数据总量每两年至少增长一倍，但是硬件根底设施由于摩尔定律失效很难进展无限制扩展，即使是MapReduce等分布式技术的扩展性比OLAP等技术有了重大的提高，但是仍存在扩展上限，如Oracle RAC最大支持100个节点，Hadoop集群技术理论支持4000个节点，并且其设计初衷是建立在大量廉价、低端服务器上的，在充分横向扩展架构的同时也需要纵向扩展才能进一步提升整体性能。与此同时，根底设施规模不断增大也会带来其他的问题，首先是系统的可用性，因为大规模分布系统只要其中一个节点出现故障，就会引起整个系统的恢复，所以分布式系统应该采取多副本、检查点等容错技术。另外，随着系统节点规模的扩展，网络流量的增加是指数级的，网络瓶颈也会制约系统性能的提升，限制系统的可扩展性。挑战二：数据处理的个性化、一体化需求问题大数据时代同时催生了多种数据类型结构，无论是结构化、半结构化还是非结构化的数据，从采集到挖掘都需要精细划分，形成准结构化数据，并在此根底上进展关联性分析，最后呈现挖掘后的结果。在上述过程中，每一个环节对于数据、软件和硬件的要求是不一样的，用单一的软硬件无法满足所有类型应用。更为重要的是，作为大数据应用的主体的行业用户并非都是IT方面的专家，不可能独立实现上述过程以与大数据相关技术方案的整合部署和应用的移植、二次开发，因此就需要一个涵盖数据采集、归类、挖掘、呈现、部署和移植的一体化解决方案。总之，多类型、多维度数据处理环节的复杂性决定了无法依靠单一类型的设备完美处理，为不同的应用类型和数据处理阶段提供针对性的软硬件一体化方案也是大数据应用面临的挑战。挑战三：天价本钱问题目前数据存储越来越频繁，相对于存储的低廉价格，大规模数据处理本钱仍然较高，特别采用传统的方法，比如构建数据仓库技术通常需花费几千万元，而能够处理数据规模不过是TB级的，平均每TB的本钱超过十万元。以此推算，假如要处理PB级数据大概需100亿元，这个本钱对于很多用户来说无法承受。如何寻找低本钱的方案帮助用户实现大数据的处理技术，也将为大数据的应用带来挑战。研究大数据领域对社会和人类、还有学校都具有很大的意义，所以XXX高校建立大数据分析系统是很有必要性的。XXX高校作为人才培训和学术研究的重要机构，学科主要研究方向有：“网络与通信技术研究新型网络体系架构，转发与控制别离技术系列标准、关键设备、产业化应用；“信息安全与量子通信研究量子信息、密码技术、网络和系统安全；“系统建模和先进控制研究系统建模、智能检测、综合自动化、非线性控制、Petri网；“信息传输与无线网络研究泛在网络、计算机视觉、融合网络；“信号检测与智能信息处理研究信号检测、RFID、人工智能、模糊神经系统等。随着研究的加深和项目的增多，现有的设备无法满足教学和研究的需求，有效提升了和增加设备迫在眉睫。三、 数据中心总体规划云资源中心加大数据分析与高性能主要分为计算资源、内存资源、存储资源、网络资源，大数据分析系统，高性能作业调度系统，本项目在充分整合XXX高校数据中心资源的根底上，配置必要软硬件设备，为XXX高校信息系统提供统一的根底设施服务，在IaaS层构建较为完整的XXX高校云计算平台。建设内容包括以下几局部：硬件设备：服务器、存储、SAN交换机、交换机、负载均衡、VPN网关。软件设备：物理服务器和虚拟服务器的操作系统、虚拟化软件、中间件、大型数据库系统、云计算管理平台、Hadoop组件、高性能管理软件、高性能作业调度软件、高性能集群存储系统。安全系统：防火墙、入侵防御、防毒墙、网页防篡改、身份认证系统、运维安全审计系统、数据库安全审计系统、漏洞扫描系统。同时采购专业机构提供的云安全服务等。机房配套设备：UPS、精细空调、标准机架。如上图，XXX高校云计算中心将建设三大块业务中心，分别是云平台虚拟化中心、大数据分析系统和高性能计算中心。并且通过统一管理平台提供对整体云计算中心的统一软硬件管理，为学校云平台虚拟化应用、大数据分析系统、高性能计算业务和管理提供统一界面入口，对服务器虚拟化中心软硬件设施、大数据分析平台硬件设施、高性能计算软硬件设施以与三大业务中心的业务管理提供统一管理运维平台。为学校云计算用户提供业务发布、业务使用、业务管理等功能。服务器虚拟化云中心：在校园云计算资源中心中利用服务器虚拟化技术、存储虚拟化技术和网络虚拟化技术等建设集中统一的服务器虚拟化中心，利用高性能云计算服务器组成虚拟化集群，为各院系提供数以百计，数以千计的弹性虚拟服务器架构，并且提供虚拟服务器的生命周期管理、利用服务器虚拟化的高可用技术提供业务连续性保障。为各院系和校园各业务系统提供弹性可扩展、快速可恢复、安全可靠的服务器根底架构。为旧业务的迁移、新业务的部署提供快速、安全、自动化的业务部署模式。大数据分析系统：高校研究项目众多，教师教学任务等很多都会用到大数据分析平台，大数据将给IT行业开拓一个新的黄金时代，作为某某重要的高校我们有义务在这些前沿科技上做出对人类、社会、某某、某某有帮助的研究并造福人类、造福某某和某某，为提高资源利用率所一建议建立统一的大数据分析平台供学校各学科教学和个科研方向研究使用。高性能计算中心：高校有很多院系都存在需要进展高性能计算的相关业务需求，比如水文分析、化学分子分析、机械模型分析、数据建模等都有高性能计算的需要。如果各院系都自己建设高性能计算平台的话，会造资源的极大浪费。通过在云数据中心建设一套统一的高性能平台，在各院系需要进展相关计算时，进展对应的软件部署，并进展相关业务运算。即可以提高硬件的使用效率，又可以节约资源。本期方案将为学校在云数据中心建设一套高性能计算中心，以便为学校各院系服务。统一管理平台：高校云计算资源中心包括服务器虚拟化中心、校园云盘系统、高性能计算中心等云计算系统，这些系统的维护均有自己的维护页面，再加上云计算中心的硬件设施，维护会非常复杂，为了降低维护和使用难度，提供统一管理平台，为各系统管理员提供统一管理的界面。对各系统进展统一维护，且提供安全保障。在硬件上实现散热、电源、管理功能等非IT资源的集中化和模块化，并利用软件虚拟化技术实现计算、存储等IT资源的池化和集中管理；将非计算局部的存储、网络等IO设备进展池化，机柜内采用高速网络互联，并以软件定义的计算、软件定义的存储和软件定义的网络来满足业务需求，并实现完全的软件定义；将CPU、内存等所有的IT资源完全池化，从硬件上可实现任意组合，根据应用需求智能地分配和组合相关资源，实现完全意义上业务驱动的软件定义数据中心，软件上实现业务驱动和应用感知。四、 云数据中心建设规划云计算平台逻辑架构图云设施即服务(IaaS，Cloud Infrastructure as a Service)：系统供给商可以向用户提供同颗粒度的可度量的计算、存储、网络和单机操作系统等根底资源，用户可以在之上部署或运行各种软件，包括客户操作系统和应用业务。云平台即服务 (PaaS，Cloud Platform as a Service)：云计算平台供给商将业务软件的开发环境、运行环境作为一种服务，通过互联网提交给用户。云平台即服务，需要构建在云根底设施之上。用户可以在云平台供给商提供的开发环境下创建自己业务应用，而且可以直接在云平台的运行环境中上运营自己的业务。云软件即服务(SaaS，Cloud Software as a Service )：运营商通过互联网，向用户提供软件服务的一种软件应用模式。传统的SaaS与云SaaS，在客户体验上根本类似，如新浪和Gmail，客户感受是类似的。但传统的SaaS直接构建在硬件设备之上，不能实现后台资源的多租户共享，也无法实现资源的动态流转，实际并不属于云计算的X畴。云SaaS，要求这些软件业务运行在云平台服务层或构建在云根底设施层之上。云SaaS的优势，表现在后台资源的动态伸缩和流转上，资源可扩展性更强，这一重大优势是传统SaaS所不具备的。本方案中云计算平台由资源池、虚拟化平台、云管理平台组成。资源池局部主要有物理设备组成，包括服务器，存储和网络等根底架构资源，通过虚拟化平台对根底架构设备进展池化，从而形成资源池；虚拟化平台就是将物理资源进展池化的软件组合；云计算管理平台就是对底层资源池和虚拟化软件进展管理，并且，针对管理和运维需要，云计算管理平台实现云计算服务的交付和云计算中心用户和流程的管理以与数据中心的监控。4.1 资源池规划什么是资源池云计算的核心特性是利用规模化效应降低单位资源的管理本钱和使用本钱，而规模化的一个前提是资源的物理集中，因此被管理的资源最好集中在少数几个中心，而不是分布在很多物理位置。云计算资源池是采用池化的方法，把服务器、存储、网络等资源按照不同的标准组织成不同的资源池。通过资源池的管理模式，云计算管理员无需去考虑具体的服务器、存储和网络配置。在一个资源池内，通常可以包括服务器、存储空间、网络端口等，这样，在一个资源池中我们就可以为某一个应用系统提供它所需要的所有计算资源。通过云计算的自动化功能，云计算平台管理员可以方便、快速的在资源池中定制化的选择应用系统需要的计算资源数目,根据业务的应用类型进展云计算平台资源的分配。资源池的特征1多实例通过服务器虚拟化，在一个物理服务器上可以运行多个虚拟服务器，即可以支持多个客户操作系统。服务器虚拟化将服务器的逻辑整合到虚拟机中，而物理系统的资源，如CPU，内存，硬盘和网络等，是以可控方式分配给虚拟机的。2隔离性在多实例的服务器虚拟化中，一个虚拟机与其他虚拟机完全隔离。通过隔离机制，即便其中的一个或者多个虚拟机崩溃，其他的虚拟机也不会受到影响，虚拟机之间也不会泄露数据。如果多个虚拟机内的进程或者应用程序之间想互相访问，只能通过所配置的网络进展通信，就如同采用虚拟化之前的几个独立的物理服务器之间需要通过网络来访问一样。3封装性即相对硬件独立性。在采用了服务器虚拟化智慧，一个完整的虚拟机环境对外表现为一个单一的实体例如一个虚拟机文件、一个逻辑分区，这样的实体非常便于再不同的硬件间备份、移动和复制等。同时，服务器虚拟化将物理机的硬件封装为标准化的虚拟硬件设备，提供给虚拟机内的操作系统和应用程序，保证了虚拟机的兼容性。4高性能与之间在物理机上运行的系统相比，虚拟机与硬件之间多了一个虚拟化抽象层。虚拟化抽象层通过虚拟机监视器VMM或者虚拟化平台来实现，并会产生一定的开销。这些开销为服务器虚拟化的性能损耗。服务器虚拟化的高性能是指虚拟机监视器VMM的开销要被控制在可承受的X围之内。5兼容性随着技术的不断推进，新的服务器无法运行原来比拟古老的操作系统，例如，某客户很久之前在某个服务器上安装了win2000的操作系统，应用的开发团队因为某些原因解散了，因而用户失去了应用升级的支持。随着时间的开展，原来的服务器已经损耗非常严重，用户希望对服务器进展升级。在没有做相应新的驱动开发的情况下，无法在新的服务器上安装win2000。通过虚拟化技术可以虚拟出一个标准的虚拟硬件设备，兼容稍微陈旧的操作系统。这样就能实现用户应用运行在原有的系统环境中，但是支持用户应用系统是最新架构的、性能强劲的新的服务器。资源池规划要素1硬件类型。应该支持同样的虚拟化引擎。例如X86服务器和Power服务器的虚拟化技术不同，它们不能划入同一资源池。2性能差异。高端和低端服务器在性能上存在较大差异，如果划入统一资源池，会导致上面的应用体验到不同的性能指标。因此，应该采用统一档次、统一类型的服务器。3网络分区。同一资源池应该位于一个局域网，这样可以防止大量数据的跨局域网传输。因此，对于多个数据中心的资源，推荐为每个数据中心独立创建一个资源池。4灵活扩展。能够对云计算平台进展设备的热添加。在业务不中断的情况下对资源池进展扩大、对业务进展扩展，确保云计算平台资源池满足当下应用与未来三至五年业务增长的需求。5安全隔离。生产系统一般对应用的安全性有很强的要求，因此对服务器与存储资源进展不同程度的隔离，如物理隔离、逻辑隔离如VLAN等。云计算的引入不能破坏现有的安全要求，因此资源池的组织也需要按照相应的规如此进展。4.2 资源池规划内容资源池建设硬件局部围绕着计算、存储和网络三个方面进展，包括服务器、存储空间、网络端口等。图1. 资源池示意图计算资源池建设规划方案规划为用户云计算平台建设一个高性能计算能力的虚拟机的云计算平台，从而满足用户业务的IT需求。云计算平台要求具备超高的扩展性，动态地对云计算平台进展扩展，以满足业务快速增长的需求。方案采用虚拟化技术，在虚拟化技术中物理服务器计算能力影响着虚拟机性能。将单台物理服务器的计算能力最大化，以便于进展资源池资源动态分配，有别于传统的部门级和企业级服务器。云计算中心的数据库较传统模式更大，所处理的数据规模也将会十倍于、甚至百倍千倍于现在的系统，这些系统需要更大的集中式处理的服务器，而不是集群系统。因此对于底层的硬件资源我们应该从更大规模和尺度去考虑，系统需要有更高的计算性能、更大的内存、更好的可扩展性，本方案中我们建议选择性能更加强劲、扩展性更好的x86八路服务器平台。目前浪潮4路服务器服务器，具备60个计算核心、120个逻辑核心，是传统服务器计算能力的20倍以上。服务器整机采用模块化设计，支持物理分区，具备高性能、高可靠、高扩展、高可用等特性。在性能与可靠性等方面均可与IBM、HP、SUN等传统UNIX小型机竞争，填补了国产品牌的空白，是构建云计算和物联网的最优选择。存储资源池建设规划统一SAN存储系统：成熟的SAN网络技术，使用存储虚拟化技术进展不同SAN协议和网络的融合，最终向云计算平台提供统一的数据存放接口。目前主流采用8Gb FC主机接口，提供海量存储空间，适合于对于海量数据存放的性能和安全性有较高要求的高校业务应用系统。业务高可用建设规划图2. 业务高可用示意图由上图可以看出，系统采用多台x86服务器，每台服务器运行多个业务系统，后端共同连接一个磁盘阵列。高可用方案能够不连续地监控资源池中的所有服务器并监测服务器故障。放置在每台服务器上的代理会不断向资源池中的其他服务器发送“心跳信号，而心跳信号的中止会导致所有受影响的业务应用在其他服务器上重新启动。高可用方案确保资源池中始终有充足的资源，以便能够在出现服务器故障时在不同的物理服务器上重新启动业务应用。当服务器上的任意一个业务系统运行出现故障的时候，通过高可用方案管理节点可以在其他两台服务器上按照资源利用情况，重启一个故障的业务应用环境，使业务继续运行下去。即使当一台服务器出现故障的时候，其他两台服务器仍然能够根据资源利用的情况，通过高可用方案管理节点重启已宕服务器上的所有业务应用环境，这样就使整个系统都处于一种HA状态，进而保证了整个系统业务运行的连续性。同时减少了硬件投入数量和开销。4.3 虚拟化软件选型规划虚拟化技术的诞生已经有将近30年的历史。它曾经用于一些大规模的、预算充足的单位，而如今已经应用于计算机的方方面面，包括硬件、软件、通信等等方面。在许多情况下，这项技术是免费的、开源的，或者是包含在一些收费的产品中，例如操作系统或存储硬件中。 在应用软件和硬件之间参加了一层抽象的层。 能够降低IT设施的本钱和复杂度。 提供相互独立的计算资源，从而增加稳定性和安全性。 提高服务层次以与服务质量QoS。 能够使IT流程与单位目标相一致。 尽可能减少IT设施中的冗余，最大化IT设施的利用率。当今最常见的虚拟化形式都聚焦于服务器硬件平台的虚拟化，而这项技术的实现与其实现目标其实对数据中心中关键而昂贵的组件也很有意义，例如存储和网络根底设施。虚拟化技术能够允许在一台计算机上同时运行多个操作系统实例。每个操作系统实例都共享了同一物理硬件上的一定量的资源，就像如下图所展示的那样。一个称作虚拟机监视器Virtual Machine Monitor,VMM的软件控制着底层CPU、内存、存储和网络资源的使用和许可。虚拟化示意图作为中国领先的云计算服务提供商，和业界领先的云计算解决方案供给商，浪潮和vmware在2006年就开始在云计算领域进展深度合作，并于2008年与VMware公司正式签订战略合作伙伴关系。与此同时，浪潮近些年投入强大的研发科技力量着力进展云计算软件的开发，目前已开发出浪潮云海平台。其中iVirtual 3.2是浪潮云海虚拟化管理软件。浪潮虚拟化产品架构图浪潮云海服务器虚拟化系统是数据中心虚拟化基石，是业界最完善的虚拟化平台。该产品不仅仅将IT硬件转变为可靠的云计算数据中心后台，而且还能为用户的应用服务提供最高级别的可用性，安全性和扩展性。浪潮云海服务器虚拟化系统基于服务器，存储和网络设备构建资源池，在资源池上通过资源的管理、调度和镜像管理实现系统的各种高级功能，例如计算层面的系统负载均衡和虚拟机高可用，存储层面的镜像复制和冗余。系统支持以主机或者虚拟群集为单位管理资源，虚拟群集为一组共享存储资源的物理主机。 浪潮云海服务器虚拟化iVirtual 3.2系统为B/S架构，用户可以通过浏览器访问并使用系统。具体系统使用功能包括：概览、主机、虚拟机、集群、网络、日志、系统拓扑等等。另外系统对外提供API，支持用户进展二次开发。4.4 云管理平台建设规划本方案中推荐采用浪潮云计算操作系统云海OS V3.2作为云计算平台的云管理平台。浪潮云海OS V3.2是云数据中心资源管理与资源交付软件，兼容不同的虚拟化架构，监控、管理云资源和数据中心软、硬件资源，实现根底设施的服务化。平台提供丰富的功能组件和API接口，帮助用户快速部署企业服务，有效提升云数据中心管理运维效率。为用户构建一个资源共享、安全可控的云计算平台，对云计算平台内异构资源进展统一管理。通过添加VMWare vCenter、iVirtual center，实现对异构虚拟化资源池的集中管理，可横向、动态扩展云资源规模和容量，以适应未来开展的需求。浪潮云海OS V3.2 以模块化的设计理念，涵盖云数据中心的所有需求：云海OS V3.2涵盖了服务提供所需各个环节的管理，可轻松实现用户对数据中心各类资源的统一管理，提供一站式运维，便于用户维护，降低维护本钱；通过云资源管理主要实现对数据中心云资源的统一管理，包括虚拟控制中心管理、集群管理、存储管理、虚拟数据中心管理、虚拟网络管理与镜像管理；通过云海OS V3.2平台采用开放、灵活的架构设计和模块化设计，客户可以功能模块按需组合，满足不同层次用户需求，便于扩展与定制化开发；云海OS V3.2具备大规模、细粒度、高精度的监控系统，对资源进展完善的监控管理、故障报警、日志记录等；系统支持自定义角色类型，可定义拥有不同权限的角色，实现灵活而安全的系统权限管理，且拥有基于权限的用户控制技术和组织网络隔离技术，可以保持多租户环境下的安全性和可靠性。针对用户业务，云海OS V3.2提供灵活的业务审批流程，可自定义业务流程，实现业务申请审批流程的可视化、自动化管理；准确的计费管理，终端用户可以通过Web界面在线自助申请所需的计算、存储、网络资源，实现资源的按需获取并通过实时的资源使用情况统计，让用户准确掌控自身资源和费用使用情况。计算资源中心包括硬件根底设施、服务器虚拟化中心、大数据分析系统和高性能计算中心，采用统一管理平台统一管理接口，保证统一管理平台，实施基于ITIL的运维流程非常重要，同时，云计算资源中心提供包括IAAS、PASS高性能计算业务和SAAS云盘业务等多种云业务，通过统一管理平台提供业务发布平台，所有的云业务均通过业务发布平台进展业务发布，为用户提供统一访问入口，将为用户提供极大的方便性。统一管理平台方统一管理平台根底架构如下：统一管理平台通过配置数据库，调用底层各应用系统的API接口，和底层各应用系统进展对接。运维人员通过统一界面对各业务系统进展监控和维护，调用各业务系统的功能，进展相关业务发布。通过工作流引擎定义运维流程和发布流程，为用户提供云业务。云计算中心统一管理平台提供了管理框架，通过此管理框架，可以集成多种不同的云业务，并通过集成工作流引擎，灵活配置管理和发布流程，和企业OA和ERP平台进展集成，提供符合公司企业业务流程的管理平台。统一管理平台根底功能 底层平台n 多云配置与管理添加和管理平台支持的多个云业务平台，其中云业务平台接口集成需要定制开发；管理每个客户项目需要的虚拟化平台；n Openstack接口集成集成Openstack的常规管理接口，封装成可以直接被业务层调用的API。通过API调用具体云平台业务。n 虚拟化层监控组件监控平台计划中包括物理层、虚拟化层和应用层监控，其中虚拟化层监控的功能从底层平台接入，物理层通过第三方厂商业务集成接入，应用层通过业务定制组件集成接入。需要管理的监控项通过虚拟化平台接口集成实现 客户自服务中心n 云业务管理分数据中心、分不同云业务类型对云业务平台进展管理。对所有的云业务管理提供三个维度的标签管理，业务类型、监控优先级管理功能分类如下： 日常运维管理类当前用户权限X围内的已有资源数量、使用情况、资源池总量和使用情况、报警信息、历史记录、操作日志 网络类网络相关的设置和管理，VPN、子网等配置 资源变化类资源池内资源的新建、扩容和销毁。提供申请“资源扩容的入口，低级管理员向高级管理员申请，顶级管理员不提供功能入口n 物理层管理数据中心、机柜、服务器、交换机等物理资源的管理和关系建立。建立虚拟化平台和物理层的关联关系。n 监控展现监控工具的功能展现，包括报警项列表与管理分资源监控页面n 用户与权限对应到用户、角色、权限组的管理，包括角色之间的层级关系。系统内各功能权限的设定基于角色建立，资源池配额基于用户建立。n 工单管理系统提供工单和工作流管理，为用户发现问题，提交问题，云业务中心管理员解决问题提供了跟踪流程。为业务上线、业务发布、业务回收提供了完整的流程管理。n 配置管理系统管理员具备权限，设定系统内可以操作的虚拟化资源配置模板以与非标模板资源的关联关系CPU、内存、硬盘等的限制条件五、 大数据建设规划本次计划将分散在网络中的数据归集起来，为分析机构提供数据提取和查询服务；本项目计划实现网络信息的综合查询与分析，实现综统报表、监管报表、业务日报表、综合报表的信息共享；信息预警系统，实现网络信息的联动查询统计。通过建立逻辑数据模型，并建立适合各类专题分析需要的数据集市，形成企业级中央数据仓库，以中央数据仓库为纽带完成业务数据向管理信息的过渡；1) 大数据ETL和数据仓库随着信息技术运用的不断深入，互联网上积累了大量原始数据，而这些数据是按照关系型数据库结构存储，在更新，删除，有效存储(少冗余数据)方面表现出色，但在复杂查询方面效率却十分低下。为充分利用已有数据，提供复杂查询，提供更好的决策支持，就需要采用数据仓库(Data Warehouse)技术。数据仓库与数据库(这里的数据库指关系型数据库)的区别在于，数据仓库以方便查询(或称为按主题查询)为目的，打破关系型数据库理论中标准泛式的约束，将数据库的数据重新组织和整理，为查询，报表，联机分析等提供数据支持。数据仓库建立起来后，定期的数据装载(ETL)成为数据仓库系统一个主要的日常工作。数据仓库的数据组织是商业智能中最重要的课题，中央数据仓库不是各系统数据简单的堆积，而是业务数据的有组织的存储，来支持异源异构数据的联动分析和挖掘。它必须具有灵活性和可扩展性，适应将来的业务需求的增加和变动。1、数据仓库的逻辑结构在数据层前是数据源和转换区，数据源是业务信息库中的原始数据， 转换区用于存放从数据源抽取到的数据，并在转换区进展转换，是ETL的工作区域。数据层负责所有数据的持久存储，包含中央数据仓库DW，数数据源据集市DM和 多维模型OLAP(MDB)。l 中央数据仓库(DM)存放从各个数据源抽取的数据，是经过转换后的细节数据。l 数据集市DM)存放的是面向业务应用宏观的汇总数据, 基于实用化和运行效率的考虑，数据集市ETL采用数据库存储过程来实现。l 多维模型MDB)是将数据数据集市中的数据加载到 OLAP SERVER中,为多维分析提供数据。2、逻辑数据模型逻辑数据模型LDM 是数据仓库体系结构的根底。数据模型的设计既要满足本项目的业务需求，同时要充分考虑未来业务开展的需要，也就是说，数据模型应具有较强的扩展性；数据模型的设计应充分考虑最终用户的查询/分析效率和数据抽取、转换和加载的速度，保证系统具有较高的运行效率；数据模型的设计应充分考虑当今数据库技术和数据建模技术的开展动态，保证数据模型的设计方法、设计过程、设计结果的科学性和先进性；数据模型的设计应具有较强的可读性，数据模型应便于业务人员和技术人员理解，项目投入运行后，数据模型便于技术人员维护。中央数据仓库存储所有最详细的业务数据，数据的组织方式依关系型数据库的第三X式规如此。数据仓库逻辑数据模型主要包括六个主题域： 客户、产品、某某、交易、渠道和机构。3、数据集市模型根据业务需求将中央数据仓库数据分类成几个不同的数据集市，每个数据集市完成不同的分析和查询需求，数据集市中的数据通常由中央数据仓库的数据聚合而来，根据数据聚合程度的不同包含轻度聚合、中度聚合和高度聚合三种不同的层次。汇总的方式将依据数据量的大小和使用频率综合考虑 。4、ETL的设计ETL指源系统数据经过数据抽取、转换和加载处理进入数据仓库的整个过程。ETL流程主要包括以下主要步骤：数据抽取：数据抽取就是将数据仓库需要的业务数据抽取到数据转换区的过程；数据检查和出错处理：在数据转换区中，对源系统数据质量进展检查，形成检查报告，并进展相应的出错处理，对于严重错误，需要系统维护人员现场做出相应的处理。数据转换：数据转换包括对源系统数据进展整理、剔除、合并、验证等一系列转换工作，最后形成数据仓库物理数据结构所需的数据，存放在转换区的数据表中。数据加载：数据加载将数据转换的结果数据加载到数据仓库，并形成数据加载情况的报告。ETL工具需包括如下模块：EXTRACT模块 数据抽取，TXTLOAD模块 文本装载，TRANSFER模块 数据转换，DWLOAD模块 数据仓库装载，QUALITY模块(质量检查，CODE MANAGER模块标准代码管理和WADMIN模块 (总控。从各个数据源到中央数据仓库的ETL可以由ETL工具实现。首先在各个源系统安装extract模块，将源数据抽取为文本数据，打包后通过ftp传送到数据仓库主机上。在数据仓库主机上通过txtload将文本数据装入交换区，然后通过在交换区内通过Transfer模块进展数据转换，最后将交换区的数据通过dwload装入中央数据仓库。ETL每个模块都是现了参数化配置，通过配置相应的ini配置文件实现。从中央数据仓库到数据集市的数据装载利用存储过程实现。在开发过程中针对每个数据集市设计相应的存储过程，实现数据从中央数据仓库到数据集市的装载。2) BI体系构建通过引入先进的商业智能工具，提高数据挖掘水平，是迅速改变信息工作无法满足业务开展需要的必由之路。数据挖掘系统将以原始数据为根底，以先进的数据建模理论对业务信息库进展重新规划，建立信息管理的根底数据支持平台。随