大数据云平台建设技术规划课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2021,年,8,月,某,公司大数据云平台,（,cloud-T,）,建设,技术规划,2021年8月某公司大数据云平台,1,目录页,第一,篇,X,公司产品现状,第二篇 云平台总体架构,第三篇 大数据基础构建,第四篇 关键技术分析,目录页第一篇 X公司产品现状第二篇 云平台总体架构第,2,3,第一,篇 产品现状,人防,园区,消防,供水,桥梁,添加标题,燃气,产品,现状,业务聚焦人防、消防，提供行业解决方案,产品线划分明确，产品初具规模,以桥梁、燃气、供水为基础，构建城市生命线工程,研究院产、学、研结合，衍生二次产品,3 第一篇 产品现状人防园区消防供水桥梁添加标题,3,4,第一,篇 产品现状,存在,问题,行业解决方案，依然是系统集成，难以体现核心竞争力,产品自成孤岛，难成体系,平台分散、缺少复用，建设周期长、开发难度大,基础设施和业务层耦合度过高，单个产品建设成本较大,人防建设,消防建设,桥梁建设,供水建设,燃气建设,园区建设,其他建设,企业级大数据应用、云平台建设缺失,4 第一篇 产品现状存在行业解决方案，依然是系统,4,5,第一,篇 产品现状,建设,目标,消防,供水,人防,？,园区,燃气,桥梁,大数据云平台,业务剥离、资源共享、分合自如,大数据支撑、挖掘，衍生新产品,5 第一篇 产品现状建设消防供水人防？园区燃气桥,5,6,第一,篇 产品现状,建设,目标,应用服务层,应用软件,/,服务,数据挖掘软件,/,服务,其他功能软件,/,服务。,云平台,IaaS,PaaS,SaaS,AOC/DevOps,基础设施层,网络环境,传感器,物理机,/,虚拟机,。,平台支撑层,数据仓库,/,存储,数据服务,/,计算,接口服务,/,标准,。,面向切面构建,忽略基础设施,剥离一般业务,关注核心痛点,。,6 第一篇 产品现状建设应用服务层应用软件/服务,6,第一,篇 产品现状,建设,目标,企业级大数据云平台建设终极目标,第一篇 产品现状建设企业级大数据云平台建设终极目标,7,8,第二,篇 云平台总体架构,平台,总述,IaaS,：,提供基本的计算、网络和存储资源,。,PaaS,：,中间层，提供对行业业务应用的支持,。,SaaS,：,向用户交付最终业务应用和数据分析。,PaaS环境层,：,为业务应用提供支撑的软件组件、包括各种中间件和数据库等。以Hadoop为代表的大数据处理,。,PaaS,业务层,：包,含了应用的后台程序，数据处理算法以及业务数据等实现业务能力的元素,。,PaaS,服务层：将业务层的业务、算法和数据以接口的形式提供给上层的前端应用直接访问,。,平台核心：统一资源,+,大数据,+,开放服务,8 第二篇 云平台总体架构平台IaaS：提供基本,8,9,第二,篇 云平台总体架构,云管理,整合,传统IaaS的管理能力与传统PaaS的能力,资源接入、服务管理、应用系统环境支撑和统一监控体系四,位一体,9 第二篇 云平台总体架构云管理整合传统IaaS,9,10,第二,篇 云平台总体架构,云管理,特点,面向一般数据中心典型的,应用,场景，提供对混合IT资源的统一接入，以构筑云模式下基础资源,调度,的最佳实践,。,以PaaS能力为核心，将应用系统的典型软件组件以服务形态提供，为业务系统提供统一环境支持，并进行统一管理和监控,。,将大数据平台作为典型服务组件整合到云平台中进行统一管理，以适应未来应用对大数据能力的普遍使用,。,为用户提供面向DevOps的统一云服务业务流程，以统一平台提供传统的IaaS和PaaS能力，并贯穿开发、测试和生产的全过程,。,10 第二篇 云平台总体架构云管理面向一般数据中,10,11,第二,篇 云平台总体架构,服务资源构建,11 第二篇 云平台总体架构服务资源构建,11,12,第二,篇 云平台总体架构,服务资源构建,混合IT基础环境,：,数据中心的最佳实践通常需要由物理机和不同价位和能力的虚拟化技术共同构成。一个最佳性价比的方案可以是使用物理机支持核心数据库和大规模计算、使用高效稳定但成本高的虚拟化系统如VMWare等支持核心业务、使用普通虚拟化系统如HyperV等支持普通业务系统、最后使用低成本虚拟化系统如KVM等支持开发测试等环境。,多资源区统一管理：,同一类虚拟化资源或者物理资源可以构成一个或若干个基本资源区。每个资源区一般包含一定数量的物理机。资源区的划分方式取决于业务的区隔。,12 第二篇 云平台总体架构服务资源构建混合IT,12,13,第二,篇 云平台总体架构,服务资源构建,服务域,：,承载支撑应用系统的软件组件以服务形式进行交付的区域。在这个区域中，每一套软件组件有一个自己独立的服务域。一个服务域中，软件组件典型的部署模式包含以下三种：,a)按需模式：在一个服务域初始化时不创建具体的服务实例，当有用户请求时再根据用户需求创建该软件组件的实例。,b)预置模式：在服务域创建时构建相应软件组件的多个实例。当用户请求该软件的实例时，系统直接从已经创建的实例中进行分配。同时，该模式可以按照一定的策略保证空闲实例的数量。,c)多实例模式：对一些特定类型的服务组件，一次部署以后可以产生多个服务实例。在这种情况下，该服务域在创建时可直接部署该组件，然后通过特定的服务接口在用户申请实例时，由这个部署的组件不断的创建服务实例。,13 第二篇 云平台总体架构服务资源构建服务域：,13,14,第三,篇 大数据基础构建,大数据基础管理架构,采用分层,整合，,灵活,配置，横向扩展，纵向,贯穿的,大平台服务能力，,其,计算框架、存储框架都以容器的方式,可,轻松灵活的,在线,进行装卸，,以,平滑,扩充,大数据平台的集成能力。,以,Hadoop,平台为基础，可在此基础上,集成,适应,Hadoop,体系的,二级计算框架、,通用,的数据处理算法库,和,数据集市仓库。,14 第三篇 大数据基础构建大数据基础管理架构采,14,15,第三,篇,大数据基础构建,大数据基础管理架构,大数据基础平台组成,：,1.,分布式存储框架,：主要负责针对海量数据的存储，以分布式存储技术，支持快速、海量、多种类型的数据存取。主要支持从数据源抽取数据大数据基础平台存储，集成多种存储方式，有针对结构化数据、非结构化数据和半结构化数据的存储。,2.,计算框架,：主要提供批处理计算、内存计算、流式计算框架，由数据处理管理驱动来分配和调度计算框架，加载数据处理算法，完成数据处理。,3.,二级计算框架,：主要提供Hive、Mahout等计算能力，这些计算能力最终还会使用计算框架来完成计算。,4.,数据集市仓库,：主要对计算框架完成后的结果进行存储，支持Hbase、Mysql等存储，同时将数据以接口的形式开放出去。,15 第三篇 大数据基础构建大数据基础管理架构大,15,16,第三,篇,大数据基础构建,大数据基础管理架构,大数据基础平台组成,：,5,.全文索引库,：采用大数据基础平台构建支持全文检索的全文库，主要用于支撑海量结构化数据的搜索查询应用。,6,.数据处理算法库,：集成通用的数据分析算法、能够插入用户自定义的数据模型算法，配合以资源管理系统为主的计算存储框架，进行数据处理。目前包括插入全文检索索引模型等。,7.,资源管理,：以容器的方式，来为计算框架和存储框架分配资源，并支持资源调度，弹性伸缩。,8.,数据服务总线,：将基础平台的能力和数据服务接口，以API的方式开放出去，形成一个共享的、多租户的、供大量应用使用的服务总线。,可包括：查询类接口，分析类接口，专题应用类接口，决策类接口等。,16 第三篇 大数据基础构建大数据基础管理架构大,16,17,第三,篇,大数据基础构建,大数据基础管理架构,大数据基础平台组成,：,9,.服务总线管理,：主要是对数据服务总线进行管理和使用，功能包括：服务治理，接口访问控制、服务质量、协议转换等功能。,10,.数据处理管理,：主要是以作业管理的方式，对计算框架、存储框架的资源进行调度、分配，以承载数据处理算法包，完成数据处理。,11.,资源目录管理,：主要针对大数据基础平台数据的元数据进行有效分类，根据目前,桥梁生命线系统,的数据特征分为以下几大类目录，包括：传感器、桥梁、供水管道、燃气管道、机构、用户等，便于数据的管理和查询。,12.,数据源管理,：数据源管理实现对数据来源的管理，大数据基础平台具备对结构化、半结构化和非结构化数据的抽取能力，并可通过本地系统上传、对接第三方API、爬取互联网数据等，为数据处理、分析、融合准备数据。,17 第三篇 大数据基础构建大数据基础管理架构大,17,18,第四,篇 关键技术分析,异构资源接入,异构资源接入技术,：,异构资源接入技术的主要方法是以资源区的形式对虚拟资源和物理资源按类别进行分区管理，其关键技术包括资源区构建、异构虚拟化资源管理、物理机管理、资源调节以及存储资源管理等五个方面。,这种方式的最大优点是形成对混合IT的统一支撑能力，以构建最佳性价比的数据中心。,18 第四篇 关键技术分析异构资源接入异构资源接,18,19,第四,篇、关键技术分析,异构资源接入,资源区构建,：,19 第四篇、关键技术分析异构资源接入资源区构建：,19,20,第四,篇、关键技术分析,异构资源接入,异构虚拟资源统一管理,：,20 第四篇、关键技术分析异构资源接入异构虚拟资源,20,21,第四,篇、关键技术分析,物理机管理,物理机管理,：,物理机管理能力主要体现在解决将用户通过服务对物理机进行启动、停止、电源管理和系统安装部署等典型动作。其架构如图。,21 第四篇、关键技术分析物理机管理物理机管理：,21,22,第四,篇、关键技术分析,物理机管理,镜像部署接口,：镜像部署接口主要用于将操作系统镜像自动化部署到创建的新主机上，使之交付的物理机是一个带操作系统的物理机。,主机控制接口,：主机控制接口主要用于为新建（交付）的主机设置网卡IP地址、挂载盘等控制功能。,电源管理接口,：电源管理接口主要用于对新建的物理机进行启动、停止、重启等操作。,IPMI接口,：IPMI接口主要用于获取物理机的CPU、风扇、电源等信息,22 第四篇、关键技术分析物理机管理镜像部署接口：,22,23,第四,篇、关键技术分析,存储资源管理,Hyper-V 存储资源管理,：,Hyper-V的存储部署采用iSCSI或FC SAN存储阵列的后端存储+CSV集群共享卷的方案，即在iSCSI协议或FC协议的存储阵列上划分出用于Hyper-V集群共享存储的逻辑单元（LUN），将该LUN转换为CSV集群共享卷并格式化为NTFS网络文件系统，用于存储集群中Hyper-V主机本地虚拟机的磁盘镜像（vhd/vhdx）、虚拟机模板、驱动ISO、操作系统ISO等文件。,23 第四篇、关键技术分析存储资源管理Hyper-,23,24,第四,篇、关键技术分析,存储资源管理,VMware 存储资源管理,：,VMware的存储部署采用iSCSI或FC SAN存储阵列的后端存储+Data Store数据存储的方案，即在iSCSI协议或FC协议的存储阵列上划分出用于作为VMware集群共享存储的逻辑单元（LUN），将该LUN映射至集群中的所有ESXi主机形成“共享卷”并格式化为VMFS网络文件系统，这样集群中每台ESXi主机本地就形成了映射至后端存储中同一逻辑单元（LUN）的数据存储“DataStore”，用于存储集群中ESXi主机本地虚拟机的磁盘镜像（vmdk）、虚拟机模板、驱动ISO、操作系统ISO等文件。,24 第四篇、关键技术分析存储资源管理VMware,24,25,第四,篇、关键技术分析,存储资源管理,KVM存储资源管理,：,KVM的存储部署支持直接使用iSCSI或FC SAN存储阵列和共享分布式存储，如GlusterFS和Ceph等，作为后端存储。这些存储接入到KVM虚拟化管理软件的存储管理模块后，由存储管理模块对其划分逻辑单元（LUN）作为虚拟机使用的存储空间，形成统一的存储资