云平台及大数据建设思路

单击此处编辑母版标题样式,单击此处编辑母版文本样式,二级,三级,四级,五级,2018/7/5,#,云,平台及大数据建设,思路,云,-,正在重构的交通运输体系,SaaS,PaaS,IaaS,问题与挑战,User Type,：,inside,outside,Terminal,：,Web,mobile,、,IoT,User Quantity,：,hundreds,millions,reliability,：,high,Expansibility,：,auto-scaling,Data Size,：,GB,PB,Development Cycles,：,years,weeks,时代的挑战,应用为中心向数据为中心迁移,+,应用,平台,应用系统,应用系统,应用系统,应用系统,大数据,结构化数据,半结构化数据,非结构化数据,应用,应用,应用,应用,应用,应用为中心向数据为中心迁移,服务器,服务器,服务器,服务器,虚拟化,IaaS,虚拟机,虚拟机,虚拟机,虚拟机,虚拟机,虚拟机,虚拟机,虚拟机,虚拟机,虚拟机,虚拟机,虚拟机,虚拟机,虚拟机,虚拟机,虚拟机,虚拟机,虚拟机,虚拟机,虚拟机,云平台,PaaS,云应用服务器,云关系数据库,大数据库软件,应用,应用,应用,应用,应用,应用,应用,应用,应用,应用,应用,应用,应用,应用,应用,应用,应用,应用,应用,应用,服务器,服务器,虚拟化,IaaS,虚拟机,虚拟机,数据库,应用中间件,应用,云海平台,平台设计三要素,IaaS,Adapter,Management&Service API,Third-part service access interface,Platform,Management,Administrator Console,Service Console,Developer Console,EREElastic Runtime Environment,App,Management,Service,Management,Operation Monitor,Security,Management,Deployment,Setup,Application Life-time Management,Service,Scheduler,Management,Console,Distributed Cluster,Management,Open Service,Basic,Service,OSS,LBS,ECS,Big Data,Service,SCS,DBS,EMR,Middleware,Service,MQS,CSS,CAE,Developing,Service,CI/CD,SRD,GCP,CBS,Data Base,Service,MDS,for Redis,NSS,RDS,for MySQL,RDS,for KDB,MDS,for Memcached,云海,IOP,v3.0,IaaS,Adapter,Management&Service API,Third-part service access interface,Platform,Management,Administrator Console,Service Console,Developer Console,EREElastic Runtime Environment,App,Management,Service,Management,Operation Monitor,Security,Management,Deployment,Setup,Application Life-time Management,Service,Scheduler,Management,Console,Distributed Cluster,Management,Open Service,Basic,Service,OSS,LBS,ECS,Big Data,Service,SCS,DBS,EMR,Middleware,Service,MQS,CSS,CAE,Developing,Service,CI/CD,SRD,GCP,CBS,Data Base,Service,MDS,for Redis,NSS,RDS,for MySQL,RDS,for KDB,MDS,for Memcached,云海,IOP,v3.0,产品特性,云海IOP进展历程,C/S,、单机,巨石型,Web,应用,IaaS,虚拟机迁移,物理设备,连续运行,尽量上云,PaaS,分布式运行环境,微效劳化,轻量级新型,云化应用,DaaS,统一数据层,数据整合,数据整合,数据整合,数据利用,灵敏上线,启动时间数分钟,无法上云,上云,分析,故障有可能发生,随时备份数据，用于效劳恢复,不惜一切代价保证效劳器的运行,当效劳器宕机时-摊上大事了,根底设施恢复 自动或者手动,应用恢复 手动,应用模块紧耦合,无法依据负载自动扩展,很难持续集成,应用聚合困难(ESB),应用升级麻烦,端口变化,负载增加,配置变化,环境依靠,代码变化,RTO/RPO,传统巨石,特征,传统巨石应用,云化应用,很难根据负载自动扩展,自动，水平扩展,应用模块牵一发而动全身,应用由多个微服务组成，松耦合,应用的恢复是靠人工的,应用的恢复是自动化的,应用系统的物理环境错误导致业务停顿,应用的物理环境的出错是可以接受的,不遗余力的保障物理机的运转,物理机对应用不是那么重要,物理机的宕机是一件特大事故！,没什么大惊小怪的！,积极备份数据以便应用环境出错时恢复,设计时要尽量避免数据恢复的必要,升级时候不睡觉,灰度发布、发布回滚,一期项目就半年，一期接一期,持续集成,巨石应用和云化应用的特征比照,传统巨石应用,云化应用,垂直扩展；硬件定义可靠性,水平扩展；应用设计消除对基础设施的依赖性,虚拟化,轻量级运行环境（容器，进程，,PaaS,平台）,3,层架构，有状态，紧耦合,松耦合，微服务，,API,对操作系统和虚机有察觉和依赖,抽象于操作系统、虚机和容器,管理员控制,系统控制（自动扩展，自动配置，自动恢复）,瀑布式开发,敏捷开发,敏捷开发,持续集成，持续部署,DevOps,巨石应用和云化应用的技术比照,物理设备,PaaS,IaaS,DaaS,小机,应用,物理,设备,依靠,C/S,EXE,巨石型,Web,应用,巨石应用微效劳化,云化,应用,应用上云的分层实施,应用,应用,应用,VMware/Openstack/Incloud OS,服务器,应用,负载均衡,应用,应用,服务化,运维成本,高可用,数据整合,应用创新,基础,服务,对象存储,负载均衡,弹性主机,大数据,服务,流式计算,数据总线,大数据,Hadoop,应用中间件,服务,消息队列,搜索引擎,应用引擎,容器,容器,根底效劳,对象存储,负载均衡,弹性主机,大数据效劳,流式计算,数据总线,Hadoop,应用中间件效劳,消息队列,搜寻引擎,应用引擎,开发效劳,持续集成交付,效劳注册与觉察,全局配置推送,断路爱护器,数据库效劳,MDB For Redis,NoSQL DB,RDS For MySQL,RDS For Oracle,MDB For Memcached,+,+,本地开发测试环境,SDK,集成开发云,打包发布,单元测试,提交代码,效劳绑定,测试云,自动化测试,生产云,IOP Dev,本地云效劳模拟,IDE,微效劳,分布式开发效劳,DevOps,助力快速应用创新,负载均衡,通信,MDB,RDS,Hadoop,分布式配置,对象存储,数据总线,开发服务,测试服务,云海,Insight,大数据处理套件,产品名称,技术架构,关键功能特性,适应场景,响应时间,云海,Insight,HD,基于,Hadoop,大规模分布式架构,可视化运维,统一用户、证书认证,滚动升级,4000,节点的横向扩展能力,适合,PB,级以上的海量数据离线处理,大数据应用建设中构建基础资源库,分钟,-,小时,云海,Insight,MPP,基于,MPP,架构,的分布式关系型数据库,查询性能是传统关系数据库的,10-100,倍,支持千节点内的稳定运行,处理,TB-PB,级的结构化数据的数据仓库和数据集市的最优选择,BI,领域替换传统架构,毫秒,-,分钟,云海,Insight,MemDB,基于内存,的无共享分布式架构,支持,Key-Value,、及,SQL,关系型存储,跨地区集群能力,支持分布式事务,毫秒,级响应,适合,GB-TB,级,规模,超高并发访问的,OLTP,和,OLAP,实时计算和,加速场景,毫秒,-,秒,大数据处理平台面临业务的简单性、多样性、数据量大、以及各种业务数据处理时间要求的不全都性，仅靠单一产品无法满足业务需求，组合使用，效果更佳,云海IOP弹性大数据计算效劳EMR-让大数据平台灵敏、易用、智能,根底效劳,数据库效劳,大数据效劳,应用中间件效劳,开发效劳,云海,IOP,EMR效劳,存储资源池,SDS,HDFS,API,多租户,弹性效劳,弹性计算池,计算单元,计算单元,计算单元,计算单元,计算单元,计算单元,计算单元,计算单元,计算单元,计算单元,计算单元,计算单元,计算单元,计算单元,计算单元,计算单元,计算单元,计算单元,计算单元,计算单元,计算单元,计算单元,计算单元,计算单元,计算单元,计算单元,计算单元,小规模,中规模,大规模,计算扩容,存储扩容,基础,服务,对象存储,负载均衡,弹性主机,大数据,服务,流式计算,数据总线,大数据,Hadoop,应用中间件,服务,消息队列,搜索引擎,应用引擎,开发,服务,持续集成交付,服务注册与发现,全局配置推送,断路保护器,数据库,服务,内存数据库,for Redis,NoSQL,数据库,关系数据库,for MySQL,关系数据库,for KDB,内存数据库,for Memcached,行业,云中心,大量应用及中间件运维,跨数据中心应用管理,海量用户,/,高并发,资源弹性伸缩,互联网,+,DevOps,持续集成,/,快速上线,微服务应用开发,