运营商Mesos云平台实践课件

,8/1/2018,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2018/8/1,#,运营商,Mesos,云,平台实,践,技术创新，变革未来,运营商Mesos云平台实践技术创新，变革未来,1,内容,为什,么,使用,MESOS,基于,MESOS,的,DCOS,实现,实践经验,内容,2,云计算驱动企,业IT,架构演进,企 业 IT,架 构 演 进,（图片来自互联网）,“烟囱”式,IT,系统架构,云化,IT,架构,打破竖井、应用和平台解耦 打破供应商绑定,加强企业自身核心能力掌控,敏捷建设、聚焦支撑业务,统一管理建设运营，提升运维效率、提升资源利用率，降低,TCO,云计算驱动企业IT架构演进企 业 IT,3,亚马逊,的,A,W,S,服务：,以虚,拟,化,为基,础,，提供,IaaS,、,PaaS,及跨服务,功,能层和服 务访,问,工具。,Google,云计算平台：,基于操,作,系统 层面轻量级隔离技术,的,数据中心操作 系统,（Borg/Omega），,在数以万记 的,P,C服务器上进行集中的资,源,分配和 调度。,典型的云计算平台,（图片来自互联网）,亚马逊的AWS服务：以虚拟化为基础，提供IaaS、PaaS,4,浙江移动云化的阶段,对数据中心内 部整体目标架 构,没有统一的,规划设计,标准化的,硬件和 软件体系,业务基础架构建,设以月为单位,通过核心云构件 实现,进程级资源 共享,业务基础架构建,设以分钟为单位,实现,数据中心级,弹性伸缩,传统孤岛,标准化,IaaS,资源池化,PaaS,和应用,资源池化,DCOS,化,虚拟化,服务化,智能化,孤岛,X8,6,化,通过服务化实现 共享的,平台架构,业务基础架构建,设以日为单位,实现,集群级,弹性 伸缩,通过虚拟化实现 共享的,基础架构,业务基础架构建,设以周为单位,实现,虚拟机级,弹 性伸缩,简化,高效,灵活,动态复用,浙江移动云化的阶段对数据中心内 部整体目标架 构没有统一的,5,存在的问题,静态部署,只能大切小不能小聚大,不能维持应用环境的自动化封装,应用的快速部署开通受到极大制约,传统虚拟化只能实现虚机级弹性伸缩，效果极其有限,资源利用率低,基于Iaa,S,层的云化先天不足：,存在的问题静态部署基于IaaS层的云化先天不足：,6,DCOS,第三代,PaaS,的核心,PaaS,1.0,Google,App,Engine,、SAE等,早期的,PaaS,概念,，提供软件开发平 台和运行环境,PaaS,2.0,Cloud,Foundry,、,OpenShift等,允许用户运行自己的,PaaS，,将平台进行标,准化、服务化。,PaaS,3.0,以分布式集群资源调 度（,Mes,o,s,、,Y,ar,n,）为基础，结合容器（,Docker）,技术构建,支持多种计算框架，,具备敏捷开发、快速 部署和弹性伸缩特性,第三,代,PaaS,的核心是,DCOS（DataCenter,Operating,System）,DCOS 第三代PaaS的核心 PaaS 1.0Go,7,数据中,心,操作系统,DCOS,数据中心操作系统,（DataCenter,Operating,System，,简称,DCOS,）,是为整个数据,中,心提,供,分布 式调度与协调功能，实现数据中心,级,弹性,伸,缩能,力,的软,件,堆栈,，,它将,所,有数,据,中心,的,资源,当,做一 台大型计算机来调度，可以视作这,个,大型,主,机的,操,作系,统,。,（以,Mesos,为例）,Linux,OS,DCOS,Resource,Management,Linux,Kernel,Mesos,Process,Management,Linux,Kernel,Docker,Job,Scheduling,init.d,cron,Marathon,Chronos,Inter-Process,Com,m,u,n,i,c,ation,Pipe,Socket,RabbitMQ,File,System,ext4,HDFS,Ceph,（图片来自互联网）,数据中心操作系统DCOS数据中心操作系统（DataCente,8,D,C,O,S,的特征,数据中心操作系统终极目标是提供一个通用的,标,准化运维系,统,高效率可靠,安,全地管 理数据中心，同时简化应用程序的开发、部署难,度,，协调各类,资,源，确保各,类,资源随着 应用的需求动态调度,数据中心级的弹性伸缩,自动化调度、故障自愈,细粒度的资源分配,高资源利用率,敏捷开发、快速部署,DCOS的特征数据中心操作系统终极目标是提供一个通用的标准化,9,D,C,O,S,解决方案,典型案例,Google：,Borg/Omega,Twitter,、,Apple、,Netflix：,Mesos,解决方案,Mesos,：,Mesos,由加州大学伯克利分校AMPLab开,发,，后在,Twitter,广,泛,使,用,，成,熟,度 高。,Mesosphere,公司,DCOS，,以Mesos为核心，支,持,多领,域,的分,布,式集,群,调度,框,架：,Marathon,、,Chronos,和,Hadoop,、Spark等的,集群调度框架，,实,现系,统,的资,源,弹,性,调度。,Apache,Hadoop,YARN：,一,种,新的,Hadoop,资,源管理,器,，它,是,一个通,用,资源,管,理系统，可为上层应用提供统一的资源管理,和,调度,。,Kubernetes：,是Google多年大规模容器管理技术的开源版本，面,世,以来,就,受到,各,大巨 头及初创公司,的,青睐，社区活跃。,Docker,Machine,+,Compose,+,Swarm：,Docker,公司的容器编,排,工具。,传统,PaaS,产品,：,CloudFoundry/OpenShift,等传,统,PaaS,解,决方,案,。,DCOS解决方案典型案例,10,Why,Mesos,Mesos,Yarn,Kubernetes,Docker,Swarm,CF/OpenShift,调度级别,二级调度,（Do,m,inant,Resource Fairness）,二级调度,（,F,I,FO,，Ca,p,a,c,ity,Scheduler，Fair Scheduler）,二级调度（基于,Predicates,和,P,r,ioriti,e,s两阶段 算法）,一级调度,（提供,Strategy,和,Filter,两种调度策略）,CF,一级调度,（基于,H,ighes,t,-,s,c,ori,n,g调 度策略）,/,O,pen,S,h,i,f,t使用,Kubernetes,生态活跃,活跃,活跃,非常活跃,活跃,一般,适用场景,通用性高，混合场 景,大数据生态场景,目前较单一,较单一,较单一,成熟度,高,高,中,低,中,应用与平 台耦合度,低,中,中,低,高,应用案例 分析,Twitter,、,Apple,、,Airbnb,、,Yelp,、,N,etfli,x,、e,b,a,y,、,Verizon,Hadoop,生态圈应用,目前快速发展中，生产环境应用较 少,很少,较少，,P,a,a,S整体解 决方案，应用与平 台的耦合度较高,根据对适合构,建,D,C,O,S,的各种技术架构的评估，选择,以,Me,sos,为基础的方案。优,点是成熟度高、两级调度框架、适合多种应用场景、混合部署、应用与平台耦合度低,Why MesosMesosYarnKubernetesDo,11,中国移动浙江公,司,DCOS,建设历程,2014年3月开,始,关注,Docker,容,器,化技术,，2014,年8,月,启动,Docker,应,用,的技术 验证,2014年,11,月将核心系,统CRM,的,一,个完整集群,迁,移到容器运,行，Docker,正式,投入生产,2015年8月，,提,出数据中心,操,作系统的设,想,，建设,DCOS,验证网，,使,用,Mesos+Marathon+Docker,方案,2015年,11,月4,日,中国移动浙,江,公司,DCOS,验证网上线,，11,月,11,日支,撑,手机营 业厅“双11”活动,2015年12月10上线CRM应用,中国移动浙江公司DCOS建设历程2014年3月开始关注Doc,12,内容,为什,么,使用MESOS,基于,MESOS,的,DCOS,实现,实,践,经验,内容,13,关键技,术,选,型-,资源调度,（图片来自互联网）,Mesos,关键技术选型-资源调度（图片来自互联网）Mesos,14,关键技,术,选,型-,任务调度,Mesos仅负责,分,布式集群资,源,分配,Marathon,做任务调度,，,故障转移,（图片来自互联网）,Marathon,关键技术选型-任务调度Mesos仅负责分布式集群资源分配,15,关键技,术,选,型,应用封装,（图片来自互联网）,容器,server,Hypervisor,Guest,OS,Bin/libs,Guest,OS,Bin/libs,app,app,虚拟机,server,Host,OS,Docker Engine,Bin/libs,a,p,p,Bin/libs,a,p,p,Docker,关键技术选型 应用封装（图片来自互联网）容器server,16,关键技,术,选,型,-,服务发现与注册,HAProxy,业务,负,载,的分发,Marathon,将服务通,过,Confd,注册到,HAProxy,Marathon,Etcd,Confd,HAProxy,思路来自：刘天,斯,构,建,一个,高,可用,及,自动,发,现的,Docker,基础架构,-HECD,-服务发现与注册HAProxy业务负载的分发,17,D,C,O,S,架构图,Mesos Cluster,(Master),Mesos,Master,Mesos,MasterMesos,Master,Marathon,MarathonMarathon,Zookeeper,ZookeeperZookeeper,Etcd,EtcdEtcd,Git,服务器,应用包、镜像,Jenkins,Docker Co,nt,a,in,e,r,Docker Co,nt,a,in,e,r,Docker,C,o,n,tain,e,r,Mesos,SlaveMesos,SlaveMesos,Slave,Mesos Cluster,(Slave),Distributed,File,System(Ceph,、,HDFS),Docker Regi,s,try,LB,H,AP,r,o,x,y,Confd,HAPro,x,y,Confd,部署,弹性调度,构建,构建,/,上传,P,ush,P,ull,服务发现,代,码,DCOS架构图Mesos Cluster(Master)G,18,DCOS,功能架构图,Etcd,Etcd,Etcd,服务发现 服务注册,应用容器化,(Docker,封装),应,用（Docker）,应用,（Docker）,Confd/HAproxy,节点,节点,节点,节点,MESOS,MARATHON,zookeeper,物理机或虚拟机,资源调度 任务调度,DCOS,管理平台,监控管理模块,弹性扩缩容调度模块,资源配置模块,统一日志中心,鉴权模块,持续集成平台,Dashboard,Confd/HAproxy,Confd/HAproxy,DCOS功能架构图EtcdEtcdEtcd应用容器化应用（D,19,D,C,O,S,物理部署,MESOS-slave,Zookeeper,Etcd,、,Confd,H,AP,r,o,xy,L,o,ad,balance,S,t,a,t,e,ch,anges,S,t,a,t,e,ch,anges,r,e,l,o,ad,t,a,s,k,浙江移动,DCOS,平台采用93,个主,机,节点,，,其中,平,台部,分,由,5,个节点,构,成Mesos,Master,Cluster，8,个节点构成,Haproxy,Cluster，80个计