分布式存储对象存储概述课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,精选课件,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,二级,三级,四级,五级,精选课件,*,分布式存储对象存储,-CEPH,概述,1,精选课件,分布式存储对象存储-CEPH概述1精选课件,分布式存储,对象存储,CEPH,2,精选课件,分布式存储2精选课件,分布式存储系统,3,精选课件,分布式存储系统3精选课件,1.1:,分布式存储历程,.DAS,用于操作系统和应用程序的本地存储。,缺点：,1,对,1,，单点,数据无法再服务器之间共享。,4,精选课件,1.1:分布式存储历程.DAS用于操作系统和应用程序的本地存,1.2:,分布式存储历程,.SAN,多对,1,。,数据大集中在,SAN,存储。,缺点：,性能,好,横向扩展,性受限,。,不能共享。,成本,高,5,精选课件,1.2:分布式存储历程.SAN5精选课件,1.3:,分布式存储历程,.NAS,实现不同服务器之间传统文件系统,数据共享,。,多对,1,。,数据集中。,缺点：,多,台服务器不能同时访问修改，性能有限,横向扩展,性受限,。,成本,高,6,精选课件,1.3:分布式存储历程.NAS实现不同服务器之间传统文件系统,1.4:NAS.SAN,网络存储方式,目前主流的存储方式,7,精选课件,1.4:NAS.SAN网络存储方式目前主流的存储方式7精选,1.5:,分布式存储历程,.,分布式存储,性能优越,。,扩展性很好,。,成本低廉。,缺点：,平台稳定性需要考虑。,技术支持的问题,。,8,精选课件,1.5:分布式存储历程.分布式存储性能优越。8精选课件,个人理解分布式存储就是多,台横向连接的计算机,同时运行，共同处理完成同一件,client,的应用工作请求任务。可灵活的增加，或减少节点，,性能优越,。,扩展性很好,。,成本低廉。,1.6:,分布式存储优势,9,精选课件,个人理解分布式存储就是多台横向连接的计算机同时运行，共同处理,对象存储,Object-Based Storage,10,精选课件,对象存储10精选课件,2.1,对象存储技术,对象存储是综合了,NAS,和,SAN,的优点，同时具备了,SAN,直接高速访问和,NAS,的数据共享等优势。,提供了具有高性能，高可用性，跨平台，以及安全的数据共享的存储体系结构。,11,精选课件,2.1 对象存储技术对象存储是综合了NAS和SAN的优点，同,2.2,对象存储解释优势,对象存储就是分布式系统，也可理解为依托于分布式存储架构的一个特性，高级功能,1,）,传统的,块存储读写快而不利于共享，,2,）,文件存储读写慢但利于共享,对象存储则集成二者优点，是一个利于共享、读写快的“云存储”技术。作为一种分布式存储，最重要的一点是能解决对非结构化数据快速增长带来的问题。,12,精选课件,2.2 对象存储解释优势对象存储就是分布式系统，也可理解为依,2.3,对象存储结构,13,精选课件,2.3 对象存储结构13精选课件,14,精选课件,14精选课件,2.4,对象存储组件,对象(Object),包含了文件数据以及相关的属性信息，可以进行自我管理,OSD,（Object-based Storage Device),一个智能设备，OSD 为存储对象数据的设备，它是一个智能设备，包括处理器、RAM 内存、网络接口、存储介质等以及运行在其中的控制软件,MDS,元数据服务器(Metadata Server),系统提供元数据、Cache一致性等服务,15,精选课件,2.4 对象存储组件15精选课件,2.5,：传统存储数据存储过程,传统文件储存过程。,16,精选课件,2.5：传统存储数据存储过程传统文件储存过程。16精选课件,2.6,：对象存储数据储存过程,对象文件储存过程。,17,精选课件,2.6：对象存储数据储存过程对象文件储存过程。17精选课件,2.7,：,Inodes vs Objects,18,精选课件,2.7：Inodes vs Objects 18精选课件,2.8,：对象存储模式用于海量数据存储的优势：,高性能数据存储：访问节点有独立的数据通路和元数据访问通路，可以对多个OSD 进行并行访问,跨平台数据共享：由于在对象存储系统上部署基于对象的分布式文件系统比较容易，所有能够实现不同平台下的设备和数据的共享。,可伸缩性：对象存储模式具有分布式结构的特性。由于OSD 是独立的智能设备，可以通过增加OSD 数量，使存储系统的聚合I/O 带宽、存储容量和处理能力得到提高，这种平衡扩展模式使得存储系统能够具有良好的可伸缩性。,19,精选课件,2.8：对象存储模式用于海量数据存储的优势：19精选课件,2.9,：与传统存储的对比：,存储接口,存储系统,优点,缺点,块级存储,块,块存储设备,S,如,:AN,提供高性能的随机,I/O,和数据吞吐率,可扩展性和可管理性较差、价格较高、不能满足成千上万,CPU,规模的系统,文件储存,文件,块存储设备,文件系统,如,:NAS,扩展性好、易于管理、价格便宜,开销高、带宽低、延迟大,不利于高性能集群中应用,对象存储,对象,块存储设备,文件系统,定位逻辑,应用程序,支持高并行性、可伸缩的数据访问,管理性好、安全性高、适合高性能集群使用,处于发展阶段,相应的硬件、软件支持有待进一步完善,20,精选课件,2.9：与传统存储的对比：存储接口存储系统优点缺点块级存储,CEPH,概述,21,精选课件,CEPH概述21精选课件,3.1,：,ceph,简介,企业级存储产品的需求,22,精选课件,3.1：ceph简介企业级存储产品的需求22精选课件,3.2:Ceph,可提供：,23,精选课件,3.2:Ceph可提供：23精选课件,3.3:Ceph,架构图,底层,Rados,-Ceph,实现分布式存储的根本，所有存储接口都是基于,Rados,实现的,-Rados,本身就是一个对象存储接口，维护了一个,集群,状态和实现了,数据分发,的要求,24,精选课件,3.3:Ceph架构图底层Rados24精选课件,(2),基础库,librados,-,对,RADOS,进行抽象和封装，并向上层提供,API,，以便直接基于,RADOS,（而不是整个,Ceph,）进行应用开发,(3),高层应用接口,-,这一层包括了三个部分：,RADOS GW,（,RADOS Gateway,）、,RBD,（,Reliable Block Device,）和,Ceph FS,（,Ceph File System,），其作用是在,librados,库的基础上提供抽象层次更高的上层接口，分别对应,对象存储、块存储和文件存储,。,（,4,）应用层,这一层就是不同场景下对于,Ceph,各个应用接口的各种应用方式，例如基于,librados,直接开发的对象存储应用，基于,RADOS GW,开发的对象存储应用，基于,RBD,实现的云硬盘等等。,25,精选课件,(2)基础库librados(3)高层应用接口（4）应,3.4:,传统,VS ceph,传统：,Ceph:,26,精选课件,3.4:传统 VS ceph传统：Ceph:26精选课件,-,Monitor:,维护集群的成员和状态,(cluster map),，提供强一致性的决策,-MDS,metdata,数据服务器,-,OSD:,每一个,disk,、,SSD,或者,RAID group,或者其他一个物理存储设备都成为一个,OSD,，主要负责存储和查找对象，并且负责向该对象的复制节点分发和恢复。,3.5:Rados,组件,27,精选课件,3.5:Rados组件27精选课件,3.6,：,Ceph,使用场景举例,-Rados GW,RadosGW,位于,Librados,之上，它主要提供,RESTful,接口并且兼容,S3,、,Swfit,的接口。,28,精选课件,3.6：Ceph 使用场景举例-Rados GWRado,3.7,：,S3,使用案例,29,精选课件,3.7：S3 使用案例29精选课件,3.8,：性能检测,rootcephclient#rados bench-p cephfs_data 10 write-no-cleanup,Maintaining 16 concurrent writes of 4194304 bytes to objects of size 4194304 for up to 10 seconds or 0 objects,Object prefix:benchmark_data_cephclient_8322,sec Cur ops started finished avg MB/s cur MB/s last lat(s)avg lat(s),8 16 247 231 115.464 108 0.357958 0.53742,9 16 274 258 114.633 108 0.449163 0.539057,10 16 301 285 113.968 108 0.551572 0.543629,Total time run:10.595630,Total writes made:302,Write size:4194304,Object size:4194304,Bandwidth(MB/sec):114.009,Stddev Bandwidth:41.2795,Max bandwidth(MB/sec):,228,30,精选课件,3.8：性能检测rootcephclient#r,3.9,：,ceph,优势：,Ceph,是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式的存储系统。,“统一的”意味着,Ceph,可以同时提供,对象存储、块存储和文件系统存储,三种功能，以便在满足不同应用需求的前提下简化部署和运维。,“分布式的”在,Ceph,系统中则意味着真正的无中心结构和没有理论上限的系统规模可扩展性。在实践当中，,Ceph,可以被部署于上千台服务器上。,31,精选课件,3.9：ceph 优势：Ceph是一种为优秀的性能、可靠性,欢迎您和我一起讨论,！,32,精选课件,欢迎您和我一起讨论！32精选课件,感谢亲观看此幻灯片，此课件部分内容来源于网络，,如有侵权请及时联系我们删除，谢谢配合！,感谢亲观看此幻灯片，此课件部分内容来源于网络，,