海量分布式存储的概念与技术ppt课件

海量分布式存储的概念与技术海量分布式存储的概念与技术主主讲：XXX PPT：XXX海量分布式存海量分布式存储储的概念与技的概念与技术术主主讲讲：XXX Page 2目录目录海量分布式存海量分布式存储的概念的概念存存储模式模式选择网网络存存储技技术直直连式存式存储技技术对象存象存储技技术数据数据库策略策略Page 2目目录录海量分布式存海量分布式存储储的概念的概念01存存储储模式模式选择选择022Page 3一、概念一、概念n如今的互如今的互联网正网正处于一个信息爆炸于一个信息爆炸的的时代。面代。面对信息爆炸的互信息爆炸的互联网，网，对信息的存信息的存储和和处理也就理也就产生了海生了海量的数据。量的数据。Page 3一、概念一、概念3Page 4概念概念n海量数据是指数据量极大，往往是海量数据是指数据量极大，往往是Terabyte(1012bytes)、Petabyte(1015bytes)甚至甚至Exabyte(1018bytes)级的数据集合。的数据集合。n存存储这些海量信息不但要求存些海量信息不但要求存储设备有很大的有很大的储存容量，且存容量，且还需要大需要大规模数据模数据库来存来存储和和处理理这些数据，在些数据，在满足通用关系数据足通用关系数据库技技术要求要求的同的同时，更需要，更需要对海量存海量存储的模式、数据的模式、数据库策略及策略及应用体系架构有更用体系架构有更高的高的设计考考虑。Page 4概念海量数据是指数据量极大，往往是概念海量数据是指数据量极大，往往是Terab4Page 5二、存储模式的选择二、存储模式的选择n存存储系系统的存的存储模式影响着整个海量数据存模式影响着整个海量数据存储系系统的性能，的性能，为了提供了提供高性能的海量数据存高性能的海量数据存储系系统，应该考考虑选择良好的海量存良好的海量存储模式模式n对于海量数据而言，于海量数据而言，实现单一一设备上的存上的存储显然是不合适的，甚至是然是不合适的，甚至是不可能的。分布式是解决不可能的。分布式是解决这种种问题的一个很好的解决方案。的一个很好的解决方案。存存储分分类（根据服（根据服务器器类型）型）Page 5二、存二、存储储模式的模式的选择选择存存储储系系统统的存的存储储模式影响着整模式影响着整5Page 62.1 直连式存储（直连式存储（DAS）n其存其存储设备通通过电缆（通常是（通常是SCSI接口接口电缆）或者光）或者光纤直接直接连到服到服务器，器，I/O请求直接求直接发送到存送到存储设备，它依，它依赖于服于服务器，本身不器，本身不带有任何存有任何存储操作系操作系统。典型典型 DAS结构构Page 62.1 直直连连式存式存储储（DAS）典型）典型 DAS结结构构6Page 72.1 直连式存储（直连式存储（DAS）主要主要问题和不足：和不足：直直连式存式存储依依赖服服务器主机操作系器主机操作系统进行数据的行数据的IO读写和存写和存储维护管理，数据管理，数据备份和恢复要求占用服份和恢复要求占用服务器主机器主机资源（包括源（包括CPU、系、系统IO等），数据等），数据备份通常占用服份通常占用服务器主机器主机资源源20-30%，因此，因此许多企多企业用用户的日常数据的日常数据备份常常在深夜或份常常在深夜或业务系系统不繁忙不繁忙时进行，以免影行，以免影响正常响正常业务系系统的运行。的运行。直直连式存式存储的数据量越大，的数据量越大，备份和恢复的份和恢复的时间就越就越长，对服服务器器硬件的依硬件的依赖性和影响就越大。性和影响就越大。无无论直直连式存式存储还是服是服务器主机的器主机的扩展，从一台服展，从一台服务器器扩展展为多多台服台服务器器组成的群集，或存成的群集，或存储阵列容量的列容量的扩展，都会造成展，都会造成业务系系统的的停机，从而停机，从而给企企业带来来经济损失失Page 72.1 直直连连式存式存储储（DAS）主要）主要问题问题和不足：和不足：7Page 82.1 直连式存储（直连式存储（DAS）n由于由于DAC本身弊端与网本身弊端与网络技技术的崛起，直的崛起，直连式存式存储(DAS)已已显得非常得非常力不从心，存力不从心，存储模式从以服模式从以服务器器为中心中心转向以数据向以数据为中心的网中心的网络存存储模式，网模式，网络存存储也成也成为目前典型存目前典型存储技技术Page 82.1 直直连连式存式存储储（DAS）8Page 92.2 网络存储方式网络存储方式存存储区域网区域网络(SAN)网网络附加存附加存储(NAS)单击此此处添加文字添加文字单击此此处添加文字添加文字单击此此处添加文字添加文字单击此此处添加文字添加文字网网络存存储方式方式Page 92.2 网网络络存存储储方式存方式存储储区域网区域网络络(SAN)网网9Page 102.2.1 网络附加存储网络附加存储(NAS)n或称网或称网络接入存接入存储，采用网，采用网络技技术，通，通过网网络交交换机机连接存接存储系系统和和服服务器主机，建立器主机，建立专用于数据存用于数据存储的存的存储私网。私网。n它它拥有自己的文件系有自己的文件系统，通，通过NFS或或CIFS这两种网两种网络文件系文件系统对外提外提供文件供文件访问服服务。NAS 将存将存储设备通通过标准的网准的网络拓扑拓扑结构构连接到接到现有的网有的网络上来提供数据和文件服上来提供数据和文件服务。Page 102.2.1 网网络络附加存附加存储储(NAS)10Page 112.2.1 网络附加存储网络附加存储(NAS)优缺点：缺点：nNAS管理管理简单、扩容方便，容方便，统一的文件系一的文件系统使数据共享使数据共享变得得非常非常简单，所以其最大的，所以其最大的优点点是跨平台性很好，但是跨平台性很好，但NAS 服服务器在网器在网络存存储中中处于数据通路于数据通路上，当服上，当服务请求激增求激增时存在存在I/O瓶瓶颈，性能是，性能是NAS 的最大的最大问题Page 112.2.1 网网络络附加存附加存储储(NAS)11Page 12n它是存它是存储设备储设备与服与服务务器器经经由高速网由高速网络设备连络设备连接而形成的存接而形成的存储专储专用用网网络络。SAN 一般基于光一般基于光纤纤通道通道FC(FibreChannel)或或iSCSI(internet SCSI)构建，它是构建，它是块级块级的存的存储储2.2.2 存储区域网络存储区域网络(SAN)Page 122.2.2 存存储储区域网区域网络络(SAN)12Page 132.2.2 存储区域网络存储区域网络(SAN)优缺点：缺点：nSAN的的优点是高容量、高可靠性、低延点是高容量、高可靠性、低延迟n缺点是缺点是SAN 没有一个没有一个统一的存一的存储系系统接口，接口，对存存储设备的共享的共享访问存在数据的完整性与安全性存在数据的完整性与安全性问题，设备的跨平台性的跨平台性较差差Page 132.2.2 存存储储区域网区域网络络(SAN)优优缺点：缺点：13Page 142.3 对象存储技术对象存储技术n对对象存象存储储（Object-Based Storage,OBS)综综合了合了NAS和和SAN的的优优点，同点，同时时具有具有SAN的的高速直接高速直接访问访问和和NAS的数据共的数据共享等享等优势优势，提供了具有高性能、，提供了具有高性能、高可靠性、跨平台以及安全的高可靠性、跨平台以及安全的数据共享的存数据共享的存储储体系体系结结构。构。Page 142.3 对对象存象存储储技技术术14Page 152.3 对象存储技术对象存储技术n对象象(Object)包含了文件数据以及相关的属性信息，可以包含了文件数据以及相关的属性信息，可以进行自我管理行自我管理 nOSD（Object-based Storage Device)一个智能一个智能设备，OSD 为存存储对象数据的象数据的设备，它是一个智能它是一个智能设备，包括，包括处理器、理器、RAM 内存、网内存、网络接口、存接口、存储介介质等以及运行在其等以及运行在其中的控制中的控制软件件 nMDS 元数据服元数据服务器器(Metadata Server)系系统提供元数据、提供元数据、Cache一致性等服一致性等服务n网网络连接接n文件系文件系统文件系文件系统运行在客运行在客户端上，将端上，将应用程序的文件系用程序的文件系统请求求传输到到MDS和和OSD上上 对象存象存储系系统组成成Page 152.3 对对象存象存储储技技术对术对象存象存储储系系统组统组成成15Page 162.3 对象存储技术对象存储技术 传统块存存储与与对象存象存储对象存储结构Page 162.3 对对象存象存储储技技术术 传统传统16Page 172.3 对象存储技术对象存储技术对象存象存储模式用于海量数据存模式用于海量数据存储的的优势：n高性能数据存高性能数据存储：访问节点有独立的数据通路和元数据点有独立的数据通路和元数据访问通路，可通路，可以以对多个多个OSD 进行并行行并行访问n跨平台数据共享：由于在跨平台数据共享：由于在对象存象存储系系统上部署基于上部署基于对象的分布式文件象的分布式文件系系统比比较容易，所有能容易，所有能够实现不同平台下的不同平台下的设备和数据的共享。和数据的共享。n可伸可伸缩性：性：对象存象存储模式具有分布式模式具有分布式结构的特性。由于构的特性。由于OSD 是独立是独立的智能的智能设备，可以通，可以通过增加增加OSD 数量，使存数量，使存储系系统的聚合的聚合I/O 带宽、存存储容量和容量和处理能力得到提高，理能力得到提高，这种平衡种平衡扩展模式使得存展模式使得存储系系统能能够具有良好的可伸具有良好的可伸缩性。性。Page 172.3 对对象存象存储储技技术对术对象存象存储储模式用于海量数模式用于海量数17Page 182.3 对象存储技术对象存储技术对象存象存储模式用于海量数据存模式用于海量数据存储的的优势：n可伸可伸缩性：性：对象存象存储模式具有分布式模式具有分布式结构的特性。由于构的特性。由于OSD 是独立是独立的智能的智能设备，可以通，可以通过增加增加OSD 数量，使存数量，使存储系系统的聚合的聚合I/O 带宽、存存储容量和容量和处理能力得到提高，理能力得到提高，这种平衡种平衡扩展模式使得存展模式使得存储系系统能能够具有良好的可伸具有良好的可伸缩性。性。n智能的存智能的存储设备：OSD 中集成了部分的存中集成了部分的存储管理功能管理功能n方便安全的数据方便安全的数据访问：I/O 通道的建立及数据的通道的建立及数据的读写需要写需要经过授授权许可才能可才能进行，从而保行，从而保证了数据了数据访问的安全性；另一方面，任何的安全性；另一方面，任何Client 都可以通都可以通过对象存象存储系系统提供的提供的标准文件接口准文件接口访问OSD 上的数据，上的数据，统一的命名空一的命名空间使使Client 访问数据的一致性得到了保数据的一致性得到了保证。Page 182.3 对对象存象存储储技技术对术对象存象存储储模式用于海量数模式用于海量数18Page 192.3 对象存储技术对象存储技术与与传统存存储方式方式对比比Page 192.3 对对象存象存储储技技术术与与传统传统存存储储方式方式对对比比19Page 20三、数据库策略三、数据库策略n数据数据库管理系管理系统(DBMS)是海量数据存是海量数据存储检索系索系统的核心部件，所有的核心部件，所有对数据的控制都要通数据的控制都要通过DBMS来来实现n基于海量数据基于海量数据环境，境，针对海量数据的有效存海量数据的有效存储方法方法为了了实现高性能的高性能的海量数据存海量数据存储可采取的数据可采取的数据库策略有：策略有：n分区技分区技术：为了更精了更精细地地对数据数据库对象如表、索引及索引象如表、索引及索引编排表排表进行管行管理和理和访问。可以。可以对这些数据些数据库对象象进行行进一步的划分，一步的划分，这就是所就是所谓的分的分区技区技术n并行并行处理技理技术：为了提高系了提高系统性能，可以性能，可以让多个多个处理器理器协同工作来同工作来执行行单个个SQL 语句，句，这就是所就是所谓的并行的并行处理技理技术Page 20三、数据三、数据库库策略策略2021感谢您的关注感谢您的关注21感感谢谢您的关注您的关注21