分布式存储技术课件

Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,Click to edit Master title style,#,云环境下的分布式存储技术,云环境下的分布式存储技术,内容,1,软件定义存储技术的发展,2,分布式存储技术,VSAN,介绍,内容1软件定义存储技术的发展2分布式存储技术 VSAN 介绍,存储形态的变化,2,服务器直连存储,25,年之前,服务器,直连,外部存储,5,年以前,现在,服务器,直连,外部存储,云,存储,变化的驱动力：,服务器闪存,多核,CPU,虚拟化普及,云经济,数据增长,存储形态的变化2服务器直连存储25年之前服务器外部存储5年以,IT,基,础架构迈向,Server SAN,和超融合架构,Source:IDC Hyperconverged Systems 2015-2019 Forecast,Traditional SAN/NAS CAGR,1,:,-,17.8%,1,Wikibon Server SAN Research Project 2014,Enterprise Server SAN CAGR,1,:,44.2,%,60%CAGR,IT 基础架构迈向Server SAN和超融合架构Sourc,软件定义,的存储,Server SAN,计算与存储的融合,4,当今,SSD,FC,SATA,SSD,FC,SATA,SSD,FC,SATA,Flash,Hot Edge,Cold Core,未来,一切以计算为核心,与,CPU/Memory,捆绑,低延时,通过虚拟化层访问虚拟化存储,闪存主宰性能,以提供容量为核心,白牌设备,弹性，跨地域,同时提供文件,/,对象访问,扩展到云,Cloud,Object Storage,软件定义的存储 Server SAN 计算与存储的融,什么是软件定义存储,？,软件定义的存储：,是将工业标准服务器的存储提供出来并通过软件控制层面实现存储的自动化和池化。它将存储的置备和管理的方法简化到了极致，并利用工业标准服务器的存储大大降低了成本,。,软件定义的存储产品：,是一个将硬件抽象化的解决方案，它使你可以轻松地将所有资源池化并通过一个友好的用户界面（,UI,）或,API,来提供给消费者。一个软件定义的存储的解决方案使得你可以在不增加任何工作量的情况下进行纵向扩展（,Scale-Up,）或横向扩展（,Scale-Out,）,什么是软件定义存储？,5,软件定义存储是云数据中心的重要组成部分,软件定义存储是云数据中心的重要组成部分,6,软件,定义的,存储,特点,7,目前的方式,软件定义的存储,Object-based,Pool,SAN/NAS,Pool,Hypervisor Converged Pool,LUN,Array A,LUN,LUN,Array B,LUN,LUN,抽象,与池化,以虚拟机为核心的,自动化,SLA,设定,以虚拟机为粒度的数据服务,SAN/NAS,x,86 Servers,Cloud Object Storage,虚拟化层,Replication,Snapshots,虚拟,SAN,虚拟存储卷,软件定义的存储 特点7目前的方式软件定义的存储Obje,软件定义存储的分布式扩展性,8,纵向扩展,添加更多磁盘,IOPS,容量,XX,TB,XXX,TB,XX,PB,横向扩展,添加更多节点,分布式,可扩展性：,弹性,按需伸缩,粒度,添加单个节点或磁盘,无干扰,无应用程序停机,简单,且全,自动,可预测,避免复杂预测以及前期大量投资,软件定义存储的分布式扩展性8纵向扩展IOPS容量 XX TB,软件定义存储分类：控制平面,+,数据平面,控制平面,是关键,根据不同的工作负载来动态分配存储资源,。,Hypervisor/OS,，或者云管理软,件具有优势。,软件定义存储分类：控制平面 +数据平面 控制平面是,软件定义存储的分类,(,存储资源由软件来自动控制,，即,存储策略驱动,),Data,Plane(,数据平面,),1）基于,商用的,硬件,包括了IDC分类中VirtualStorage Appliance（简称VSA）和PhysicalStorage Appliance（简称PSA）两类,。,Server,SAN/HCI里有,：,VMware,VSAN或,EVO:RAIL、,EMCScaleIO、,DELL,Fluid Cache、HPStorVirtual、RedHatInktankCeph、MicrosoftStorage Spaces、Nutanix、Maxta、SimpliVity、ScaleComputing、Pivot3等；,国内有：华为FusionStorage、华云网际、达沃时代、XSKY(Ceph)、大道云行SSAN、志凌海纳SmartX、BigTera、深信服aSAN；开源的有OpenvStorage（类似Nutanix架构）；,在,ServerSAN,里，非超融合架构（也即不提供计算资源）的有：主要是分布式文件系统，如,GPFS,、,Lustre,、,Panasas,等；,其他,SDS有,：飞康、DataCore、Nexenta、国内的InfoCore(信核)等，还有其他支持SolarisZFS的存储；另外还有开源的FreeNAS、,NAS4Free,等,10,软件定义存储的分类(存储资源由软件来自动控制，即存储策略驱,软件定义存储,的分类,(,存储资源由软件来自动控制，也即存储策略驱动,),DataPlane,(,数据平面,),（续）,2,）传统的,SAN/NAS（ExternalStorage）,支持SPBM(如Virtual Volumes)，或者OpenStack Cinder的传统外置磁盘阵列,3）Cloud/Object Storage,做为,DataPlane,的组成部分，实际上是以后端存储的身份为,VM/App,提供存储资源的。,私有云和公有云之间，能在存储级别，实现存储的备份、归档和容灾。运行在公有云之上的,VSA,，,即可与本地存储建立数据交换。,如,：NetApp的CloudONTAP、SoftNAS、Zadara等,ControlPlane,(,控制平面,),1）VMware SPBM；2）OpenStack Cinder；3）EMC ViPR；4）ProphetStor（希智）的Federator；,未来几年内，会有越来越多的数据平面,(Data Plane),的存储,产品,，向,控制平面,开放,API,，支持存储策略驱动,。,11,软件定义存储的分类(存储资源由软件来自动控制，也即存储策略,传统共享存储阵列的时代,SSD,出现之前，CPU发展速度是磁盘的几十万倍,软件定义存储的发展：过去、现在和未来,传统共享存储阵列的时代软件定义存储的发展：过去、现在和未来,12,S,SD,和高速网络,的出现，改变了存储的游戏规则,未来的主流是,分布式,分布式存储，,数据靠近计算，,延时更短！性能更高！,传统外置磁盘阵列一个I/O落到盘上，要经历多个环节，延时在毫秒以上,；,而,SSD,内置在服务器里，延时在亚毫秒,(,也即,0.1ms),级别,2014,年,04,月,30,日,SanDisk发布世界上第一款,4TB SSD,；,2015,年3月，SanDisk推出的InfiniFlash，单卡容量达,8TB,的闪存卡（64个）,；,2015,年,08,月,11,日,三星在闪存峰会上公布世界容量最大的,2.5,英寸硬盘：,16TB SSD,PM1633a,。相比之下，希捷或西部数据制造的容量最大的机械硬盘只有,8TB,或,10TB,软件定义存储的现在,SSD和高速网络的出现，改变了存储的游戏规则未来的主流是,13,软件定义存储的未来：,Server SAN,(,软件定义存储中,最大组成部分,),预计5年左右,，Server SAN(SDS中主要的种类)，将占据整个全球存储市场份额的半壁江山！,2.,The Rise of Server SAN,Jul 16,2015,Source,:wikibon.org/wiki/v/The_Rise_of_Server_SAN,企业级Server SAN预计达44.2的年复合增长率,；,2021年,企业级Server SAN,将是传统外置磁盘阵列的,1.24倍。,软件定义存储的未来：Server SAN(软件定义存储,14,分布,式存储,VSAN,技术介绍,分布式存储 VSAN 技术介绍,VSAN,是：内嵌在,vSphere,内核的分布式的对象存储,聚合了虚拟化管理程序的极其简单的虚拟机存储,vSphere,+,Virtual,SAN,.,软件定义的存储针对虚拟机进行了优化,超融合体系架构（分布式，横向和纵向扩展,）,可在任何标准,x86,服务器上运行,将,HDD/SSD,池化为共享数据存储,提供企业级的可扩展性和性能,基,于策略的自动化，满足,SLA,，可按虚机甚至,vmdk,级别的颗粒度设置存储策略,与,VMware,产品体系深度集成,概述,硬盘,SSD,硬盘,SSD,硬盘,SSD,VSAN,数,据存储,用来取代,vSphere,后端的传统外置磁盘阵列,VSAN是：内嵌在vSphere内核的分布式的对象存储聚合了,16,存储策略向导,SPBM,VSAN,对象,VSAN,对象,管理器,虚拟磁,盘,(vmdk),VSAN,对象可能,(1),跨主机进行镜像，以及,(2),跨磁,盘,磁,盘,/,磁盘组,/,主机进,行,条带,以,符合虚拟机存储配置文件策略,数据存储配置文件,存储策略决定服务级别（包括,确定,数据如何布局）,从上至下，围绕着业务,/,虚机为中心,每个虚机甚至每个vmdk在置备时都可配置各自的个性化QoS的属性。,用户以策略的形式指定所需设置，然后VSAN会自动决定如何在集群中为每个vmdk,分配,存储,资源,，以满足用户的QoS需求,存储策略向导SPBMVSAN 对象VSAN 对象管理器虚拟,共享存储,生产集群,冗余交换机,管理集群,传统方式虚拟化资源池环境,存储单点故障风险,容量和性能无法同步扩展,存储维,护,配,置复杂,传统存储的局限性,NAS,共享存储生产集群冗余交换机管理集群传统方式虚拟化资源池环境存,VSAN,相对于传统存储方案的优势,更简单,内,嵌于,vSphere,无需安装,虚拟机存储策略驱动，不再需要存储设备上的操作,和虚拟化单一界面管理，维护更方便,更快速,通,过,SSD,缓存加速技术，,IO,性能大幅提升,分布式弹性扩展，节点内垂直扩展，容量和性能线性扩展,更可靠,分布,式存储架构，节点冗余技术，消除存储单点故障风险,更,高效,融合,部署，提升资源利用率,最短存储路径，虚拟机感知的虚拟化存储池,适合投,资保护与未来发展,降低外部存储的配置成本,互联网存储,模式，符合未来数据中心虚拟,化,的,发展方向,需要操作,传统,存储,VSAN,Raid,组创建,LUN,划分,Zoning,LUN,Masking/Mapping,多路径软件安装配置,Disk,Group,创建,存储策略创建,VM,存储策略选择,虚拟机存储配置方式比较,人工操作,VS,自动化策略,VSAN相对于传统存储方案的优势更简单需要操作传统VSAN,物理主机,vSphere,采用,Virtual SAN,vSphere,的,物理主机,vSphere,采用,Virtual SAN,vSphere,的,物理主机,vSphere,采用,Virtual SAN,vSphere,的,Virtual SAN,数据,存储集群,Virtual SAN-,从,根本上简化,存储,物理主机vSphere采用 Virtual SANvSphe,物理主机,物理主机,物理主机,Virtual SAN-,利用缓存提升性能,所有虚拟机,I/O,均指向,SSD,。写入内容稍后会转储到,HDD,。,如果请求的读取数据块不在缓存中，会将