IT行业存储基础知识培训

Click To Edit Master Title Style,IT,行业存储基础知识,培训,RAID,技术,RAID,基本概念,定义,RAID,（,Redundant Array of Independent Disks,）即,独立磁盘冗余阵列,，,RAID,技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘，从而达到提升存储容量、读写性能和数据安全性的目的。根据不同的组合方式可以分为不同的,RAID,级别,RAID 0,数据条带化，无校验,RAID 1,数据镜像，无校验,RAID 2,海明码错误校验及校正（不常用）,RAID 3,数据条带化读写，校验信息存放于专用盘（不常用）,RAID 4,单次写数据采用单个硬盘，专用盘存放校验数据（不常用）,RAID 5,数据条带化，校验信息分布式存放,RAID 6,数据条带化，分布式校验并提供两级冗余,可靠性,未使用,RAID,一旦硬盘损坏，资料将丢失,!,作业将停顿,!,资料仍然存在,!,使用,RAID,RAID,出现原因 一,提高容量,未使用,RAID,使用,RAID,硬盘容量,单块硬盘,容量,硬盘容量,=,单块硬盘容量,x N,RAID,出现原因 二,一旦硬盘损坏，资料将丢失,!,作业将停顿,!,提升速度,未使用,RAID,使用,RAID,I/O 1,I/O 2,I/O 1,I/O 2,(Disk 1),(Disk 2),节省时间,速度,N x,单块硬盘的速度,Total request execution time,Software setup,Access Time,Data Transfer,Software Completion,RAID,出现原因 三,CPU,运算速度飞速提高，数据读写速度不应该成为计算机系统处理的瓶颈,RAID,基本概念,条带,分条,条带,硬盘,0,硬盘,2,硬盘,1,硬盘,3,大数据块写入,RAID,时会被分成多个数据块,并行写入多块硬盘,，这些大小一致的,数据块就称为条带,。同时数据读取时会并行从多块硬盘读取条带数据，最后完整输出。,条带无疑会大幅度提升整体读写效率。,RAID,基本概念,重建（,Rebuild,）,数据盘,A1,A0,P,A0,A1,P,XOR,故障,数据盘,校验盘,A2,A2,XOR,数据盘,更换,某块硬盘出现故障后，一旦将其更换为正常硬盘，,RAID,便会通过其他硬盘数据计算出坏盘上原有的数据，再将数据重建回新添硬盘上。,RAID,热备盘,-HotSpare,热备份是在建立,RAID,磁盘阵列系统的时候，将其中一磁盘指定为热备磁盘，此热备磁盘在平常并不操作，当阵列中某一磁盘发生故障时，热备磁盘便取代故障磁盘，并自动将故障磁盘的数据重构在热备磁盘上。,热备盘分为：全局热备盘和局部热备盘,全局热备盘,：针对整个磁盘阵列，对阵列中所有,RAID,组起作用。,局部热备盘,：只针对某一,RAID,组起作用。,因为反应快速，加上快取内存减少了磁盘的存取，所以数据重构很快即可完成，对系统的性能影响不大。,对于要求不停机的大型数据处理中心或控制中心而言，热备份更是一项重要的功能，因为可避免晚间或无人守护时发生磁盘故障所引起的种种不便。,热备与重构,在线操作特性,系统中需设置一个热添加的备份盘或用一个新的替代磁盘替代故障磁盘,当满足以下条件时开始数据自动重构,有一个热备份盘存在,独立于故障磁盘的所有磁盘都配置为冗余阵列,(RAID1,3,5,0+1),所有的操作都是在不中断系统操作的情况下进行的,RAID5 set of drives,:4 active,1 hot-spare,COPY BACK,完成,某个磁盘损坏，重构过程开始,重构过程结束，,RAID5,可靠性恢复冗余,插入新磁盘，,COPYBACK,开始,RAID,基本概念,物理卷和逻辑卷,RAID10,RAID5,RAID,由几块硬盘（物理卷）组成,RAID,可以多个硬盘按照指定容量创建一个或多个逻辑卷，便通过,LUN,（,Logic Unit Number,）来标识。,一个逻辑卷对于主机来说就是一块硬盘（物理卷）,物理卷,物理卷,逻辑卷,逻辑卷,多个物理卷上创建,1,个逻辑卷,多个物理卷上创建,2,个逻辑卷,LUN1,LUN2,LUN3,RAID 0,条带存储,(Striping),原理,：又称数据分条，即把数据分成若干,相等大小的小块，并把它们写到阵列上不,同的硬盘上，这种技术又称“,Stripping”,（即将数据条带化），,RAID0,在读写时是以并行的方式对各硬盘同时进行操作。,优点,磁盘空间利用率最高,在所有的级别中，,RAID 0,的速度是最快的,缺点,无冗余功能，如果一个磁盘损坏，则所有的数据都无法使用,不适合关键业务,应用,媒体编辑,图像编辑,需要高带宽的应用,RAID 1,镜像,/,双工,优点,数据安全性相对其它,RAID,级，是最好的,缺点,磁盘利用率只有,50%,，是所有,RAID,上磁盘利用率最低的一个级别,原理,：即每个工作盘都有一个镜像盘，每次写数据时必须同时写入镜像盘，读数据时只从工作盘读出，一旦工作盘发生故障立即转入镜像盘，从镜像盘中读出数据。当更换故障盘后，数据可以重构，恢复工作盘正确数据,应用,财务,金融,需要高数据可用性的应用,RAID 3 (,条带分布,+,专用盘校验,),原理,：使用至少三块硬盘配置，在其中的一块硬盘上存贮专用的校验数据，当某块硬盘出现故障时，其它硬盘可以通过校验数据将有故障的硬盘的数据重新恢复出来。,特点,：数据以位或字节的方式存于各盘（分散记录在组内相同扇区的各个硬盘上）,优点,高可用性,磁盘利用率较高,(N-1),并行,I/O,传输，顺序读性能较高,缺点,校验盘成为性能瓶颈,每次读写牵动整个组，每次只能完成一次,I/O,应用,流媒体服务器,图像编辑,视频编辑,RAID 5 (,条带技术,+,分布式校验,),原理：,RAID5,将所有校验的数据分别存贮在所有的硬盘上,每一个硬盘的不同地方既存贮数据，也存贮校验数据。当某块硬盘出现故障时，其它硬盘可以通过校验数据将故障的硬盘的数据重新恢复出来。,优点,高,可用性,磁盘利用率较高,(N-1),没有固定的校验盘，奇偶校验信息均匀分布在阵列所属的所有磁盘中,随机读写性能高允许在同一组内并发,进行多个写操作,缺点,异或较验影响存储性能,应用,文件及应用服务器,数据库服务器,Web, E-mail,局域网服务器,RAID6,（,Double parity drive,）高级数据保护,特点,：,较高的数据冗余性能；超强的数据保护能力，可以应付多颗盘同时出错；,优点：,允许在同一组内并发进行多个写操作,缺点：,计算校验地址占用较多的处理时间；,较低的,写入速率。,RAID6 P+Q,RAID6 P+Q,会根据公式计算出,P,和,Q,的值，当有两个数据同时丢失时，仍可以计算出原数据,磁盘,1,磁盘,2,磁盘,3,磁盘,4,磁盘,5,条带,1,数据,1a,数据,1b,数据,1c,P1,Q1,条带,2,数据,2d,数据,2e,P2,Q2,数据,2f,条带,3,数据,3g,P3,Q3,数据,3h,数据,3i,条带,4,P4,Q4,数据,4j,数据,4k,数据,4l,条带,5,Q5,数据,5m,数据,5n,数据,5o,P5,RAID,级别比较,项目,RAID0,RAID1,RAID10,RAID5,、,RAID3,最小配置,1,2,4,3,性能,Highest,Lowest,RAID5RAID10RAID0,RAID1RAID5/N,描述,不带奇偶效验的条带集,磁盘镜像,RAID0,与,RAID1,的结合,带奇偶效验的条带集,其中,RAID3,与,RAID5,的区别为：,RAID3,更适合于顺序存取，,RAID5,更适合于随机存取。需要根据具体的应用情况决定使用那种,RAID,级别。,RAID,性能比较,RAID,级*,RAID-0,RAID-1,RAID-5,RAID-10,RAID-50,RAID-6,别名,条带,镜象,分布奇偶位条带,镜象阵列条带,分布奇偶阵列条带,分布奇偶条带,容错性,没有,有,有,有,有,有,冗余类型,没有,复制,奇偶位,复制,奇偶位,两种奇偶位,热备盘选项,没有,有,有,有,有,有,需要的磁盘数,一个或多个,只需,2,个,三个或更多,只需,4,个,不小于,6,的偶数（,6,，,8,，,10,，,12,，,14,，,16,）（,因为,RAID5,最少,3,个，再做镜像，就是,6,个,）,四个或更多,可用容量,N,N / 2,N - 1,N / 2,N-2,N,2,RAID,组,建方式 一：,Software RAID,OS,無,RAID,專用,CPU,作業系統無法安裝在,RAID Logical Disk,速度較小、硬碟擴充性較小,安裝主機內部，需,RAID,程式，維護複雜,NT, Unix , Linux, , ,SCSI Bus,RAID,SCSI Card,RAID,组建,方式 二：,RAID Card,提供,RAID,專用,CPU,作業系統可安裝在,RAID Logical Disk,速度快、硬碟擴充性大,安裝主機內部，需驅動程式，維護複雜, , ,SCSI Bus,NT, Unix , Linux,RAID,RAID Card,RAID,组建,方式 三：,RAID Controller,RAID,提供,RAID,專用,CPU,作業系統可安裝在,RAID Logical Disk,速度快、硬碟擴充性大,與主機分離，不需驅動程式，維護容易,可接多主機,(Cluster),與雙控制器,(Controller Fail Over),NT, Unix , Linux,Host Channel,Disk Channel,HOST and O.S. Independent, , ,Fibre, SCI Card,RAID,优点,硬盘容错,( fault tolerance),提高,I/O,处理速度,( high performance ),提升传输速率,( fast data transfer ),提高资料使用率,( high availability ),维护方便,( easy maintenance ),DAS NAS SAN,存储体系架构介绍,Direct Attached Storage(DAS),直接外挂存储,服务器直接后挂存储设备，最经济的一种结构。,Network Attached Storage (NAS),网络连接存储,网络上直接挂接的存储设备，相当于一个网络文件共享服务器。,Storage Area Network (SAN),存储区域网络,应用光纤技术的,SAN,网络，传输介质为光纤，性能最高，目前使用较广,ISCSI(IP-SAN),iSCSI-,利用,TCP/IP,协议连接存储设备,可以理解为,SCSI over IP,是将,SCSI,命令封装到,TCP/IP,数据包中,通过,IP,网络传输,SCSI,数据。,DAS-,直连存储,Client 2,Server AApplication A,Server BApplication B,Server CApplication C,Disks for Server A,Disks for Server B,Disks for Server C,Client 3,Client 1,Local Area,Network,SAN-,存储局域网络,Client 2,Client 3,Client 1,Server AApplication A,Server BApplication B,Server CApplication C,Disks for Server A,Disks for Server B,Disks for Server C,SAN,Local Area,Network,Disk Array,NAS-,网络附加存储,Disks for File System A,Disks for File System B,NAS Device AFile System A,NAS Device BFile System B,Internal/External connectivityto disks or arrays,Server AFile System A,Server BFile System B,Client 1,Client 2,Client 3,Local Area,Network,SAN,、,iSCSI,、,NAS,的特点,NAS,为解决,数据共享,问题和,优化文件（,File,）存储,而产生的存储技术,文件管理系统在存储设备端，是,文件服务,+IP,的一种技术,多应用于非结构化数据（文件）,SAN,为解决,DAS,的问题,而产生的存储技术,是,DAS+,网络,的一种技术,多应用于,OLTP,系统（如：,ERP,）,iSCSI,iSCSI,也叫,IP SAN,多应用于,PC,服务器平台、,Windows,（,SQL Server,、,Exchange,）、,Linux,、小型数据库,应用系统,NAS,SAN/iSCSI,操作系统,文件管理系统,RAID,控制,磁盘读写,应用系统,IO,调用模式,存储架构适用分类,SAN:,提供可用性、可管理性和扩展性,目标应用:,数据库/,ERP/OLTP,灾难恢复,数据仓储,NAS:,易于安装和管理，低价位,目标应用:,文件服务器集中/更换,PDM/CAD,文件共享,DAS:,只适用于小型商务,IP-SAN,与,FC-SAN,比较,IP-SAN,适用环境：异地间的数据交换及容灾，备份，非关键应用的集中存储。,FC-SAN,适用环境：关键应用的集中存储、备份及容灾。,优点,缺点,IP-SAN,部署成本低,共享网络（,IP,网络复用，提高网络利用率）,维护简便,适合远距离传输,传输效率低（正常,IP,网络利用率不足,50%,）,传输安全性低,传输延时无保障,一般占用大量主机资源,FC-SAN,传输效率高,传输安全性高,传输延时极小,占用主机资源少,技术成熟,应用范围最广的专业存储架构,部署成本较高,需要专属网络,DAS,优点,:,成本低，对于小型用户来说，易于维护,缺点,:,性能不高，系统停机多，资源无法共享，多系统环境下的管理成本增加,NAS,优点,:,方便，文件级的数据共享，集中化管理,缺点,:,需要贡献文件系统，安全性无法保障，性能一般，磁盘级数据无法共享集中，复杂系统的成本大，维护难，扩容受限,SAN,优点,:,集中化的管理，高性能，减少停机时间，安全保障高,缺点,:,成本昂贵、系统复杂。磁盘阵列的兼容性限制了设备选择空间及资源共享。,DAS,、,NAS,、,SAN,与,ISCSI,性能比较,数据备份手段 一,硬件级备份,硬件级的备份是指用,冗余的硬件,来保证系统的连续运行。比如磁盘镜像，双机容错等方式。如果主硬件损坏，后备硬件马上能够接替其工作，这种方式可以有效地防止硬件故障，但无法防止数据的逻辑损坏,当逻辑损坏发生时，硬件备份只会将错误复制一遍，无法真正保护数据。硬件备份的作用实际上是保证系统在出现故障时能够连续运行，更应称为硬件容错,数据备份手段 二,软件级备份,软件级的备份是指,通过备份软件将数据保存到其他介质上,，当出现错误时可以将系统恢复到备份时的状态。由于这种备份是由软件来完成的，所以称为软件备份。,用这种方法备份和恢复都要花费一定时间。但这种方法可以完全防止逻辑损坏，因为备份介质和计算机系统是分开的，错误不会复写到介质上。这就意味着，只要保存足够长时间的历史数据，就能够恢复正确的数据。,数据备份手段 三,人工手动备份,人工级的备份最为原始，也最简单的备份。但如果要用手工方式从头恢复所有数据，耗费的时间恐怕会令人难以忍受。,数据备份目的：重新利用，备份工作的核心是恢复,恢复（,Recovery,）,重新创建整个应用或计算环境过去的操作状态,在应用或计算环境被破坏或其他原因导致的不能使用后，需要进行恢复,恢复模式：完全恢复，小颗粒恢复,数据恢复？,File Server,Database Server,Backup Servers,Tape Library,Tapes,数据快照技术,快照,（,Snapshot,）,为指定的,数据集,创建一个完全可用的数据副本，它包含了副本在创建时刻（时间点）的数据映像,快照实现方法：,存储嵌入式快照：,快照软件运行在网上的存储设备中,基于主机的快照：,快照软件运行在服务器中，通常驻留在操作系统级别的逻辑卷中,什么是快照？,File Server,Database Server,Backup Servers,Tape Library,Tapes,常见快照技术分类,全拷贝快照,分离镜像（,Splitting a mirror,）,差分快照,写即拷贝（,CoW : Copy On Write),写即重定向,(RoW : Redirect On Write),随机写,(WA : Write Anywhere),分离镜像的生命周期,写操作,源,镜像,镜像卷,源,镜像,原始数据,写操作,分离镜像,读和备份,记录写操作,分离镜像,写操作,1.,分离镜像,2.,从分离镜像备份,3.,再同步,镜像再同步,源,镜像,分离镜像（,Splitting a mirror,）,全拷贝快照的特点,空间占用：,每一次全拷贝快照需要与源盘相同大小的数据空间,创建过程：,每一次全拷贝快照都需要完全数据同步,读写操作影响,源卷的读操作不受影响,源卷的写操作受数据同步的影响,创建完成后，快照（卷）的读写操作保持最优,写即拷贝,COW,的实现,p,源盘,快照前写块,1,a,b,c,d,e,f,g,h,0,1,2,3,4,5,6,7,i,8,SAN,访问,阵列,源卷,1.,写操作（,p,写入块,1,）,p,CoW,的实现,p,源盘,快照,快照前写块,1,z,快照后写块,6,a,p,c,d,e,f,g,h,0,1,2,3,4,5,6,7,i,8,SAN,访问,阵列,源卷,快照索引和日志,地址,数据,1.,写操作（,p,写入块,1,）,2.,产生快照,3.,快照后写入,z,到块,6,：,不一次性写入,先将块,6,内容移入日志,z,写入源卷,g,6,6,g,z,CoW,的实现,p,z,源盘,快照,快照前写块,1,快照后写块,6,g,p,读块,6,读块,1,a,p,c,d,e,f,z,h,6,g,0,1,2,3,4,5,6,7,i,8,SAN,访问,阵列,快照索引和日志,源卷,地址,数据,1.,写操作（,p,写入块,1,）,2.,产生快照,3.,快照后写入,z,到块,6,：,不一次性写入,先将块,6,内容移入日志,z,写入源卷,4.,从快照读时组合索引,/,日志和源卷,1.,如果快照是可读,/,写，快照盘上的写操作直接更新索引和日志,CoW,的特点,源卷状态：,源卷保持最新状态,写操作步骤：,当一个新的写操作执行时：,首先读出写操作将要覆盖地址的当前数据,将读出数据保存至专用空间并建立索引,新的写操作执行（写入目标地址）,读写路径影响,源卷的读路径基本无影响,源卷的写操作受拷贝影响,对快照（卷）的读写路径都有影响,重复数据技术技术,产品背景：,存储介质售价一直都在不停下降，却远远赶不上数据保存和备份的数据量的攀升速度，在这种环境下重复删除技术应运而生。,重复数据删除是一种数据缩减技术,，通常用在基于磁盘的备份系统，目的是为了,减少存储系统中使用的存储容量,。采用“重复删除”技术可以将存储的数据缩减为原来的,1/15,，从而让出更多的备份空间，不仅可以使磁盘上的备份数据保存更长的时间，而且还可以,节约离线存储时所需的大量的带宽。,用更少的空间存更多的数据。,重复数据删除,依据数据处理方式的不同，分为以下两种：,其一是,在线处理（,Inline,），,Data Domain,就是这一技术的代表厂商，这一方式中，数据在读进来之后，在存到磁盘之前就已经进行了重复数据删除；,其二是以昆腾作为代表的,后处理（,Post-processing,），,采用这一方式的话，数据在存到磁盘上后，才会进行重复数据删除，在存到磁盘前，数据没有减少。,重复数据删除的处理方式,机械硬盘,机械式硬盘结构,主轴马达,(,Spindle Motor),磁头,基座(,Base Plate),磁头停放区,(,Parking Zone),盘片,(,Media),传动部件,接口,容量：,指硬盘能存储的数据量大小，以字节为基本单位,单碟容量：,硬盘都是由一个或几个盘片组成的，单碟容量就是指包括正反两面在内的单个盘片的总容量,转速：,即主轴马达转动速度，单位为,RPM,（,Round Per Minute),，即每分钟盘片转动圈数,缓存：,是硬盘控制器上的一块内存芯片，具有极快的存取速度，它是硬盘内部盘片和外部接口之间的缓冲器,机械式硬盘主要指标（一）,平均访问时间：,硬盘磁头找到目标数据所需的平均时间,平均寻道时间：,磁头寻找,目标数据,所在,磁,道所需的,平均,时间,平均潜伏时间：当磁头移动到数据所在的磁道后，等待指定的数据扇区转动到磁头下方的时间,数据传输率：,内部数据传输率：数据从盘片表面传输到硬盘,的,缓存,的速率,外部数据传输率：数据从硬盘的缓存读出到外部总线的速率,机械式硬盘主要指标（二）,S.M.A.R.T,：,Self-Monitoring ,Analysis and Reporting Technology,，自监测、分析及报告技术，监测硬件各部件，然后根据得到的关于各部件运行情况与历史记录的数据进行分析、比较，根据需要会自动向用户发出警告,NCQ,：,Native Command Queuing,，本机命令队列，是,SATA ,规范支持的一种新的功能，支持,NCQ,的硬盘可以对指令进行排队（多达,32,条指令），重新编排指令执行次序，也可以立即执行指令，可提高硬盘的性能，减少,CPU,占用率,Duty Cycle,：,指硬盘的工作负荷， 定义为特定时间段内硬盘工作时间占总时间的百分比。,100%,即表示硬盘每天,24,小时不停在进行读写操作,机械式硬盘主要技术 一,机械式硬盘主要技术 二,在存储系统中，硬盘的耗电量占整个系统用电量的,30,。,Spin Down,技术就是通过降低硬盘的转速甚至是让硬盘停转，达到降低硬盘能耗目的的。,Spin Down,技术是硬盘本身已经具有的功能，并不是新技术。人们经常用到的笔记本电脑中的硬盘就具有,Spin Down,功能。”,Kee Wing Wong,表示，“,Spin Down,是硬盘厂商提供的一种技术，通过,Hard Disk Command,使硬盘的转速变慢。,硬盘的读写速度同硬盘的转速成正比,更高的转速可缩短硬盘的实际读写时间,硬盘缓存的大小直接影响硬盘的整体性能,转速和缓存对硬盘性能的影响,硬盘接口类型,硬盘容量发展,容量,FC,硬盘,100GB,300GB,750GB,1000GB,146GB,300GB,SAS,硬盘,250GB,400GB,500GB,750GB,1000GB,SATA,硬盘,73GB,300GB,146GB,500GB,73GB,300GB,146GB,1998,2010,SCSI,硬盘,73GB,2000GB,2000GB,600GB,450GB,450GB,600GB,硬盘对比,FC,磁盘、,SAS,磁盘、企业级,SATA,磁盘的性能对比,硬盘类型,转速,MTBF,平均寻道时间,持续读写速率,应用特点,企业级,SATA,磁盘,7200 RPM,120,万小时,8.5ms,2530MB/,秒,大容量、小吞吐量，高性价比,SAS,磁盘,15000 RPM,160,万小时,3.5ms,3045MB/,秒,大容量、高可靠,FC,磁盘,15000 RPM,160,万小时,3.5ms,4055MB/,秒,高可靠、负荷能力高、企业级应用,ATA/IDE,接口硬盘简介,Power,连接器,主,/,从盘,跳线,40-,pin,连接器,ATA,（,Advanced Technology Attachment,）,硬盘是传统的桌面级硬盘，主要应用于个人,PC,机，也经常称为,IDE,硬盘,ATA,接口为并行,ATA,技术，下一代的产品是串行,ATA,（,SATA,）,最高速度,133M/S,，已达性能极性。,SATA,接口硬盘介绍,SATA,：串行,ATA (Serial AdvancedTechnologyAttachment ),SATA,硬盘采用点对点连接方式，支持热插拔，即插即用,SATA,采用串行方式进行数据传输，第二代（,SATA,）,300MB/s,接口硬盘目前仍是主流，,SATAD,目前已经商用，速率为,600MB/s,SCSI,接口硬盘介绍,SCSI (Small Computer System Interface ),小型计算机系统接口,SCSI,硬盘并发处理性能优异，常应用于企业级存储领域,SCSI,硬盘采用并行接口，接口速率目前发展到,320MB/s,，基本已经达到极限，很快会被其串行版本,SAS,硬盘完全替代,80-pin,公接头,SAS,接口硬盘介绍,SAS(Serial Attached SCSI),串行,SCSI,接口,SAS,是一种点对点、全双工、双端口的接口,SAS,专为满足高性能企业需求而设计，并且兼容,SATA,硬盘，为企业用户带来前所未有的灵活性,接口速率为,300MB/S,，,600MB/S,（,SAS,）已经商用,FC,接口硬盘介绍,FC-AL(fibre channel arbitrated loop),是一种双端口的串行存储接口,FC-AL,利用类似,SATA/SAS,所用的,4,芯连接，提供一种单环拓扑结构，一个控制器能访问,126,个硬盘,4Gb/S,的硬盘接口速率，,8Gb/S,光纤主机接口速率接口已经商用,Services,固态硬盘,Solid State Disk,固态硬盘的定义,固态硬盘，是由,控制单元,和,固态存储单元,（,DRAM,或,FLASH,芯片）组成的硬盘,简单的说就是用固态电子存储芯片通过阵列的形式而够成的硬盘。其,内部存储单元利用固态电子存储芯片阵列取代了传统,HDD,硬盘的磁碟组,。固态硬盘的接口规范定义、功能及使用方法均与普通硬盘完全相同,在产品外形和尺寸上也完全与普通硬盘一致,包括,3 . 5,英寸、,2 . 5,英寸、,1 . 8,英寸多种类型。,SSD,基于,DRAM,基于,FLASH,MLC,Multi-Level Cell,多层单,元,NAND,NOR,SLC,Single Layer Cell,单层单,元,固态硬盘的存储介质分为两种：,采用,闪存,（,FLASH,芯片）作为存储介质,采用,DRAM,作为存储介质,固态硬盘的类型,LC,容量更高，而且更容易出错，速度慢，,SLC,更昂贵，但也更可靠，速度快，且写次数更高（只是容量小）。,SLC,和,MLC,SLC,和,MLC,两者的差异在于每单元存储的数据量（密度），,MLC,的存储容量比,SLC,大，但是,SLC,更简单可靠，,SLC,读取和写入的速度都比,MLC,更快，而且,SLC,比,MLC,更耐用，,MLC,每单元可擦除,1,万次至,5,万次，而,SLC,可擦除,10w,次以上，所以，企业级的闪存产品一般都选用,SLC,，这也是为什么企业级产品比家用产品贵很多的原因。,SSD,单层单元与多层单元,数据存取速度快,。固态硬盘没有传统硬盘复杂的机械结构，既没有磁碟，也不存在磁头，它无需花费较长的时间寻道，读取速度更不会受到转速的限制。,防震抗摔,。,SSD,固态硬盘内部不存在任何机械部件，这样即使在高速移动甚至伴随翻转倾斜的情况下也不会影响到正常使用。,没有噪音，发热低,。由于与传统硬盘物理结构不同，,SSD,固态硬盘不存在磁头臂寻道的声音和盘片高速旋转的噪音，也没有机械马达和风扇，工作噪音值为,0,分贝。,固态硬盘优点,四工作温度范围大,。机械硬盘只能在,555,摄氏度范围内工作，固态硬盘的温度范围可达,-1070,摄氏度，一些工业级固态硬盘的工作温度范围设置达到了,-4-85,摄氏度,(,军用）。,五，,SSD,固态硬盘比常规,1.8,英寸硬盘,重量轻,20,到,30,克。可千万别小看这些重量，在笔记本电脑、卫星定位仪等随身移动产品上，更小的重最有利于便携。此外，重量的减轻也使得笔记本搭载多块,SSD,固态硬盘成为可能。,成本高,。,每单位容量价格是传统硬盘的,510,倍（基于闪存），甚至,200300,倍（基于,DRAM,）。,容量低,。,目前固态硬盘最大容量远低于传统硬盘。一般固态硬盘的容量是,32,、,64,、,128G,，,256GB,在目前的主流固态硬盘中处于高端。,写入寿命有限（基于闪存）,。,SSD,的寿命主要是闪存写入次数的限制。一般闪存写入寿命为,1,万到,10,万次，特制的可达,100,万到,500,万次，,固态硬盘缺点,Wear Leveling,因为,SSD,存在“写磨损”的问题，当某个单元长时间被反复擦写时，不仅会造成写入的性能问题，而且会大大缩短,SSD,的使用寿命，所以必须设计一个均衡负载的算法来保证,SSD,的每个单元能够被均衡的使用，这就是,wear leveling,，称为,损耗均衡算法。,固态硬盘与传统硬盘优劣势对比,固态盘的基本构成与原理,Controller Logic,Non-Volatile,SLCNAND Flash,Firmware,Interface Protocol,Media Management,Error Detection & Correction,Dual-Ported,FC Interface,End-to-End Multi-bit Error Correction,DDR SDRAM w/SPS,MultipleParallelI/O Channels,固态盘的技术优势,-,低延时,15K rpm drives,(8 drives),Enterprise Flash Drives,(8 drives),SATA drives,(8 drives),CDP,技术,Continuous Data Protection,持续数据保护是一套方法，,CDP,可以捕获或跟踪数据的变化，并将其独立存放在生产数据之外，以确保数据可以恢复到过去的任意时间点。持续数据保护系统可以基于块、文件或应用实现，可以为恢复对象提供足够细的恢复粒度，实现几乎无限多的恢复时间点。”,从数据保护时间上分为：,CDP,技术分为真,CDP,（,True CDP,）和准,CDP,（,Near CDP,）两类,CDP,技术简述,备份、快照、复制、,CDP,源文件,归档后的文件,归档过程,移动,校验,Archive(,归档,),将相对不重要的数据转移到速度较慢并且价格便宜的存储介质上，是一种最原始却最为有效的节约成本的方式。数据归档集成了数据迁移、管理、收集、保存以及介质管理等功能 ，主要用于长久保存数据和文件以备日后查询取用。,RTO (,恢复时间目标,),在业务中断后的某一个时间点，业务的进程或应用服务必须恢复，确保业务正常进行（你能接受多长的宕机时间）,RPO (,恢复点目标,) ,在已确定的,RTO,内，应用数据或文件系统信息必须恢复到某一个时间顺序点,(,你能接受丢失多少数据）,什么是,RTO/RPO,？,数据保护时间轴,Failure,出错时刻,12 hrs,12 hrs,12 hrs,12 hrs,12 hrs,12 hrs,Recovery,Point Objective,BU,BU,Recovery,Time Objective,Recover,什么是复制？,复制,（,Replication,）,通过网络（,LAN/WAN),把数据从一个地方传输到另一个地方,复制的种类：,数据块级别复制,：,文件级别复制,：,字节级别复制,:,复制模式：,同步复制,：要求每一个写入操作在执行下一个操作处理之前，在这两个地点都能完成。处理过程明显变慢，这种复制不切实际的，会影响生产系统性能，除非第二个系统物理上离主系统比较近。,异步复制：,在处理下一个操作前，不等待数据在复制目标系统中被记录。这种复制性能更好、更快。,复制实现方法：,存储嵌入式复制,：复制软件运行在网上的存储设备中,基于主机的复制,：复制软件运行在服务器中，通常驻留在文件系统或在操作系统级别的逻辑卷中,在线、近线、离线,在线存储是指存储设备和所存储的数据时刻保持“在线”状态，可供用户随意读取，满足计算平台对数据访问的速度要求。在线存储设备一般为磁盘和磁盘阵列等存储设备，价格相对昂贵，但性能较好。离线存储是对在线存储数据的备份，以防范可能发生的数据灾难。离线存储的数据不常被调用，一般也远离系统应用，所以人们用“离线”来生动地描述这种存储方式。近线存储,(NearStore),，主要定位于客户在线存储和离线存储之间的应用。就是指将那些并不是经常用到，或者说数据的访问量并不大的数据存放在性能较低的存储设备上。但同时对这些的设备要求是寻址迅速、传输率高。,集群技术,集群基础知识,什么是集群技术？,所谓集群就是为客户机提供资源的一组计算机系统，常见集群技术一般包括三类：,高可用集群（以减少服务器中断时间为目的的集群技术）,高性能计算集群（以提高科学计算能力为目的的计算机集群技术）,高扩展集群（带负载均衡策略的服务器群集）,服务器,A,active,服务器,B,standby,心跳连接,公用网络,应用,A,磁盘阵列,客户端,PC,集群技术,：至少将两个系统连接到一起，使两个或者以上的服务器能够像一台机器那样工作或者看起来好像一台机器。例如，一个有两台服务器生成的,WEB,服务器集群系统，它对每个终端用户是透明的，而且完全就像一台服务器在工作。,集群概述,服务器,A,服务器,B,镜像盘,心跳线,客户端,PC,公用网络,1,、在服务器之间，通过网络方式镜像数据，不需要采购磁盘阵列，节约成本,2,、大数据量读写时，两台服务器会出现数据不同步,3,、镜像数据占用大量服务器资源，降低系统性能,无磁盘阵列,有磁盘阵列,1,、双机集群的主流配置方式,2,、采用了共享存储，消除数据不同步的现象，系统性能不会降低,3,、多服务器集群常采用,NAS,模式实现存储共享,服务器,A,服务器,B,磁盘阵列,心跳线,客户端,PC,公用网络,集群的存储系统,双机热备,磁盘阵列,心跳连接,公用网络,客户端,Active,Standby,服务器,A,服务器,B,应用,双机热备是指两台计算机为某一目的组合在一起的技术，两台计算机构成系统的两个节点，当其中一个节点不可用或者不能处理用户请求的时候，系统自动将该节点资源转移到另一个节点处理。,双机互备,磁盘阵列,心跳连接,公用网络,客户端,Active,Active,服务器,A,服务器,B,应用,A,应用,B,多路径基础知识,冗余路径管理软件能够解决哪些问题？,避免存储链路单点故障,保证在磁盘阵列控制器切换时数据访问的不间断,多链路负载均衡提升存储系统访问性能,交换机,磁盘阵列,控制器,1,控制器,2,HBA 01,HBA 02,主机,A,主机,B,VTL,什么是虚拟磁带库,/VTL,虚拟磁带库是,通过存储虚拟化技术将现有的磁盘存储系统虚拟成传统的磁带库系统,（包括磁带库机械臂、磁带驱动器、插槽），为数据备份系统提供高可靠、高性价比的解决方案。通过固化了专门软件的控制器，使磁盘（阵列） 对主机或应用软件体现为 常规物理磁带库，也称作虚拟磁带库 。,标准的,SCSI,、,FC,或,iSCSI,主机接口，采用易用的管理软件配置、管理虚拟磁带库设备。,备份,/,归档存储方式划分,存储方式不同,备份,周期性备份、循环使用备份介质；,归档,离线长久保存；,设备,/,介质选择不同,备份,磁带、磁盘。廉价的磁盘正在取代磁带成为主流备份介质,-,快速可靠的备份,/,恢复能力；,归档,磁带、,CAS,设备,-,大容量、廉价、易用、易保存，不易更改；,在线存储,离线备份,离线存档,磁带库应用减少,磁盘阵列增多,增加备份性能,提高设备可用性,近线备份,传统磁带：,长期保存备查,异地容灾,高性能的磁盘阵列,高性能,高可用性,VTL,应用市场,VTL,的三种类型,磁盘阵列型（,Disk Array Based,）应用服务器型（,VTL Appliance,）备份软件型（,Backup Software,）,磁盘阵列型,顾名思义，它是以磁盘阵列为基础发展的虚拟磁带柜，透过内建于磁盘阵列控制器（,RAID Controller,）内的虚拟软件，将储存空间仿真成磁带柜具备的所有特征。这类型的虚拟磁带柜用户以大型企业为主，采用光纤信道主机接口，支持,FC SAN,储域网络环境，储存容量通常在数十,TB,以上，有的甚至可达上百,TB,磁盘阵列型,应用服务器型,透过安装在,PC,服务器上的虚拟磁带软件，将服务器内的硬盘，或是可被服务器控制的外接磁盘阵列，做为存放备份数据的虚拟磁带空间。由于软件架构在标准的,x86,平台和,Linux,操作系统上，成本相对较便宜，而且储存装置的限制较低，只要服务器支持，可以采用任何,SCSI,或光纤信道接口的磁盘阵列，与备份服务器端可以藉由,SCSI,、,iSCSI,或光纤信道等传输接口相连，部署应用上较有弹性。这类型产品相当多，国外有,Maxxan SVT 100,、,Diligent VTF Open,，国内也有精业、耐特普罗等系统整合厂商推出软硬件合一的虚拟磁带柜。,应用服务器型,备份软件型,直接将虚拟磁带功能整合至备份软件内，目前仅有,Bakbone NetVault,支持这项功能。由于纯粹是依靠软件来达成仿真磁带的目的，运用上相当具有弹性，不但没有最大容量限制，可仿真的磁带柜数量、磁带数量与每卷磁带容量也都是无限的，只要储存空间足够，亦不限定需采用何种厂牌的储存系统，不过这类方案的限制是无法和其它厂牌备份软件搭配使用。,备份软件型,备份软件型,磁盘库使用方式,网络数据备份应用,应用服务器,备份服务器,磁盘库,归档设备,应用服务器,备份服务器,磁盘库,归档设备,SAN,磁盘阵列,应用服务器,备份服务器,磁盘库,磁盘库使用方式,LAN-Free,数据备份应用,容灾基础知识,什么是灾难及容灾？,灾难：是指已经发生，并导致系统中止运行、业务中断，给企业和客户造成重大影响的事件或事故。,容灾：为了,应对灾难对信息系统的破坏所采取的一系列措施,。（比如在生产系统相隔较远的异地，建立一套或多套功能相同的,IT,系统，互相之间可以进行健康状态监视和功能切换，当一处系统因意外,(,如火灾、地震等,),停止工作时，整个应用系统可以切换到另一处，使得该系统功能可以继续正常工作。,业务连续性的重要性,灾难来自何方,电源失效,酸泄漏,石棉,炸弹危险,炸弹爆炸,断电,爆裂的导管,线缆切断,化学物质溢出,CO,失效,水蒸气,建筑原因,冷却剂泄漏,冷却塔泄漏,被破坏的数据,柴油发电机,地震,短路,流行病,疏散,爆炸,火灾,洪水,诈骗,冻坏的导管,黑客,冰雹,灭火剂泄漏,人为失误,湿度,飓风,HVAC,失效,硬件故障,冰风暴,害虫,闪电,逻辑炸弹,数据丢失,低电压,信号衰减,网络失效,PCB,板污染,飞机坠毁,电力损耗,电线刺穿,电涌,程序错误,污水,重定位延迟,啮齿动物,顶板下陷,阴谋破坏,冲击波,碎片数据,故障建筑,烟雾,暴风雪,洒水器泄漏,静电,罢工,软件错误,软件敲诈,恐怖主义,偷窃,洗手间漏水,龙卷风,火车出轨,变压器着火,海啸,UPS,失效,故意破坏,车辆撞击,病毒,水,(Various),暴风,火山,计算机,病毒,场地灾害,人为错误,操作失误或恶意破坏,应用软件故障,系统软硬件故障,32%,44%,3%,7%,14%,病毒,容灾备份建设的标准,国际标准,SHARE78,M028,国家标准,信息系统灾难恢复规范,-GB/T 20988-2007,（原国信办,重要信息系统灾难恢复指南, 2005,年）,灾备系统建设的国际标准,15Min 14Hr 48Hr 812Hr 1216hr 24Hr Days Weeks,RTO,费用,Tier 7 ,接近,0,或,0,数据丢失，远程数据镜像，且业务环境可高自动化系统接管,Tier 6 ,接近,0,或,0,数据丢失，远程数据镜像保证数据的完整性和一致性,Tier 5 ,软件级，两地间两阶段提交（交易完整性）,Tier 4 ,批量,/,在线数据库镜像或日志传输,Tier 3 ,电子链接传输,Tier 2 PTAM+,热备站点,Tier 1 PTAM,时间点备份,可用的备份中心,远程灾备中心,根据,SHARE 78,国际组织提出的标准，可以将系统容灾的级别划分为如下,7,级。,灾备系统建设的国内标准,实现远程数据实时备份，实现零丢失,应用软件可以实现实时无缝切换,远程集群系统的实时监控和自动切换能力,实现远程数据复制技术,备用网络也具备自动或集中切换能力,数据零丢失和,远程集群支持,6,级,5,级,实时数据传输,及完整设备支持,电子传输及,完整设备支持,配置所需要的全部数据和通讯线路及网络设备，并处于就绪状态,7*24,运行,;,更高的技术支持和运维管理,4,级,电子传输和,部分设备支持,配置部分数据,通信线路和网络设备,每天实现多次的数据电子传输,备用场地配置专职的运行管理人员,3,级,备用场地支持,预定时间调配数据,通信线路和网络设备,备用场地管理制度,设备及网络紧急供货协议,2,级,基本支持,每周至少做一次完全数据备份,制定介质存取、验证和转储的管理制度,完整测试和演练的灾难恢复计划,1,级,容灾和备份的区别及作用,容灾指的是利用镜像或复制等技术来实现数据的同步，其同步前后数据格式一致,容灾数据可以直接不通过恢复进行使用；而备份采用的是备份软件技术来实现数据的备份，备份前后数据格式不一致，数据经过压缩和格式转换，备份数据必须恢复后才可使用。,容灾的数据与生产数据实时或相差一定时间保持一致，即基本上容灾中心的数据同生产数据基本上是一样；而备份是按照设定的策略，定时定期对数据进行备份，保存的是历史生产数据。,容灾是为防止生产数据丢失或数据中心遭受毁灭性灾难，恢复速度快，数据基本上就是发生事故那会的版本；备份一般是为了防止认为误操作或系统问题，保存的是历史数据，恢复相对长。,容灾层次,容灾存储系统一般分为哪,3,个层次,根据业务恢复时间的长短将容灾划分为三个容灾层次：数据级、应用级和业务级。,数据级容灾：是仅将生产中心的数据完整地复制到容灾中心的容灾方式（容灾中心往往只需要部署数据存储设备）,应用级容灾：是指在数据级容灾的基础上，还可以接管生产中心的应用（容灾中心往往还包括服务器、网络等设备）,业务级容灾：是指在应用级容灾的基础上，还可以接管生产中心的业务（容灾中心往往还包括办公环境、管理制度和人员等其他资源）,