资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,HUAWEI TECHNOLOGIES Co., Ltd.,Page,*,HUAWEI Confidential,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,HUAWEI TECHNOLOGIES Co., Ltd.,Page,*,HUAWEI Confidential,15.,NOVEMBE,2006,HUAWEI TECHNOLOGIES Co., Ltd.,HUAWEI Confidential,Security Level:,内部公开,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,HUAWEI TECHNOLOGIES CO., LTD.,HUAWEI Confidential,Security Level:,内部公开,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,15.,NOVEMBE,2006,HUAWEI TECHNOLOGIES Co., Ltd.,HUAWEI Confidential,Security Level:,内部公开,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,HUAWEI TECHNOLOGIES CO., LTD.,HUAWEI Confidential,Security Level:,内部公开,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,Page,1,修订记录,课程编码,适用产品,产品版本,课程版本,ISSUE,XXXXX,SingleCloud,V100R001C01,1.1,开发,/,优化者,时间,审核人,开发类型（新开发/优化）,夏志祥,2010-8-3,刘伟聪,优化,本页不打印,Page,2,评审专家,LS,刘晶磊、钟美华、楚国祥,NRO,N/A,CS,王鹏翔,NTS,N/A,MS,N/A,NI,艾源,TSD,夏志祥、员工培训 邓星、中国区 周义林 张磊,研发,测试 赵学武、资料 沙鸥、,SE,胡利明、罗正萍,本页不打印,存储基础知识,V1.1,Page,4,参考资料,存储基础知识白皮书,Page,5,培训目标,学完本课程后，您应该能：,掌握存储的基础知识和技能,熟悉存储的各种特性和功能,Page,6,目 录,存储组网形态,主要协议,RAID,磁盘热备与重构,快照与复制,数据分级存储概念,Page,7,存储分类,封闭系统的存储,开放系统的存储,内置存储,外挂存储,Direct-Attached Storage,直接式存储（,DAS,）,Fabric-Attached Storage,网络存储（,FAS,）,Network-Attached Storage,网络接入存储（,NAS,）,Storage Area Network,存储区域网络（,SAN,）,DAS/SAN/NAS,组网示意图,Page,8,DAS,（,D,irect,A,ttachment,S,torage,）,直接连接存储,：,存储设备是通过电缆（通常是,SCSI,接口电缆）直接连到服务器的。,I/O,请求直接发送到存储设备,应用,服务器,Block I/O,SCSI,协议,Storage,DAS,Page,10,典型,DAS,结构,DAS,分析,连接简单,集成在服务器内部；点到点的连接；距离短；,安装技术要求不高,低成本需求,SCSI,总线成本低,较好的性能,通用的解决方案,DAS,的投资低，绝大多数应用可以接受,DAS,优势,有限的扩展性,SCSI,总线的距离最大,25,米；最多,15,个设备,专属的连接,空间资源无法与其他服务器共享,备份和数据保护,备份到与服务器直连的磁带设备上,硬件失败将导致更高的恢复成本,TCO,（总拥有成本高）,存储容量的加大导致管理成本上升,存储使用效率低,DAS,劣势,NAS,（,N,etwork,A,ttachment,S,torage,）,应用,服务器,File I/O,IP,协议,NAS,网络连接存储,：,存储设备连接到现有的网络上，提供数据和文件服务,Page,13,典型,NAS,结构,NAS,的优势,资源共享,构架于,IP,网络之上,部署简单,较好的扩展性,异构环境下的文件共享,易于管理,备份方案简单,低的,TCO,NAS,优势,扩展性有限,一些应用会占用带宽资源,不适应某些数据库的应用,NAS,劣势,SAN,（,S,torage,A,rea,N,etwork,）,应用,服务器,Block I/O,FCP,协议,SAN,存储区域网络：,它是一个用在服务器和存储资源之间的、专用的、高性能的网络体系。它为实现大量原始数据的传输而进行了专门的优化。,Page,16,典型,SAN,结构,SAN,的优势,实现存储介质的共享,非常好的扩展性,易于数据备份和恢复,实现备份磁带共享,LAN Free,和,Server Free,高性能,支持服务器群集技术,容灾手段,低的,TCO,SAN,优势,成本较高,需要专用的连接设备如,FC,交换机以及,HBA,SAN,孤岛,技术较为复杂,需要专业的技术人员维护,SAN,劣势,Page,18,DAS/NAS/SAN,三种形态比较,DAS,NAS,FC-SAN,IP-SAN,传输类型,SCSI,、,FC,IP,FC,IP,数据类型,块级,文件级,块级,块级,典型应用,任何,文件服务器,数据库应用,视频监控,优点,易于理解,兼容性好,易于安装,成本低,高扩展性,高性能,高可用性,高扩展性,成本低,缺点,难以管理，扩展性有限,存储空间利用率不高,性能较低,对某些应用不适合,比较昂贵，配置复杂,互操作性问题,性能较低,Page,19,目 录,存储组网形态,主要协议,RAID,磁盘热备与重构,快照与复制,数据分级存储概念,存储传输的硬件通道有三种：,传输通道,通过以太网线连接,通过,SCSI,线缆连接,通过光纤线缆连接,iSCSI HBA Card,iSCSI,磁盘阵列,SCSI HBA Card,SCSI,磁盘阵列,FC HBA Card,FC,磁盘阵列,以太网线,SCSI,线缆,光纤线缆,主机,GE Card,Page,21,SCSI,协议,SCSI,是小型计算机系统接口（,Small Computer System Interface,）的简称,，主要用于高端系统的连接，,现在已完全普及到了小型机,及,高端服务器,。,SCSI,存储是以主机为中心的；一条,SCSI,总线上可以串接多台不同类型的设备。,SCSI,协议,可以划分为,SCSI-1,、,SCSI-2,、,SCSI-3,，最新的为,SCSI-3,，也是目前应用最广泛的,SCSI,版本。,属于,SCSI-3,的,Ultra 320 SCSI,的最高数据传输率已经达到了,320MB/s,。,Page,22,iSCSI,协议,iSCSI,是,互联网小型计算机系统接口,（,Internet Small Computer System Interface,）的,简称,，,是一种在,TCP/IP,上进行数据块传输的标准,，可以理解为,SCSI over IP,。,iSCSI,实现在,IP,网络上运行,SCSI,协议，使其能够在诸如高速千兆以太网上进行快速的数据存取备份,操作。,可用于构成基于,IP,的,SAN,，为用户提供高速、低价、长距离的存储解决方案。,iSCSI,是将,SCSI,命令封装到,TCP/IP,数据包中，使,I/O,数据块可通过,IP,网络传输。,iSCSI,的数据包结构：,Page,23,FC,协议及组件,FC,是,光纤通道,（,Fiber Channel,）的简称,，,用于服务器共享存储设备的连接，存储控制器和驱动器之间的内部连接。,FC,是一种高性能的串行连接标准。其接口传输速率目前有,1G,、,2G,、,4Gbit/s,几种标准。传输介质可以选择铜缆或光纤，支持多种互联拓扑结构。,Fiber Channel,组件：,HBA,卡：,Host Bus Adapter(,主机通道适配器,),，,FC HBA,卡在应用中，相当于,SCSI,卡。我们后面讲到的,node,和,port,就在,HBA,卡上，,FC switch,：光纤交换机，,SAN,架构中核心设备，连接服务器和存储设备。,iSCSI,协议的分层结构,FC,协议的分层结构,iSCSI和FC协议层次比较,Page,25,目 录,存储组网形态,主要协议,RAID,磁盘热备与重构,快照与复制,数据分级存储概念,RAID,简介,RAID,是廉价冗余磁盘阵列,(Redundant Array of Inexpensive Disks),的简称,名词,说明,分区,又称为Extent；是一个磁盘上的地址连续的存储块。一个磁盘可以划分为多个分区，每个分区可以大小不等，有时也称为逻辑磁盘。,分块,又称为Strip；将一个分区分成多个大小相等的、地址相邻的块，这些块称为分块。分块通常被认为是条带的元素。虚拟磁盘以它为单位将虚拟磁盘的地址映射到成员磁盘的地址。,条带,又称为Stripe；是阵列的不同分区上的位置相关的strip的集合，是组织不同分区上条块的单位。,软,RAID,RAID,的所有功能都依赖于操作系统（,OS,）与服务器,CPU,来完成，没有第三方的控制,/,处理（业界称其为,RAID,协处理器,RAID Co-Processor,）与,I/O,芯片,硬,RAID,有专门的,RAID,控制,/,处理与,I/O,处理芯片，用来处理,RAID,任务，不需耗用主机,CPU,资源，效率高，性能好。,RAID0,：,Striped Disk Array without Fault Tolerance(,没有容错设计的条带磁盘阵列，以条带形式将,RAID,阵列的数据均匀分布在各个阵列中,。,总容量,=(,磁盘数量,)*(,磁盘容量,),RAID0,（一）,优点,缺点,可多,I/O,操作并行处理，极高的读写效率,速度快，由于不存在校验，所以不占用,cpu,资源,设计，使用与配置简单,无冗余，一个,RAID 0,的磁盘失败，那么数据将彻底丢失,不能用于关键数据环境,适用领域：,视频生成和编辑,图像编辑,较为“拥挤”的操作,其他需要大的传输带宽的操作,至少需要磁盘数 ：,2,个,RAID0,（二）,RAID 1,：,以镜像作为冗余手段，虚拟磁盘中的数据有多个拷贝，放在成员磁盘上。,总容量,=(,磁盘数量,/ 2)*(,磁盘容量,),RAID1,（一）,RAID1,（二）,优点,缺点,理论上读效率是单个磁盘的两倍；,100,的数据冗余；,设计、使用简单,ECC,效率低下，磁盘,ECC,的,CPU,占用率是所有,RAID,等级中最高的，在所有成本高；,软,RAID,方式下，很少能支持硬盘的热插拔；,空间利用率只有,1/2,适用领域：,财务统计与数据库,金融系统,其他需要高可用的数据存储环境,至少需要磁盘数,2,个,RAID3,(,条带分布,+,专用盘校验,),：,以,xor,校验为冗余方式，使用专门的磁盘存放校验数据， 虚拟磁盘上的数据块被分为更小的数据块并行传输到各个成员物理磁盘上 ，同时计算出,xor,校验数据存放到校验磁盘上。,总容量,=(,磁盘数量,-1)*(,磁盘容量,),RAID3,（一）,RAID3,（二）,优点,缺点,相对较高的读取传输率,高可用性，如果有一个磁盘损坏，对吞吐量影响较小,高效率的,ECC,操作,校验盘成为性能瓶颈,每次读写牵动整个组，每次只能完成一次,I/O,适用领域：,视频生成和在线编辑,图像和视频编辑,其他需要高吞吐量的的场合,至少需要磁盘数,3,个,RAID5 (,条带技术,+,分布式校验,),：以,XOR,检验为冗余方式，校验数据均匀分布在各个数据磁盘上，对各个数据磁盘的访问为异步操作。,总容量,=(,磁盘数,-1)*(,磁盘容量,),RAID5,（一）,A0,A1,A2,A3,4PRITY,C0,C1,2PRITY,C2,C3,B0,B1,B2,3PRITY,B3,D0,1PRITY,D1,D2,D3,0PRITY,E1,E2,E3,E4,A,B,C,D,E,RAID5,（二）,优点,缺点,高读取速率,中等写速率,异或校验影响存储性能,磁盘损坏后，重建很复杂,适用领域：,文件服务器和应用服务器,OLTP,环境的数据库,WEB,，,E,MAIL,服务器,至少需要磁盘数,3,个,RAID6,：能够允许两颗磁盘同时失效的,RAID,级别系统。总容量,=(,磁盘数,-,2,)*(,磁盘容量,),A0,A1,A2,3PRITY,C0,1PRITY,2PRITY,A3,B0,B1,2PRITY,3PRITY,0PRITY,1PRITY,B2,B3,0PRITY,C1,C2,C3,A,B,C,D,E,RAID6,（一）,1,2,3,4,双重校验码的硬盘存储结构,在,raid5,的基础上发展而成,具有更高的可靠性,允许出现故障的磁盘达到两个,最少需要四个磁盘,raid6,RAID6,（二）,优点,缺点,快速的读取性能,更高的容错能力,很慢的写入速度,成本更高,适用领域：,高可靠性环境,至少需要磁盘数：,4,个,RAID10 (,镜像阵列条带化,),：,将镜像和条带组合起来的组合,RAID,级别，最,低一级是,RAID1,镜像对，第二级为,RAID0,。,总容量,=(,磁盘数,/,2,)*(,磁盘容量,),D1,D2,D4,D4,D2,D7,D8,D8,D10,D11,D11,D1,D1,D2,D3,D4,D5,D6,D7,D8,D9,D10,D11,D12,D13,D14,D15,逻辑磁盘,物理磁盘,0,物理磁盘,1,物理磁盘,2,物理磁盘,3,stripe0,stripe1,stripe2,stripe3,D13,D14,D13,stripe4,D5,D7,D10,D5,D14,D3,D3,D9,D9,D12,D12,D15,D6,D6,D15,物理磁盘,4,物理磁盘,5,RAID10,（一）,RAID10,（二）,优点,缺点,高读取速率,高写速率，较校验,RAID,而言，写开销最小,至多可以容许,N,个磁盘同时损坏（,2N,个磁盘组成的,RAID10,阵列）,贵,只有,1/2,的磁盘利用率,适用领域：,要求高可靠性和高性能的数据库服务器,至少需要磁盘数：,4,个,RAID50,定义：,将镜像和条带组合起来的组合,RAID,级别，最低一级是,RAID5,镜像对，,第二级为,RAID0,。,总容量,=(,磁盘数,-1,)*(,磁盘容量,),D1,P11,D4,P12,D2,P13,D11,P23,D15,P14,D16,D0,D1,D2,D3,D4,D5,D6,D7,D8,D9,D10,D11,D12,D13,D14,D15,逻辑磁盘,物理磁盘,0,物理磁盘,1,物理磁盘,2,物理磁盘,3,stripe0,stripe1,stripe2,stripe3,D5,D10,D14,D6,D3,P21,D12,D13,D17,P24,P22,D7,物理磁盘,4,物理磁盘,5,D16,D17,D0,RAID50,（一）,RAID50,（二）,优点,缺点,比单个,RAI5,容纳更多的磁盘,比单个,RAID5,有更好的读性能,至多可以容许,n,个磁盘同时损坏（,N,个,RAID5,组成的,RAID50,阵列）,比相同容量的单个,RAID5,重建时间更短,比较难实现,同一个,RAID5,组内的两个磁盘损坏会导致整个,RAID50,阵列的失效,适用领域：,大型数据库服务器,应用服务器,文件服务器,至少需要磁盘数：,6,个,Page,41,RAID,级别比较,项目,RAID0,RAID1,RAID10,RAID5,、,RAID3,RAID6,最小配置,1,2,4,3,4,性能,Highest,Lowest,RAID5RAID10RAID0,RAID1RAID5 RAID10,RAID6RAID5 RAID10,特点,无容错,最佳的容错,最佳的容错,提供容错,提供容错,磁盘利用率,100%,50%,50%,(N-1)/N,(N-2)/N,描述,不带奇偶效验的条带集,磁盘镜像,RAID0,与,RAID1,的结合,带奇偶效验的条带集,双校验位,其中,RAID3,与,RAID5,的区别为：,RAID3,更适合于顺序存取，,RAID5,更适合于随机存取。需要根据具体的应用情况决定使用那种,RAID,级别。,Page,42,目 录,存储组网形态,主要协议,RAID,磁盘热备与重构,快照与复制,数据分级存储概念,Page,43,所谓热备份是在建立,RAID,磁盘阵列系统的时候，将其中一磁盘指定为热备磁盘，此热备磁盘在平常并不操作，当阵列中某一磁盘发生故障时，热备磁盘便取代故障磁盘，并自动将故障磁盘的数据重构在热备磁盘上。,热备盘分为：全局热备盘和局部热备盘,全局热备盘：针对整个磁盘阵列，对阵列中所有,RAID,组起作用。,局部热备盘：只针对某一,RAID,组起作用。,因为反应快速，加上快取内存减少了磁盘的存取，所以数据重构很快即可完成，对系统的性能影响不大。对于要求不停机的大型数据处理中心或控制中心而言，热备份更是一项重要的功能，因为可避免晚间或无人守护时发生磁盘故障所引起的种种不便。,热备（,HotSpare,）,Page,44,热备与重构,在线操作特性,系统中需设置一个热添加的备份盘或用一个新的替代磁盘替代故障磁盘,当满足以下条件时开始数据自动重构,1,、有一个热备份盘存在独立于故障磁盘的,2,、,所有磁盘都配置为冗余阵列,(RAID1,3,5,10),所有的操作都是在不中断系统操作的情况下进行的,RAID5 set of drives:4 active,1 hot-spare,COPY BACK,完成,某个磁盘损坏，重构过程开始,重构过程结束，,RAID5,可靠性恢复冗余,插入新磁盘，,COPYBACK,开始,Page,45,目 录,存储组网形态,主要协议,RAID,磁盘热备与重构,快照与复制,数据分级存储概念,Page,46,逻辑卷快照,(snapshot),D,E,A C,基本概念：,Base Volume,：快照源卷,Repository Volume,：快照仓储卷，保存快照源卷在快照过程中被修改以前的数据,Snapshot Volume,：快照卷,某一个时间点的逻辑卷映像：,逻辑上相当于整个,Base Volume,的拷贝,可将,Sanpshot Volume,分配给任何一台主机,Snapshot Volume,可读取、写入或拷贝,存储空间需求,需要相当于,Base Volume 20%,的额外空间,用途,文件、逻辑卷恢复,备份、测试、数据分析等,Page,47,快照,(snapshot),过程演示,B,A,S,E,V,O,L,U,M,E,X,Y,Z,并且我们的卷有足够的空间来创建快照,首先保证我们的源卷和阵列的运行是正常的,Page,48,W,R,E,P,O,S,I,T,S,N,A,P,S,H,O,T,V,O,L,U,M,B,A,S,E,V,O,L,U,M,E,X,Y,Z,R,I,T,E,S,首先，在快照完成之前控制器是禁止对源卷进行写操作的。,仓储卷默认是源卷大小的,20%,满足上面条件后，快照过程开始进行,快照,(snapshot),开始,Page,49,仓储卷（,20%,源卷大小）现在可用,快照,(snapshot),完成,R,E,P,O,S,I,T,S,N,A,P,S,H,O,T,V,O,L,U,M,B,A,S,E,V,O,L,U,M,E,X,Y,Z,W,R,I,T,E,S,快照完成状态，实际上是一些指针,当快照完成之后，控制器释放对源卷的写权限，我们可以对源卷进行写操作,Page,50,当源卷数据改变时,我们的源卷数据在改变之前会顺序的写到仓储卷上，然后再把快照指针指导这边来。,B,A,S,V,O,E,T,S,N,A,P,S,H,O,T,V,O,L,U,M,B,A,S,E,V,O,L,U,M,E,X,Y,Z,W,R,I,T,E,S,然后源卷的数据才会开始更新,Page,51,最后一步,我们源卷的原数据已经写到了仓储卷上,B,A,S,V,O,E,T,S,N,A,P,S,H,O,T,V,O,L,U,M,W,R,I,E,T,E,L,U,M,S,X,Y,Z,快照卷的指针指到了新的数据位置,源卷数据更新完毕,Page,52,逻辑卷拷贝,(Volume Copy),生产主机,测试主机,基本概念,将一个逻辑卷（,Source,）上的内容完全物理上 拷贝到另一个逻辑卷（,Target,）,拷贝过程中源卷只读,在同一个存储系统内目标逻辑卷可以做另一个,Volume Copy,的源卷,用途,目标逻辑卷可用来做经营分析、数据挖掘、测 试、备份等,对目标卷的操作不影响源卷的性能,重新分配数据，使性能和容量分配达到最优化,将数据迁移到新的、更大的、更快的磁盘上,将逻辑卷迁移到更合适的逻辑卷组上,Page,53,逻辑卷快照,+,逻辑卷拷贝,通过快照获得,Base,Volume,的,Snapshot,Volume,在,Snapshot Volume,被拷,贝的过程中,Base Volume,可被正常访问,当拷贝结束时，可将,Snapshot,删除，留下,一个完整的时点拷贝,逻辑卷拷贝与逻辑卷快照相结合，实现此功能！,如何在,Volume Copy,过程中对源卷进行正常访问？,Page,54,目 录,存储组网形态,主要协议,RAID,磁盘热备与重构,快照与复制,数据分级存储概念,数据分级存储概念,数据分级存储：,把数据存放在不同类别的存储设备（磁盘、磁盘阵列、光盘库、磁带）,中，通过分级存储管理软件实现数据实体在存储设备之间的自动迁移。根据,数据的访问频率、保留时间、容量、性能要求等因素确定最佳存储策略，从,而控制数据迁移的规则。,分级存储的优点：,最大限度地满足用户需求；,减少总体存储成本；,性能优化；,改善数据可用性；,数据迁移对应用透明。,分级存储的存储方式,存储方式,描述,举例,线存储（,On-line storage),数据存放在磁盘系统上。在线存储一般采用高端存储系统和技术如：,SAN,、点对点直连技术、,S2A,。存取速度快，价格昂贵,电视台的在线存储：用于存储即将用于制作、编辑、播出的视音频素材。并随时保持可实时快速访问的状态。在这类应用中，在线存储设备一般采用,SCSI,磁盘阵列、光纤磁盘阵列等，,离线存储（,Off-line Storage),数据备份到磁带、磁带库或光盘库上 。访问速度低，但能实现海量存储，同时价格低廉。,电视台的离线存储：平时没有连接在编辑,/,播出系统，在需要时临时性地装载或连接到编辑,/,播出系统。可以将总的存储做得很大。括制作年代较远的新闻片、专题片等。,近线存储,不经常用到，数据的访问量不大的数据存放在性能较低的存储设备上，同时对这些设备的要求是寻址迅速、传输率高。,近线存储介于在线存储和离线存储之间，既可以做到较大的存储容量，又可以获得较快的存取速度。近线存储设备一般采用自动化的数据流磁带或者光盘塔。近线存储设备用于存储和在线设备发生频繁读写交换的数据，包括近段时间采集的视音频素材或近段时间制作的新闻片、专题片等。,Thank You,
展开阅读全文