存储培训-精简版

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2015/7/15,#,存储,项目部,-,车路平,威海北洋电气集团股份有限公司云计算分公司,磁盘阵列,磁盘阵列,RAID,磁盘阵列（,Redundant Arrays of Independent Disks,，,RAID,），有“独立磁盘构成的具有冗余能力的阵列”之意。,磁盘,阵列是由很多价格较便宜的磁盘，组合成一个容量巨大的磁盘组，利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。利用这项技术，将数据切割成许多区段，分别存放在各个硬盘上,。,磁盘阵列还能利用同位检查（,Parity Check,）的观念，在数组中任意一个硬盘故障时，仍可读出数据，在数据重构时，将数据经计算后重新置入新硬盘中,。,由加利福尼亚大学伯克利分校（,University of California-Berkeley,）在,1988,年，发表的文章：“,A Case for Redundant Arrays of Inexpensive Disks”,。文章中，谈到了,RAID,这个词汇，而且定义了,RAID,的,5,层级。伯克利大学研究目的是反应当时,CPU,快速的性能。,CPU,效能每年大约成长,30,50%,，而硬磁机只能成长约,7%,。研究小组希望能找出一种新的技术，在短期内，立即提升效能来平衡计算机的运算能力。在当时，柏克莱研究小组的主要研究目的是效能与成本。,威海北洋电气集团股份有限公司云计算分公司,磁盘阵列,RAID 0,RAID 0,是最早出现的,RAID,模式，即,Data Stripping,数据分条技术。,RAID 0,是组建磁盘阵列中最简单的一种形式，只需要,2,块以上的硬盘即可，成本低，可以提高整个磁盘的性能和吞吐量。,RAID 0,没有提供冗余或错误修复能力，但实现成本是最低的,。,RAID 0,最简单的实现方式就是把,N,块同样的硬盘用硬件的形式通过智能磁盘控制器或用操作系统中的磁盘驱动程序以软件的方式串联在一起创建一个大的卷集。在使用中电脑数据依次写入到各块硬盘中，它的最大优点就是可以整倍的提高硬盘的容量。如使用了三块,80GB,的硬盘组建成,RAID 0,模式，那么磁盘容量就会是,240GB,。其速度方面，各单独一块硬盘的速度完全相同。最大的缺点在于任何一块硬盘出现故障，整个系统将会受到破坏，可靠性仅为单独一块硬盘的,1/N,。,威海北洋电气集团股份有限公司云计算分公司,磁盘阵列,RAID 1,RAID,1,称为磁盘镜像，原理是把一个磁盘的数据镜像到另一个磁盘上，也就是说数据在写入一块磁盘的同时，会在另一块闲置的磁盘上生成镜像文件，在不影响性能情况下最大限度的保证系统的可靠性和可修复性上，只要系统中任何一对镜像盘中至少有一块磁盘可以使用，甚至可以在一半数量的硬盘出现问题时系统都可以正常运行,当一块硬盘失效时，系统会忽略该硬盘，转而使用剩余的镜像盘读写数据，具备很好的磁盘冗余能力。虽然这样对数据来讲绝对安全，但是成本也会明显增加，磁盘利用率为,50%,，以四块,80GB,容量的硬盘来讲，可利用的磁盘空间仅为,160GB,。另外，出现硬盘故障的,RAID,系统不再可靠，应当及时的更换损坏的硬盘，否则剩余的镜像盘也出现问题，那么整个系统就会崩溃。更换新盘后原有数据会需要很长时间同步镜像，外界对数据的访问不会受到影响，只是这时整个系统的性能有所下降。因此，,RAID 1,多用在保存关键性的重要数据的场合。,威海北洋电气集团股份有限公司云计算分公司,磁盘阵列,RAID 01,raid 01,是,2,块盘组成,raid 0,，然后把,2,组,raid 0,组成,1,个,raid 1,。不建议采用。,RAID,10,raid 10,是,2,块盘组成,raid 1,，然后把,2,组,raid 1,组成,1,个,raid 0,。,威海北洋电气集团股份有限公司云计算分公司,磁盘阵列,RAID5,：,分布式奇偶校验的独立磁盘结构,从它的示意图上可以看到，它的奇偶校验码存在于所有磁盘上，其中的,p0,代表第,0,带区的奇偶校验值，其它的意思也相同。,RAID5,的读出效率很高，写入效率一般，块式的集体访问效率不错。因为奇偶校验码在不同的磁盘上，所以提高了可靠性。但是它对数据传输的并行性解决不好，而且控制器的设计也相当困难。,RAID 3,与,RAID 5,相比，重要的区别在于,RAID 3,每进行一次数据传输，需涉及到所有的阵列盘。而对于,RAID 5,来说，大部分数据传输只对一块磁盘操作，可进行并行操作。在,RAID 5,中有“写损失”，即每一次写操作，将产生四个实际的读,/,写操作，其中两次读旧的数据及奇偶信息，两次写新的数据及奇偶信息,。,威海北洋电气集团股份有限公司云计算分公司,磁盘阵列,RAID6,：,带有两种分布存储的奇偶校验码的独立磁盘结构,名字很长，但是如果看到图，大家立刻会明白是为什么，请注意,p0,代表第,0,带区的奇偶校验值，而,pA,代表数据块,A,的奇偶校验值。它是对,RAID5,的扩展，主要是用于要求数据绝对不能出错的场合。当然了，由于引入了第二种奇偶校验值，所以需要,N+2,个磁盘，同时对控制器的设计变得十分复杂，写入速度也不好，用于计算奇偶校验值和验证数据正确性所花费的时间比较多，造成了不必须的负载。我想除了军队没有人用得起这种东西。,威海北洋电气集团股份有限公司云计算分公司,磁盘阵列,RAID50,越到后面的结构就是对前面结构的一种重复和再利用，这种结构就是,RAID5,和,RAID0,的,统一，因此它速度比较快，也有容错功能。但价格十分高，不易于实现。这是因为所有的数据必须经过带区和按位存储两种方法，在考虑到效率的情况下，要求这些磁盘同步真是不容易。,威海北洋电气集团股份有限公司云计算分公司,LSI SAS RAID,卡,进入,raid,卡配置界面,进入开机自检界面，自检到,RAID,卡界面，按,Ctrl+H,进入,raid,卡配置界面。,威海北洋电气集团股份有限公司云计算分公司,LSI SAS RAID,卡,威海北洋电气集团股份有限公司云计算分公司,LSI SAS RAID,卡,Controller Selection,：适配器选择，当机器配了多块,LSI SAS RAID,卡时，可以选择其他的,RAID,卡进行配置；,Controller Properties,：,RAID,卡属性以及相关参数修改；,Scan Devices,：扫描驱动器的状态以及物理配置的改变；,Virtual Drives,：查看虚拟磁盘并对其进行系列操作,，,如,查看、初始化、删除等；,Drives,：显示该,RAID,卡连接的物理磁盘幵进行,系列,操作,，如建立热备盘等；,Configuration Wizard,：,RAID,卡的配置向导；,Physical View,：进行物理、逻辑磁盘的查看切换；,Events,：查看系统事件；,Exit,：退出。,威海北洋电气集团股份有限公司云计算分公司,LSI SAS RAID,卡,Controller Properties,威海北洋电气集团股份有限公司云计算分公司,LSI SAS RAID,卡,Virtual Drives,威海北洋电气集团股份有限公司云计算分公司,LSI SAS RAID,卡,创建,raid,1,、,选择,“,Configuration Wizard,”,（配置向导）对,LSI SAS Raid,卡进行,Raid,配置,。,Clear Configuration,，是指清除以前的,Raid,配置；,New configuration,，是指进行新的,Raid,配置,，,即,清除以前的,Raid,配置信息，进行新的,Raid,配置,，,以前,的磁盘数据会丢失；,Add configuration,，是指增加新的配置,，,即,保留以前的,Raid,配置信息，添加新的,Raid,配置,，,以前,的磁盘数据不会丢失，这是一个最安全的,操,作,选择。,威海北洋电气集团股份有限公司云计算分公司,LSI SAS RAID,卡,创建,raid,2,、,默认为,Manual Configuration,（手动配置）,威海北洋电气集团股份有限公司云计算分公司,LSI SAS RAID,卡,创建,raid,3,、,按住,CTRL,选择左侧,Drives,中的硬盘,（,RAID1,最少,2,块硬盘,，,RAID,5,最少,3,块,硬盘,）,，,点击,Add To Array,，选中的硬盘会添加到,右侧,Driver,Group,下的,Drive Group 0,下面,，,点击,Accept DG,，其他保持默认，之后点击,Next,。,威海北洋电气集团股份有限公司云计算分公司,LSI SAS RAID,卡,创建,raid,4,、点击,Add to SPAN,将,Array With Free Space,下面的,Drive Group,添加到右侧,Span,下，之后点击,Next,。,威海北洋电气集团股份有限公司云计算分公司,LSI SAS RAID,卡,创建,raid,5,、在,RAID Level,后选择,RAID,级别（本次选择,RAID 5,）。在,Write Policy,后选择写策略，如果,RAID,卡未加装,cache,电池保护则选择,Write Through,，如果加装了,cache,电池，则选择,Write Back,。在,Select Size,后填写容量，按,右侧,R0:xxxGB,R5:xxxGB R6:xxxGB,中的,R5,容量,填写,（,注意：如果该空格内无法填写数字，请重启,后,重新,操作，并且不可使用鼠标操作，只能实用,键,盘,的,Tab,和回车键操作；注意容量后的,GB TB,容量,的,选择），其他保持默认，之后点击,Accept,，,建,立,的,raid,组会出现在右侧,Virtual Drives,下，之后,点,击,Next,。,威海北洋电气集团股份有限公司云计算分公司,LSI SAS RAID,卡,创建,raid,6,、点击,Accept,接受配置，之后选择,YES,进行快速初始化。初始化完成之后，重启即可。,威海北洋电气集团股份有限公司云计算分公司,LSI SAS RAID,卡,导,入外部配置,威海北洋电气集团股份有限公司云计算分公司,LSI SAS RAID,卡,加载,raid,卡驱动（部分主板自带的,SAS,控制器驱动与,raid,卡驱动有冲突，会导致蓝屏）,威海北洋电气集团股份有限公司云计算分公司,存储,存储类型,DAS,：开放系统的直连式,存储,Direct-Attached Storage,，,直连式存储与服务器主机之间的连接通道通常采用,SCSI,连接，随着服务器,CPU,的处理能力越来越强，存储硬盘空间越来越大，阵列的硬盘数量越来越多，,SCSI,通道将会成为,IO,瓶颈,；,SAN,：,存储区域网络,(Storage Area Network and SAN Protocols,，简写,SAN,，即存储区域网络及其协议,),是一种高速网络或子网络，提供在计算机与存储系统之间的数据传输。存储设备是指一台或多台用以存储计算机数据的磁盘设备，通常指磁盘阵列。,NAS,：网络,附属,存储,Network Attached,Storage,按字面简单说就是连接在网络上，具备资料存储功能的装置，因此也称为“网络存储器”。它是一种专用数据存储服务器,。,支持协议,NFS,、,CIFS,、,FTP,、,HTTP,等。,SAN,与,NAS,区别：,SAN,存储映射完成后，服务器识别到的为裸设备（不包含文件系统），,NAS,共享完成后，服务器可直接挂载使用，无需再格式化设备。,威海北洋电气集团股份有限公司云计算分公司,存储,NAS,共享方式,1,、创建硬盘组,2,、硬盘组创建,raid,3,、,raid,组创建热备盘,4,、,raid,上划分分区,5,、分区上,创建文件系统,6,、,文件系统,进行共享,威海北洋电气集团股份有限公司云计算分公司,存储,NAS,共享方式,Windows,挂载,方式：,Linux,挂载,nfs,：,1,、启动,nfs,：,service nfs start,2,、,mount,-t nfs -o rw 192.168.109.130:/,nfs/ /nfs,或编辑,/etc/fstab,挂载,FTP,：,1,、安装,sshfs,软件包,2,、,sshfs root:/ /mnt/remoteftp1 -o sshfs_sync,-o,port=10022,威海北洋电气集团股份有限公司云计算分公司,存储,裸,设备与文件系统,裸,设备,(raw device),，也叫裸分区（原始分区），是一种没有经过格式化，不,被,操作系统,通过,文件系统来读取的特殊块设备文件。由应用程序负责对它进行读写操作。不经过文件系统的缓冲。它是不被操作系统直接管理的设备。这种设备少了操作系统这一层，,I/O,效率更高。不少数据库都能通过使用裸设备作为存储介质来提高,I/O,效率,。,文件系统,是,操作系统用于明确存储设备（常见的是磁盘，也有基于,NAND Flash,的固态硬盘）或分区上的文件的方法和数据结构；即在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件机构称为文件管理系统，简称文件系统。,威海北洋电气集团股份有限公司云计算分公司,存储,常用,文件系统,Windows,常用,文件系统：,FAT,NTFS,exFAT,Linux,常用文件系统：,ext2,ext3,ext4,光盘文件系统：,CDFS,其他文件系统：,Btrfs,、,ZFS,、,HFS,、,ReiserFS,、,JFS,、,VMFS,等,分布式文件系统：,NFS,、,OCFS,、,HDFS,、,lustre,、,AFS,、,KASS,、,DFS,等,威海北洋电气集团股份有限公司云计算分公司,存储,SAN,存储配置,1,、创建硬盘组,2,、硬盘组创建,raid,3,、,raid,组创建热备盘,4,、,raid,上划分分区,5,、分区上创建,lun,6,、,lun,进行映射,威海北洋电气集团股份有限公司云计算分公司,存储,SAN,存储分类,SAN,存储分为,IP-SAN,、,FC-SAN,。区别在于使用协议和映射方式的不同。,IP-SAN,通过,IP,地址映射给服务器的,iqn,号；,FC-SAN,通过,HBA,卡的,WWN,号进行映射。,威海北洋电气集团股份有限公司云计算分公司,存储,IQN,号查询,windows,下查询,iqn,号：安装,iscsi initiator,发起程序，在发起程序内即可查询,windows,的,iqn,号；,Linux,下查询,iqn,号：安装,iscsi,软件包，,cat /,etc/iscsi/initiatorname.iscsi,InitiatorName=iqn.1994-.redhat:679f14edb38c,，等号后面即,为,iqn,号。,威海北洋电气集团股份有限公司云计算分公司,存储,WWN,号查询,windows,下查询,wwn,号：可使用,FC HBA,卡厂家提供的管理软件查看光纤适配器的,wwn,号，,qlogic,使用,sansurfer,，,emulex,使用,hbanyware,；,Linux,下查询,wwn,号：随系统安装完成，,hba,卡驱动会被自动集成安装，,HBA,卡,wwn,号会被自动写入配置文件，查看配置文件即可。,Suse 9,：,cat,/proc/scsi/qla2xxx/*|grep,adapter-port,Suse 10,：,cat,/sys/class/fc_host/host*/,port_name,RHEL 4,：,grep,scsi/,proc/scsi/qla2xxx/3,RHEL 5,、,6,：,cat,/sys/class/fc_host/hostx/port_name,威海北洋电气集团股份有限公司云计算分公司,存储,分区类型,主,分区：,主分区，也称为主磁盘分区，和扩展分区、逻辑分区一样，是一种分区类型。主分区中不能再划分其他类型的分区，因此每个主分区都相当于一个逻辑磁盘（在这一点上主分区和逻辑分区很相似，但主分区是直接在硬盘上划分的，逻辑分区则必须建立于扩展分区中）。早期,MBR,模式分区只能划分四个分区，现在的,GPT,分区至少可以划分,128,个主分区，未来很有可能将不存在扩展分区和逻辑分区的概念。,扩展分区,：,所谓扩展分区，严格地讲它不是一个实际意义的分区，它仅仅是一个指向下一个分区的指针，这种指针结构将形成一个单向链表。,逻辑,分区：,逻辑分区是硬盘上一块连续的区域，不同之处在于，每个主分区只能分成一个驱动器，每个主分区都有各自独立的引导块，可以用,fdisk,设定为启动区。一个硬盘上最多可以有,4,个主分区，而扩展分区上可以划分出多个逻辑驱动器。这些逻辑驱动器没有独立的引导块，不能用,fdisk,设定为启动区,。,威海北洋电气集团股份有限公司云计算分公司,存储,映射,后挂载,Windwos,：使用,ISCSI,发起程序挂载（,windows 2008,自带）,威海北洋电气集团股份有限公司云计算分公司,存储,映射,后挂载,威海北洋电气集团股份有限公司云计算分公司,存储,映射,后分区查看及使用,Windwos,：计算机右键管理,磁盘管理,右键新建分区即可使用；,威海北洋电气集团股份有限公司云计算分公司,存储,映射,后挂载,Linux,：使用,iscsiadm,命令挂载,1,、安装,iscsi rpm,包,rpm,-ivh,iscsi-initiator-utils-6.2.0.871-0.10.el5.i386.rpm,2,、启动,iscsid,服务,/,etc/init.d/iscsid start,3,、搜索,targets,：,iscsiadm,-m discovery -t sendtargets -p,192.168.100.240:3260,192.168.100.240:3260,1 iqn.2003-.stringbeansoftware:tzy-wwx-192.168.100.110-target,4,、登入节点：,iscsiadm -m node T iqn.1997-.test:raid -p 192.168.1.1,：,3260,l,此时用,fdisk l,可查看挂载的分区,5,、设置开机自动登入节点：,iscsiadm -m node T iqn.1997-.test:raid -p 192.168.1.1:3260 -op update -n node.startup -v,automatic,6,、设置,iscsid,服务开机自动启动：,chkconfig iscsid on,威海北洋电气集团股份有限公司云计算分公司,存储,映射,后分区查看及使用,Linux,：使用,fdisk l,查看映射的分区，通常格式为,/dev/sdx,创建分区,1,、,fdisk /dev/sdb,；,2,、按,n,创建新分区；,3,、,e,、,p,选择分区类型；,4,、选择分区号；,5,、选择大小；,6,、,W,保存退出；,7,、,p,artprobe,加载分区表；,8,、,mkfs.ext4,/,dev/sdb1,9,、创建分区,mkdir /test,；,10,、挂载分区,mount /dev/sdb1 /test,（永久生效编辑,/etc/fstab,，添加一行,/dev/sdb1 /mnt/iscsi ext3,defults,0,0,）。,威海北洋电气集团股份有限公司云计算分公司,存储,多,路径软件安装,通常情况下，目前的智能存储在存储端已配置好路径冗余，当一条链路出现故障会自动切换另一条链路使用，但不排除部分存储不支持此功能，因此需要在服务器端安装多路径软件，来实现存储的可靠性。,威海北洋电气集团股份有限公司云计算分公司,存储,多,路径软件安装,Windows,下,MPIO,安装,威海北洋电气集团股份有限公司云计算分公司,存储,多,路径软件安装,Windows,下,MPIO,安装,威海北洋电气集团股份有限公司云计算分公司,存储,多,路径软件安装,Linux,下,multipath,安装,1,、安装,rpm,包,2,、设置开机启动,chkconfig multipathd on,3,、修改配置文件,vi /etc/multipath.conf,威海北洋电气集团股份有限公司云计算分公司,存储,多,路径软件安装,Linux,下,multipath,安装,3,、修改配置文件,vi /etc/multipath.conf,默认,情况下所以的设备都在,multipath,的黑名单中，所以即使启动了,multipathd,服务并加在了内核模块，,multipath,也不会对链路进行聚合，找到下面的,3,行并注释掉（在行首加上,#,号）,#devnode_blacklist # devnode * #,默认,情况下,multipath,生成,dm,设备之后，会同时在,/dev/mapper/,下生成以磁盘,wwid,为名的符号链接指向对应的,dm,设备。如果想生成,mpath,设备，则需要打开,user_friendly_names,选项，将配置文件中下面,3,行的注释取消（去掉行首的,#,号）,defaults user_friendly_names yes ,威海北洋电气集团股份有限公司云计算分公司,存储,多,路径软件安装,Linux,下,multipath,安装,4,、重启服务,/,etc/init.d/multipathd,restart,5,、启动成功后，我们会在,dev,目录下看到下面的目录：,/dev/mapper/mpathN,/dev/mpath/mpathN,/dev/dm-N,/dev/mapper/mpathN,是软件虚拟出来的多路径设备，这个可以被我们用来挂载使用。,/dev/mpath/mpathN,这个是,udev,设备管理器创建的，不能用来挂载。,/dev/dm-N,这个是软件自身使用的，不能被软件以外使用。不可挂载。,威海北洋电气集团股份有限公司云计算分公司,存储,多,路径软件安装,Linux,下,multipath,安装,6,、其他命令,检查可用的多路径设备,：,multipath,-,ll,标记多路径设备为物理卷,：,pvcreate,/,dev/mapper/mpathN,对磁盘进行分区和格式化,：,fdisk,/,dev/mapper/mpathN,分区之后，会在,dev/mapper/,目录下创建新的块设备，,/dev/mapper/mpathNpM,。,如果没有看到或者不匹配，使用,multipath F,命令清除多路径设备缓存后，再用,multipath v3,命令重新加载,。,威海北洋电气集团股份有限公司云计算分公司,谢谢！,威海北洋电气集团股份有限公司云计算分公司,