基础培训和磁带库介绍.ppt

存储备份技术的发展磁带库系统技术发展虚拟磁带库技术发展,内容,存储备份技术的发展,scsi技术，raid技术，fc技术，iscsi技术，fcoe技术das，nas，san(FC-SANIP-SAN)软盘，硬盘，光盘，磁带库，虚拟磁带库,存储设备接口,目前存储设备的接口有五大类：IDE、SCSI、USB，FC，FCoE。其中并行口与串口的速度非常慢，最主要的就是SCSI,FC。IDE（IntegratedDriveElectronics，电子集成驱动器）凭着其高速的传输和平常的价格，受到家庭用户的欢迎,而FC设备被企业用户欢迎,SCSI接口技术发展,scsi(SmallComputerSystemInterface),1986年获得ANSI承认.在计算机外部设备，尤其是存储设备的接口方面SCSI接口和IDE接口一直是飞速发展的两大阵营。IDE接口在PC机上拥有绝大多数的市场份额，SCSI接口却以其优异的性能成为高端电脑市场的绝佳选择。二者的区别主要在于：IDE的工作方式需要CPU的全程参与，SCSI接口则完全通过独立的高速的SCSI卡来控制数据的读写操作。Scsi发展至今出现了SAS(SCSIATTACHSERIAL),RAID技术,Raid：redundentarrayofindependentdiskRAID翻译成中文意思是“独立磁盘冗余阵列”，实际上也是我们经常所说的“磁盘阵列”。这种技术可以让多个独立的硬盘通过不同方式组合成一个硬盘集合，硬盘集合的性能较单个硬盘性能高RAID级别是指磁盘阵列中硬盘的组合方式，RAID级别不同，硬盘组合的方式也就不同，为用户提供的磁盘阵列在性能上和安全性的表现上也有不同目前常见的RAID级别有RAID0，1，3，5，6,必须要有两个或两个以上物理硬盘，RAID0又称为Stripe（条带化）或Striping，它代表了所有RAID级别中最高的存取性能RAID0具有的特点，使其特别适用于对性能要求较高，而对数据安全不太在乎的领域，如图形工作站等。对于个人用户，RAID0也是提高硬盘存储性能的绝佳选择。,Raid0工作原理：无差错控制的条带组,RAID1(磁盘镜像),必须要有两个或也只能是两个物理硬盘。多于两个自动成为Raid0+1它的宗旨是最大限度的保证用户数据的可用性和可修复性。由于对存储的数据进行百分之百的备份，在所有RAID级别中，RAID1提供最高的数据安全保障。同样，由于数据的百分之百备份，备份数据占了总存储空间的一半，因而Mirror(镜像)的磁盘空间利用率低，存储成本高,RAID01RAID0和RAID1的组合形式，也称为RAID10,四个磁盘组成的RAID0+1为例，其数据存储方式如图所示：RAID0+1是存储性能和数据安全兼顾的方案。它在提供与RAID1一样的数据安全保障的同时，也提供了与RAID0近似的存储性能。由于RAID0+1也通过数据的100%备份功能提供数据安全保障，因此RAID0+1的磁盘空间利用率与RAID1相同，存储成本高。RAID0+1的特点使其特别适用于既有大量数据需要存取，同时又对数据安全性要求严格的领域，如银行、金融、商业超市、仓储库房、各种档案管理等。,RAID3(磁盘镜像),必须要有三个或三个以上硬盘驱动器是把数据分成多个“块”，数据占用的有效空间为N个硬盘的空间总和，而第N+1个硬盘上存储的数据是校验容错信息。在通常情况下，RAID3比较适合大文件类型且安全性要求较高的应用，如视频编辑、硬盘播出机、大型数据库等,RAID5,必须要有三个或三个以上硬盘驱动器是一种存储性能、数据安全和存储成本兼顾的存储解决方案.由图中可以看出，RAID5把数据和相对应的奇偶校验信息存储到组成RAID5的各个磁盘上，并且奇偶校验信息和相对应的数据分别存储于不同的磁盘上。其应用最好是OLTP，适合应用在I/O次数频繁、数据随机存取、每笔数据传输量小的环境,RAID6,必须要有四个或四个以上硬盘驱动器。带有两个独立分布式校验方案的独立数据磁盘.RAID6是由一些大型企业提出来的私有RAID级别标准这种RAID级别是在RAID5的基础上发展而成，因此它的工作模式与RAID5有异曲同工之妙，不同的是RAID5将校验码写入到一个驱动器里面，而RAID6将校验码写入到两个驱动器里面，这样就增强了磁盘的容错能力，同时RAID6阵列中允许出现故障的磁盘也就达到了两个，但相应的阵列磁盘数量最少也要4个。,RAID6cont.,P1数据1aXOR数据1bXOR数据1cXOR数据1dQ11a的GFXOR1b的GFXOR1c的GFXOR1d的GF,FCP技术,光纤通道协议FC-0描述了机械特性（接口，电缆），电气特性（信号），传输距离等FC-1描述了8B/10B编解码技术。FC-2定义了帧、流量控制、和服务质量等。FC-3描述了有关节点的所有端口服务，如数据加密和压缩。FC-4描述了各种协议的映射，如SCSI、IPI、HIPPI或IP等协议。,光纤通道协议映射,IPI-3命令集映射(IPI-3STD),光纤通道的拓扑结构,FibreChannel有三种拓扑结构:点对点(Point-to-Point)两个设备之间互连仲裁环(ArbitratedLoop)最多支持126个设备互连，形成一个仲裁环交换式Fabric(SwitchFabric)最多1千6百万个设备互连,点对点,交换式Fabric,ArbitratedLoop(仲裁环),光纤通道基础概念,节点(Nodes)通过一个或几个端口传送和接受信号，有自己的节点名称端口(Ports)分为传送(tx)和接受(rx)两部分有一个唯一的节点名称Tx编码并串行传送数据Rx收到信号后，解码恢复端口(Device设备)种类：节点：N_Port,NL_Port交换机:F_Port,FL_Port,G_Port,E_Port连接(Link)端口通过连线连接到FC网络它使用一根电缆来传送二进制的1和0使用连接协议来控制数据传输,连接(1001100010101),SAN,SAN=StorageAreaNetwork(存储区域网络)是一种基于光纤的特殊的后台数据存取网络提供了一个性能稳定的数据高速存取平台关键概念:支持前台企业信息处理网络(例如：Ethernet及TCP/IP）有助于减轻关键工作量和增加应用性能及高可用性成为一种有灵活同时有扩展性的数据平台来解决现有的数据迁移和数据共享瓶颈问题基于NCITST11:光纤通道(FibreChannel)标准I/O接口(X3.230-1994)http:/www.t11.org,光纤通道=是SANFabric的基础为存储系统提供一个网络连接模式,客户机,LAN(局域网),广域网,存储区域网（第二网）,Fabric=第二网“Fabric”是一个由智能光纤通道交换机构成并具有良好系统设计的高智能网络,这一数据网络可以提供企业级的性能,扩展能力,可管理能力,可靠性和可用能力,服务器,存储子系统,第一网,第二网启动顺序：,建议遵循一定的顺序启动网络设备首先要启动的就是网络系统，包括所有的交换机并确定所有的设备连接正常第二网启动进程:,iscsi技术,（iSCSI=internetSmallComputerSystemInterface）是由IEETF开发的网络存储标准，目的是为了用IP协议将存储设备连接在一起。通过在IP网上传送SCSI命令和数据，ISCSI推动了数据在网际之间的传递，同时也促进了数据的远距离管理。ISCSI技术的核心是在TCP/IP网络上传输SCSI协议，是指用TCP/IP报文、和ISCSI报文封装SCSI报文，使得SCSI命令和数据可以在普通以太网络上进行传输,fcoe技术,FCoE是使用基于以太网的光纤通道协议前沿技术,下面是协议转换图,互连方式,磁带库技术发展,从IBM发明的世界上第一台磁带驱动器IBM726开始算起,磁带技术发展到今天已经超过了50年的历史磁带库是一种机柜式的、将多台磁带机整合到一个封闭系统中的数据备份设备,是离线存储系统中的关键设备之一。它主要由磁带驱动器、机械臂和磁带构成,可实现磁带自动卸载和加载,可以在存储管理软件的控制下实现智能备份与恢复和监控统计等功能,能够满足高速度、高效率、高存储容量的要求,并具有强大的系统扩展能力。磁带库的技术指标包括存储容量、驱动器数量、单盘磁带容量、驱动器存取速度、连接方式和支持的管理软件等。通常,磁带库按照容量大小分成三个级别：入门级、部门级和企业级,也就是我们平常说的低端、中端和高端。其中,入门级磁带库可以提供几百GB至几个TB容量,部门级磁带库的容量在几个TB至几十TB,而企业级磁带库的容量在几十TB至几百TB甚至更高的PB级。从磁带库产品的发展来看,除了容量更大、访问速度更快以外,磁带库的混装驱动器功能、iSCSI连接、虚拟分区、数据特殊保护、智能管理、多机械臂技术等方面将更适合网络存储环境中的应用,成为未来的技术发展趋势。,磁带库厂家及产品,Quantum：I2000I500I6500I7500PX720SCALA50SUNSTK：SL14000SL3000SL8500SL500IBM：3584HP：主要是OEMQuantum,I2000物理磁带库,采用标准19英寸机柜规格单一控制模块可以存储306盘LTO磁带，或255盘SDLT磁带每个模块可以容纳12台磁带机驱动器拥有最大的磁带进出容量最多可达96盘LTO磁带本地和远程管理全部采用统一的系统管理界面,领先的扩展体系结构,广阔的扩展空间1-8个模块1-96台驱动器100-3,492盘LTO磁带存储容量,最大1.4PB(不压缩）按需提供存储空间扩展模式单一机械臂设计降低采购和管理成本获得更高的性能和可靠性不需要连接窗口（Pass-throughPorts）,高性能、高可靠的主控制器包括磁带库和存储网络控制、分析和报警功能,I/O管理单元进行主机连接和数据通道的管理,内部通讯区域网络将分布在系统中各传感器、和处理器控连接起来,先进的电源系统提供完全冗余的、热插拔的电源模块,磁带机驱动器子系统收集和报告驱动器和磁带介质的各种信息,内置磁带库分区和混合磁带存储功能为数据整合设计的磁带库平台不需要任何外部服务器和管理软件,先进的全系统监控和报警机制先进的统计数据搜集功能：磁带库、驱动器、介质和数据通路基于策略的主动报警机制,集成的SAN连接功能刀片式I/O体系结构支持多种SAN网络协议,磁带库连接方式-DAS,ApplicationServer,LAN,RAIDorJBOD,TapeLibrary,BackupServer,San环境下磁带驱动器的共享,Tape,LocalAreaNetwork,SAN,FibreChannel,虚拟磁带库技术,虚拟磁带库（VTL）通常为一种专用的计算工具(Appliance)，它可以仿真物理磁带库的驱动器和(并且)在磁盘上存储备份映像。VTL允许使用现有的磁带备份软件，管理人员之所以对这些工具感兴趣是因为用于备份管理的范例（paradigm）与使用磁带时的范例相同。VTL由三部分组件构成：计算机硬件，通常为Intel处理器（基于Linux操作系统且由该系统供电），或者相近的变体；应用软件（用于仿真磁带库和磁带驱动器）；和一组基于RAID技术的磁盘驱动器（在硬盘失效时它们可避免丢失任何数据）。个别产商常常把这些组件捆绑成一个工具。然而，也有可能从一家厂商购买计算机硬件和软件，再到另外一家不同的厂商那里购买磁盘阵列。虚拟磁带库依照架构不同，大概可以分为三种类型：备份软件型（D2D）、应用服务器型（VTLAppliance）、智能化专用型（IntelligentHighPreformanceVTL）,备份软件型虚拟磁带库（第代D2D）,备份软件型虚拟磁带库（第代D2D）将磁带库模拟软件直接安装在备份服务器上，把备份服务器的某些文件系统分区模拟成磁带库，从而使备份软件以磁带库方式使用磁盘文件系统。,应用服务器级虚拟磁带库方案（第代）,实际上是另外一种虚拟磁带库的软件实现方案：通过把虚拟磁带库管理软件安装在一台独立的专用服务器（一般是PC服务器）内，而将该服务器及所连接的磁盘存储设备模拟成磁带库。这种方式下，备份服务器或其它应用主机通过FC或SCSI与专用的服务器连接，此时专用服务器及所连接的磁盘存储系统一起体现为虚拟磁带库（虚拟磁带库）。,智能化专用型虚拟磁带库设备方案（第代IntelligentHighPreformanceVTL）,就存储市场而言：我们熟知的主流的磁盘阵列就是采用ARM结构*、嵌入式实时系统作为核心的，最早的磁盘阵列形态是PC服务器+JBOD磁盘柜，随着市场和技术的不断发展，这种老式的设备在可靠性、性能上都无法与采用ARM结构的主流磁盘阵列相比，因此，市场上已经很难看到这种早期形态的磁盘阵列产品了。就虚拟磁带库这种应用来说，它的发展趋势肯定也会和磁盘阵列一样，因此，基于ARM结构的嵌入式系统，统一化管理，成为智能化专用型虚拟磁带库IHPV（IntelligentHighPreformanceVTL）的基本特征，它将磁带库模拟管理软件固化在特别设计的ARM结构、嵌入式实时系统中，就形成了专用的虚拟磁带库设备，这种设备可以配置一定数量和类型的主机接口和后端存储磁盘阵列接口，有的专用虚拟磁带库设备还配置了归档磁带库接口。专用的虚拟磁带库设备硬件结构与不同于PC服务器，其性能、可靠性比第代应用服务器型虚拟磁带库有了非常大的提升。在设计上采用了精简的硬件模块和精简的操作系统内核（一般为Linux内核），并且充分考虑了与主机及存储设备的连接能力。专用的虚拟磁带库设备标志着虚拟磁带库技术终于突破了操作系统和PC服务器架构的限制，使虚拟磁带库真正成为了一种独立的外设，并且真正将虚拟磁带库控制系统和磁盘存储阵列统一管理起来，的其使用方式也更接近普通磁带库，而其优越性能也体现得更加充分。,专用虚拟磁带库设备方案具有如下特点：,1）设备一体化、管理统一化；2）性能大幅提高-可支持接近磁盘阵列极限速度的备份/恢复速度；3）免疫病毒-数据安全性等同普通磁带库；4）避免磁盘碎片-保障性能持续性；5）兼容性好-标准FC、SCSI或iSCSI接口设备，兼容流行的主机设备和操作系统。6）实用性好-与现有磁带库应用方式一致，不用更改现有存储应用软件的管理策略，保护用户投资。,虚拟磁带库的发展趋势,功能比较专一的设备正向专用化一体化精简化独立化迈进,最广泛的磁盘备份产品系列VTLNAS设备,要备份的数据总量(TB),适合入门级、中端和企业级环境的基于磁盘的备份解决方案,容量,谢谢,