存储虚拟化技术课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第8章 存储虚拟化技术,8.1 概述,8.2 存储虚拟化的实施,8.3 存储虚拟化中的管理问题,8.4 应用实例,第8章 存储虚拟化技术8.1 概述,应用于存储区域网络(,SAN),境中的存储虚拟化(,Storage Virtualization),技术通常是指异构的,SAN,环境下的虚拟存储服务，它带给我们最直接的益处就是，提高存储利用率，降低成本，并简化大型、复杂、异构的存储环境的管理工作。,时至今日，虽然尚无普遍接受的国际标准，但是，作为一种有效的存储管理手段，存储虚拟化技术正受到越来越多业内人士的关注，许多各具特色的解决方案正在陆续推出。,基于网络的虚拟存储技术将成为未来的一种趋势，它在开放性、扩展性、可管理性等方面的所体现的优势将在数据中心建设以及异地容灾应用中充分显现出来。,应用于存储区域网络(SAN)境中的存储虚拟化(,8.1 概述,8.1.1 定义,美国著名,IT,咨询公司,RFG（Robert Frances Group）,对虚拟存储的定义是：虚拟存储是指那些架构和产品被设计成仿真一个物理设备，如磁带机等，其特性被镜像到另一个物理设备上，通常是一个磁盘或磁盘子系统。结果，逻辑设备和虚拟设备的特性可以完全不同，应用系统操作的是虚拟设备，而不必关心真正的物理设备是什么。,SNIA(,存储网络工业协会)对存储虚拟化的解释包含两方面：,1、存储虚拟化是为了便于应用和服务进行数据管理而采取的针对应用、服务器以及一般网络资源进行的存储子系统或存储服务的内部功能抽象、隐藏和隔离的行为；,2、存储虚拟化是针对存储设备或存储服务进行的虚拟化手段，以便对底层存储资源实施存储会聚、隐藏复杂性以及添加新功能等。,8.1 概述 8.1.1 定义,一般地，虚拟存储所,虚拟的对象,是一些存储资源，如磁盘、磁带、文件、文件系统、数据块等等。其虚拟的结果往往是虚拟磁盘、虚拟磁带、虚拟文件、虚拟文件系统、虚拟数据块等等。,存储虚拟化的,核心工作,是实现物理存储设备到单一逻辑资源池的映射。通过虚拟化技术，为用户和应用程序提供了虚拟磁盘或虚拟卷，并且可以根据用户需求对它进行任意分割、合并、重新组合等操作，并分配给特定的主机或应用程序，为用户隐藏或屏蔽了具体的物理设备的各种物理特性。,一般地，虚拟存储所虚拟的对象是一些存储资源，如磁盘、磁带、文,8.1.2 实现模式,存储虚拟化的基本概念是将实际的物理存储实体与存储的逻辑表示分离开来，使得应用服务器只与分配给它们的逻辑卷（或称虚卷）打交道，而不必关心其数据是在哪个物理存储实体上。,下图是,SNIA,对存储虚拟化技术的经典分类描述。,8.1.2 实现模式 存储虚拟化的基本概念是将实际的物理存储,存储虚拟化技术课件,SNIA,的观点认为：,存储虚拟化可以创建于数据块级、磁盘、磁带以及带库级、文件系统级以及文件,/,记录级等。,其实现层次可位于主机,/,服务器端、网络架构中以及存储设备,/,子系统里。,实施方法包括带内虚拟化以及带外虚拟化两种。所谓,带外,（,Out-of-Band,）,方式，或称为非对称存储池（,Asymmetrical pooling,）,方式，,是指实现虚拟的功能部件（软件和,/,或硬件）并不在主机到存储设备的访问路径上；而,带内,（,In-Band,）,方式，或称为对称存储池（,Symmetrical pooling,）,方式,，是指在数据读写的过程中，在主机到存储设备的路径上实现虚拟存储。,SNIA的观点认为：,8.1.3 若干关键问题,1、可用性,2、可管理性,3、可扩充性,8.1.3 若干关键问题 1、可用性,8.2 存储虚拟化的实施,8.2.1 软硬件需求,硬件,一般而言，存储虚拟化技术实现应该是与硬件无关的，可以管理从,JBODs、,磁盘阵列、虚拟磁盘阵列、到磁带和带库等各种设备。但作为技术实现，首先需要建立,SAN,环境，其中应包括用于连网的交换机/集线器以及服务器内置的,HBA,等。对于带外实现而言，可能用到的元数据服务器(,Metadata Server),往往采用专门的硬件实现，使用的物理,Cache,和,HBA,等都可能有所不同。另一方面，带内实现中的存储管理器也会面临同样的问题。,软件,在存储虚拟化实现中，软件将起到至关重要的作用。除了存储虚拟化软件本身之外，,SAN,管理功能、可能用到的应用服务器代理软件（可装载文件系统,IFS,等）等都应适当配置。此外，由于采用集中化的虚拟存储管理手段，存储管理工作流程也将做适当调整。,8.2 存储虚拟化的实施 8.2.1 软硬件需求,8.2.2 设备发现,在存储虚拟化网络环境中，每当出现新设备或服务器时，都应及时,发现和识别,，这给管理软件提出新要求，不管是带内或是带外方式，都应实现基于远程代理或简单网管协议（,SNMP）,的设备/服务器的动态配置功能。,除此以外，,错误发现机制,也是必备功能。存储设备错误、应用客户端错误、服务器错误以及网络故障等，都应及时加以发现和正确处理，以保证数据一致性和可用性。与此对应的设备服务包括克隆（,Cloning）、,远程镜像等。,另外,访问控制功能,对存储设备而言也是十分有益的，因为目前的存储设备自身并不具备身份认证能力。,8.2.2 设备发现,8.2.3 存储服务,在存储虚拟化解决方案中所指的存储服务包括：,高速缓存；,实时拷贝，包括本地/远程镜像、远程数据复制等；,快照/闪存拷贝；,数据压缩。,通过实施全局带内/带外虚拟化和借助,IFS,技术，可以达到文件级和块级的存储服务。,8.2.3 存储服务,8.2.4 性能考虑,对于存在大量的关键数据应用场合，传统的客户,/,服务器模式在分布式环境下很难保证高性能，采用存储虚拟化技术，通过在应用服务器与存储资源之间建立的专用高速网络（,FC,或,Gb-Ethernet,），,为关键数据应用提供性能支持。,一般而言，带内方式在性能保障方面不及带外方式优越。,8.2.4 性能考虑,8.3 存储虚拟化中的管理问题,存储虚拟化中的管理问题涉及,SAN,管理、数据管理以及相关安全问题等内容。,8.3 存储虚拟化中的管理问题 存储虚拟化中的管理问题涉及S,8.3.1,SAN,管理,在存储虚拟化环境中的,SAN,管理提供如下功能：,SAN,拓朴映射,为管理好,SAN，,首要任务是要识别出,SAN,的拓朴结构：连接的物理设备、可用的存储路径、地址信息以及连接的服务器等。存储虚拟化实现中关键是提供物理视图到逻辑视图的映射关系，因此，,SAN,拓朴映射应以图形化界面形式及时反映,SAN,中各组成部分的相关变化，为应用服务提供存储的动态配置信息。,事件监控,通过事先设定的阀值，启动监控服务，对,SAN,中可能出现状态改变和错误情况进行跟踪，并在错误发生后的最短时间内提出警告并进行错误隔离和相应处理。,性能分析,在,SAN,环境中对存储端口的吞吐量进行统计和报告，以调整相关部件，平衡网络流量。,容量分析,通过对每日/每小时的数据传输量的统计，得出,SAN,的使用情况报告，以便做出,SAN,的扩展规划。,日志功能,提供必要的系统成员的日志信息。,8.3.1 SAN管理,8.3.2 数据管理,为了达到数据共享的最终目的，必须在软硬件平台的支持下，制定数据放置策略、实施数据生命周期管理、进行对应用透明的数据移动以及实现跨平台的数据共享。,8.3.3 安全,目前的存储设备并不具备内置的安全机制，在异构的虚拟存储网络环境下，安全问题尤为重要。,FC-SAN,中常用安全技术包括,Hardware zoning /Software zoning、LUN masking,等；,IP-SAN,的技术包括实施,IPSec,等手段，而锁机制以及文件分类机制等在一定程度上也可提供相应的保护手段。,一般地，利用,SAN,管理软件，安全策略可以在带内和带外实现。在主机中和存储设备内实现的安全机制也可作为一种补充手段。,8.3.2 数据管理,8.4 应用实例,8.4.1,IBM,的一种虚拟存储解决方案,IBM Tivoli,存储管理方案,8.4 应用实例 8.4.1 IBM的一种虚拟存储解决方案,该方案采用带外实现方式，达到分布式环境下数据共享的目的。从其系统架构可以看出该方案的主要组成部分：,元数据服务器（,SmS Server）,集群,配置有,IFS(Installable File System),以及,Cache,的客户端,存储资源,连接客户与存储的,FC-SAN,客户端程序采用,Tivoli Open SmS,协议与元数据服务器交互，获得相关存储数据的访问控制信息以及访问权限（锁）后，可直接通过,FC,网络进行数据读写，利用,Cache,技术可提高访问效率。,采用集群连接的数据服务器在逻辑上可以划分成元数据服务器、管理服务器以及存储服务服务器等。,该方案采用带外实现方式，达到分布式环境下数据共享的目的。,8.4.2,iSCSI V,系列交换机,SANRAD,公司的,iSCSI V,系列交换机是业界颇具特色的基于,iSCSI,协议的网络设备，通过将可升级、灵活性、可靠性、安全性及高性能等因素综合在一起，提供了标准化、简捷和高性价比的存储管理优化结构，从而将各种优势综合为单一平台，协助系统管理员应对存储管理的难题。,8.4.2 iSCSI V系列交换机,其特性是：,iSCSI V,交换机是以网络为中心的存储设备虚拟化管理的解决方案，提供基于浏览器的图形用户界面（,GUI）；,iSCSI V,交换机支持全新的、基于标准的,iSCSI、 TCP/IP,存储协议。它为以,iSCSI,协议连网的主机，提供对存储逻辑卷安全可靠的存取访问；,iSCSI V,交换机在存储网络的数据路径上运行，是一种高性能的网络部件。它为负责管理从小型至企业级存储资源的,IT,专业人士，提供了一个易于使用的连接和管理平台；,iSCSI V,交换机的存储管理和虚拟化特性把各种物理存储资源集合成某个单一的逻辑存储“池”。从而，使网络管理人员可独立地对这些集成为一体的资源定义新的逻辑卷；而无须考虑诸如运行环境、物理磁盘、通信协议及相互间距等实际障碍；,iSCSI V,交换机可以对与主机直接相连的（,DAS）、,或与网络相连的（,NAS）,存储装置，提供多种协议的支持；就像通过同样的交换机可以直接支持光纤通道的、基于,SCSI,的和基于,iSCSI,的存储系统一样；,iSCSI V,交换机是多种功能的融合，且存在于某个单一的、易于管理的平台内；它们包括协议网桥、路由、交换、安全、负载平衡、高性能及存储卷管理等功能，还支持双重容错热插拔电源 (带48伏直流电压备选)冗余风扇。,其特性是：,8.4.3 基于,iSCSI,的存储虚拟化实现,基于,iSCSI,的网络级存储虚拟化是用,iSCSI,协议作为网络级存储虚拟化的传输协议,实现方式可分为带内和带外两类。,8.4.3 基于iSCSI的存储虚拟化实现,带内实现,1、,工作模型,带内实现 1、工作模型,基于,iSCSI,的网络级带内存储虚拟化的思想是：带,SCSI,磁盘的存储服务器作为模型中的,Target，,虚拟存储管理控制器作为模型中的,Manager，,应用和服务程序运行在,Host,上，它们之间都以,iSCSI,作为传输协议。,Target,上的,SCSI,磁盘映射到,Manager,上，成为,Manager,的,iSCSI,盘，在,Manager,上对所有的,iSCSI,盘进行统一管理，生成若干逻辑卷，并把这些逻辑卷分配给不同的,Host,使用。,Manager,位于数据通道的内部。,Host,发出的对逻辑盘的读写信息，先到达,Manager，,再由,Manager,把这些对逻辑卷的读写操作，转化为对实际物理盘的读写操作，转发给相应的物理盘所在的,Target。,而操作过程中形成的状态信息由,Target,反馈给,Manager，,经由,Manager,整理后转发给相对应的,Host。,也可由,Target,向,Manager,和,Host,同时发送状态信息。,基于iSCSI的网络级带内存储虚拟化的思想是：带SCSI磁盘,2、 实现描述,在实验环境中，分别用三台高性能,PC,机模拟应用及服务、虚拟存储管理控制和,SCSI,磁盘，搭建成一个简化的存储模型：,首先,，把,Target,上的两块,SCSI,盘用两个,iSCSI,连接映射到,Manager,上。,接着,，在,Manager,上对这两块,iSCSI,盘做逻辑卷管理。考虑到存储虚拟化用于数据备份的实用性，我们选择了,RAID1,的逻辑管理方式，即将两块盘做成镜像，形成一块逻辑盘提供给,Host,使用。,最后,，用,Host,连接,Manager,上的,RAID1,逻辑盘。,2、 实现描述 在实验环境中，分别用三台高性能PC机模拟应用,3、性能测试,在100,Mbps,以太局域网的环境下，用,iometer2001.07.19,版本，在,Host,上读写,iSCSI,盘的速率如下,：,100%顺序写,100%顺序读,100%顺序写+100%顺序读,速率（,MB/s）,7.6,8.4,14.3,以上数据显示：读写性能都不算太高，但是没有达到网络带宽的极限，也没有达到硬盘读写的极限。限制性能的,瓶颈,就是带内,iSCSI,存储虚拟化的消耗以及逻辑卷管理功能的软件处理。,由此可以想到，除了提高逻辑卷管理的工作效率之外，如果能够在,Host,和,Target,之间建立更为直接的数据传输连接，也就是实现带外存储虚拟化控制，整个系统的性能还可以提高。因此，带外的存储虚拟化实现成为必然之选。,3、性能测试 在100Mbps以太局域网的环境下，用iome,带外实现,在带外虚拟化中，,Manager,只负责,host,和,Target,之间状态的控制以及逻辑地址到实际物理地址的转换，有效数据直接由,Host,发送到,Target，,所以在性能上会有一定的提高。,为了实现带外虚拟化，在,Host,到,Manager,一级的连接建立过程中，需要对原来的,iSCSI,工作流程做出一些调整，分述如下,。,带外实现 在带外虚拟化中，Manager只负责host和Ta,1、,Login,部分,Manager,收到,Host,发来的,login,请求后，除了反馈一般的,login response,之外，还要将本身所连接的,target,列表发给,Host。Target,列表的内容包括,Target IP 、Port、Target Name,等信息。,Host,收到,Target,列表之后，要分别和每一个,Target,建立,iSCSI,连接。,Host,和,Target,之间建立连接的过程对用户是透明的，用户得到的是,Manager,分配的一块存储空间，表现为一块本地的,SCSI,磁盘。,1、 Login部分 Manager收到Host发,2、 全双工数据传输部分,Host,对,iSCSI,盘的读写操作，通过,iSCSI,连接，发送到,Manager,上，,Manager,将这些对逻辑地址的操作转化成对实际物理地址的,SCSI,命令返回给,Host，Host,再用这些命令直接对,Target,进行操作。,可以看出，,Host,对,Target,的数据操作，没有经过,Manager，Manager,管理控制,Host,对,Target,的读写访问。,2、 全双工数据传输部分 Host,Logout,部分也要对原来的,iSCSI,协议做一些修改：,Host,除了对,Manager,发出,Logout request,外，还要对连接的,Target,发出,logout request。,和,Manager,以及所有的,Target,都断开连接之后，才算完成完整的,Logout。,3、,Logout,部分,Logout部分也要对原来的iSCSI协议做一些修改：H,