资源描述
单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,对存储系统发挥特殊作用的文件系统,2006年5月-北京,对存储系统发挥特殊作用的文件系统,1,存储系统当前是信息系统建设的核心,在直连存储系统的时代,应用系统以计算机为中心,存储只是外设,数据是存储孤岛,在存储网络时代,数据成为信息系统的核心,应用系统充分挖掘数据的价值,服务器成为存储系统的外设,存储系统当前是信息系统建设的核心 在直连存储系统的时代,应用,2,文件级在存储系统中的位置,应用系统,操作系统,文件系统,RAID,控制,磁盘读写,文件级传输,块级传输,文件级传输,:应用系统的,I/O,逻辑请求,它是文件系统的输入。是应用系统要求存储做什么的逻辑请求。,文件系统,决定数据(包括,META,数据)在磁盘上的存放格式和位置,这种格式和位置又决定磁头的移动方式。,块级传输,:应用系统的,I/O,物理请求,它是文件系统的输出。是怎么对存储操作的数据块请求。,RAID,控制,使文件系统看到一个大逻辑盘。它不管磁盘格式。,文件级在存储系统中的位置应用系统操作系统文件系统RAID控制,3,从应用系统的,I/O,调用看存储模式,文件系统对存储系统的效率有举足轻重的作用,应用系统,操作系统,文件系统,RAID,控制,磁盘读写,NAS,FC SAN,从应用系统的I/O调用看存储模式文件系统对存储系统的效率有举,4,SAN,和,NAS,存储模型的比较,应用服务器,以太网交换机,NAS,FC,交换机,SAN,应用服务器,文件系统,RAID,RAID,文件系统,RAID,文件系统,RAID,应用服务器,文件系统,应用服务器,SAN和NAS存储模型的比较应用服务器以太网交换机NAS F,5,误区之一:带宽决定一切,人们经常高估带宽的作用。他们一看到网络变慢,就想到是带宽不够了,其实往往是其他原因。我个人还从来没有看到因为带宽不够需要从2-,Gbps,生到4-,Gbps,的情况。,Quite often people are not exceeding their bandwidths.,They see a network slowdown and think they are exceeding their pipeline,but often it is something else.,Im not yet personally seeing anyplace where the need to exceed 2-Gbps is a reason to push for 4-Gbps.,随着4-,Gbps,产品价格下落,对大映像文件存取所用的,SAN,会是最好的选择。但对于象数据库这样的应用所用的,SAN,来说,增添的性能是多余的。,With the price of 4-Gbps products expected to fall,it will be the best alternative for installing new SANs,or,for existing SANs where large imaging or R&D files are stored and accessed,.But for existing SANs used for such applications as databases,the extra performance may not be necessary.,-,摘自,“,IBM Latest Vendor To Throw Hat Into 4Gbps Ring”CRN 5-9-05,误区之一:带宽决定一切人们经常高估带宽的作用。他们一看到网络,6,文件系统(1),什麽是文件系统?,计算机的文件系统是任何信息管理系统的基本元素。它是处理过的信息最终被放置的地方。关键应用系统的客户依靠文件系统得到快速、不间断的可靠的数据访问。,VERITAS,指数据(包括文件和,metadata),在存储介质上的组织管理模式,以便能快速可靠地存取数据。文件系统是最初的存储“虚拟者”。每个操作系统都有自己的文件系统。例如,操作系统,所支持的文件系统,MS-DOS,Windows 95,FAT16,Windows 95,98,Me,FAT16,FAT32,Windows NT,2000,XP,NTFS,FAT16,FAT32,Linux,Ext2,FAT32,FAT16,文件系统(1)什麽是文件系统?计算机的文件系统是任何信息管理,7,文件系统(2),不同的文件系统有不同的格式。例如,文件系统,最长文件名,最大卷大小,最大文件大小,FAT16,8,2,GB*,2,GB,FAT32,255,2,TB,4,GB,NTFS,255,16,TB,16,TB,Ext2,255,4,TB,2,GB,文件系统(2)不同的文件系统有不同的格式。例如文件系统最长文,8,不同的,FS,有不同的存储效率,WAFL Writes to nearest available free block,Berkeley Fast File System/Veritas Fast File System/NTFS Writes to pre-allocated locations(data and metadata),.,.,不同的FS有不同的存储效率WAFL Writes to,9,文件系统对,I/O,效率的影响,文件系统决定了磁头如何读写磁盘,磁头是毫秒级操作,最大限度地减少磁头臂的平均移动次数,是提高读写效率的关键,文件系统对I/O效率的影响文件系统决定了磁头如何读写磁盘,10,WAFL,大目录处理,对谁有用,?,大邮件目录,新闻,大目录环境每秒创建数,Directory Size,SunOS,NetApp 2.0,NetApp 2.1,1000,30,113,122,5000,22,68,123,10000,16,40,122,20000,12,14,122,WAFL 大目录处理对谁有用?,11,Copy-on-Write,技术(1),数据卷,Snapshot,卷,需要建立快照卷,Copy-on-Write技术(1)数据卷Snapshot,12,Copy-on-Write,技术,(2),Data Volume,Snapshot Volume,必须进行数据拷贝,Copy-on-Write技术(2)Data Volume,13,Copy-on-Write,技术,(3),Data Volume,Snapshot Volume,Copy-on-Write技术(3)Data Volume,14,NetApp,的,Snapshot,快照技术,(1),A,B,C,Active File System,File:NETAPP.DAT,Disk blocks,NetApp 的 Snapshot 快照技术(1)ABCA,15,NetApp,的,Snapshot,快照技术(2),Snapshot.0,File:NETAPP.DAT,A,B,C,Active File System,File:NETAPP.DAT,Disk blocks,Snapshot,仅仅记录这三个数据块的指针,没有数据拷贝,NetApp 的 Snapshot 快照技术(2)Snap,16,NetApp,的,Snapshot,快照技术(3),Snapshot.0,File:NETAPP.DAT,C,WAFL,把修改后的数据块写到新位置,(C),现在数据块(,C),既没有被更新,也没有被释放,A,B,C,Active File System,File:NETAPP.DAT,Disk blocks,顾客修改数据块,C,新数据,NetApp 的 Snapshot 快照技术(3)Snap,17,NetApp,的,Snapshot,快照技术(4),当前文件系统,NETAPP.DAT,现在由数据块,A,B,和,C,组成.,NETAPP.DAT,的,Snapshot.0,由数据块,A,B,和,C,组成.,可以同时保留多个文件系统版本,用于系统快速恢复,C,Snapshot.0,File:NETAPP.DAT,A,B,C,Active File System,File:NETAPP.DAT,Disk blocks,NetApp 的 Snapshot 快照技术(4)当前文件,18,不同“快照”方式的比较,把模块,“C”,改为,“Z”,其它,File Systems,(,例如,NTFS,UFS),存在,Snapshot,每个,write I/O,变为,:,Read old value,Write old value,Write new value,300%I/O penalty,把模块,“C,”改为,“Z”,Write Anywhere File Layout,一个,write I/O,保持为一个,I/O,当前文件系统,Snapshot,当前文件系统,Snapshot,当前文件系统,Snapshot,C,A,B,C,D,A,B,Z,D,Z,A,B,C,D,不同“快照”方式的比较把模块“C”改为“Z”其它File S,19,存储系统中的缓存作用,磁盘写操作涉及磁头臂的机械运动,可以用带电池的缓存来减短应用的中断时间,缓存可以把单个写操作,积累成批量写操作,从而提高磁盘阵列的写效率,写缓存可以放在文件系统级或卷管理级,存储系统中的缓存作用磁盘写操作涉及磁头臂的机械运动,可以用带,20,基于文件系统的缓存,进程中断时间最短,客户响应时间加快,可预见,NVRAM:,保证快速写操作,保证所写数据与磁盘的一致性,缩短中断时间,基于文件系统的缓存进程中断时间最短,客户响应时间加快,可,21,基于文件系统和基于卷的缓存,UNIX NVRAM,NetApp NVRAM,Disk Driver,NVRAM,Semantic Layer,Write alloc Layer,File System,NFS,Disk Driver,NVRAM,Semantic Layer,Write alloc Layer,File System,NFS,基于文件系统和基于卷的缓存UNIX NVRAMNetApp,22,FC SAN,解决数据共享的传统方法,NAS gateway,方法,缺点:,两个管理界面,效率不匹配(,NAS gateway,可能是瓶颈),资源不能完全共享,硬件资源浪费(,Cache),适用情况:绝大部分数据是结构化的,少量是非结构化的,FC SAN解决数据共享的传统方法NAS gateway方法,23,CFS,:在群集范围内的所有存储设备上的每个存储块可以被并发读写。它不适用顾客,只适用服务器。,CFS,通过分布锁管理器,(DLM),来实现数据共享。如:,ADIC,的,StorNext,,,IBM,的,DFS,:它协调所有的服务器实现数据共享。它对顾客和服务器采用,2,层结构的文件系统。在顾客层,它实现跨越所有机器的统一命名空间和单个文件系统的表达方式。它的服务器层承担所有的,I/O,操作,从数据存储的观点看,服务器层相当于存储层,有时就简称为存储结点。在,DFS,结构中,每个物理服务器管理自己的存储资源,不同的物理服务器彼此并不直接共享存储资源。如:,NetApp,的,SpinFS,(现在的,Data ONTAP NG),群集文件系统与分布式文件系统,CFS:在群集范围内的所有存储设备上的每个存储块可以被并发读,24,群集文件系统,CFS,示例,群集服务器,客户端,FC,交换机,Metadata,控制器,SAN,卷,每个群集服务器看到的是相同的,SAN,卷,用控制器统一管理群集服务器对,SAN,卷中文件的共享,可以支持从主机到存储的多路径合并,可以支持异构平台的互操作,群集文件系统CFS示例群集服务器客户端FC交换机Metada,25,DFS,示例,GX 1,GX 2,GX 3,GX 4,FC,通路,灵活卷,GigE,顾客网络
展开阅读全文