H3SE存储培训教材-第三部分 2 应用技术

H3SE 存储培训教材,存储相关的应用技术,日期：2007810,存储产品部,学习目标,掌握和存储相关的IT应用技术，扩大知识面,了解各种IT应用技术和存储的关系，从IT的角度理解存储,了解存储在各种应用中的作用和关注点,学习内容,服务器和操作系统,1,文件系统,2,数据库系统,3,中间件和IT应用架构,4,集群和HA,5,典型行业应用简介,6,IT架构相关技术,应用技术和存储的关系,应用技术,典型应用,集群和HA,数据库系统,文件系统,服务器和操作系统,中间件和IT应用架构,存储的配置和优化,共享存储,数据的一致性保证,性能影响和调优,兼容性,IT系统的存储访问关系,存储,底层,上层,关系,主机端的硬件和操作系统分类,专用操作系统：z/OS,硬件：,IBM ZSeries 900、AS400/390,存储连接接口：,ESCON、FICON,接口硬件：,存储连接需要专用的驱动程序,大型机,小型机,PC服务器,UNIX操作系统：,IBM AIX 、HP HP-UX 、SUN Solaris,硬件：,IBM Power系列、HP PA/Itanium系列、SUN SPARC系列,存储连接接口：,SCSI、FC、iSCSI,接口硬件：,SCSI接口卡、FC HBA卡、网卡、TOE 卡、iSCSI HBA 卡,操作系统：,MS Windows、Linux,硬件：,各种X86架构的服务器，IBM、HP、SUN、DELL、浪潮、联想,存储连接接口：,SCSI、FC、iSCSI,接口硬件：,SCSI接口卡、FC HBA卡、网卡、TOE 卡、iSCSI HBA 卡,主机端的文件系统,IBM AIX ：HPFS(OS/2)、JFS,HP HP-UX：VxFS,SUN Solaris：UFS、VxFS,Linux：EXT2、EXT3、ReiserFS、NFS,Windows：FAT、FAT32、NTFS、CIFS,Veritas：VxFS,文件系统,特性,每种操作系统都采用一种或几种专用的文件系统,操作系统中，文件的创建、更新和保存都需要文件系统来管理,文件系统分32位和64位，主要体现在寻址空间上的差异,文件系统直接关系到整个系统的效率，只有文件系统和存储系统的参数（比如块大小、条带大小、对齐方式）互相匹配，整个系统才能发挥最高的性能。,文件系统分类,数据库的定义和存在形式,数据库定义,定义,：有关联关系的信息通过合理的结构组织在一起的数据集合，可以通过其专用的命令（SQL语言）对信息进行快速的建立、存储、更新、删除、查询,数据库的评价指标,：数据检索能力、并行处理能力、支持的数据规模、稳定性等几个方面,数据库,存在形式,数据库建立在文件系统上,（比如：工资.DBF 文件），数据的读写操作由操作系统上的文件系统来控制，采用文件系统的数据读写缓冲机制，没有针对数据库做专用的优化，适合小型的数据库应用,数据库直接建立在裸设备（硬盘）上,（没有文件名，只有一个链接符号），数据的读写操作由数据库自己来控制，数据读写的缓冲机制也是数据库自己设定，由于是专门针对数据库应用设计，所以性能相对较快，适合大型的数据库应用,数据库分类,从支持的数据规模、处理能力、管理功能等方面来看，分为三类：,桌面型数据库系统：FoxPro、MS ACCESS、PARADOX等,中小型数据库系统：SQL SERVER、MySQL等,大型数据库系统：DB2、SYBASE、ORACLE、INFORMIX等,DB2,从数据库的组成结构分为三类：,关系型数据库：,现在绝大部分应用都是采用这一类,非结构化数据库：,专用数据库，比如图书馆、数字媒体等针对文件的管理应用,对象数据库：,新兴的数据库，还未形成规模应用,数据库对存储系统的要求,文件名称,存储需求,控制文件,大部分数据库都建议使用多个控制文件以确保可靠性。控制文件并不需要经常访问，对于存储设备的性能要求不高。,数据文件,数据文件占用的存储空间是最大的，主要是随机的读取和写入。典型的RAID策略为RAID10或者RAID5，可以使用较多的磁盘组成RAID组，以提高随机访问的性能。,索引文件,在数据库中，索引文件是被访问频率最高的数据。查找索引文件需要很大的IOPS。另外，有时候数据库被重新索引，这在计算上非常密集，并且需要大量的I/O带宽。,日志文件,日志文件主要的I/O操作是顺序写操作，所以用RAID-1就可以满足安全性和读写的要求。由于需要两个或以上的重做日志文件，通常将日志文件放在不同的卷上。,数据库读写过程示例,库缓冲区,日志缓冲区,数据文件,数据库写进程,日志写进程,用户请求,4,A,B,C,D,1,数据写入,库缓冲区,2,日志写入Redo,日志缓冲区,3,A,B,C,D,3,日志写入,日志文件,REDO日志,A,B,C,D,4,数据写入,数据文件,为了提高效率，数据库的读写均在缓冲区内进行,缓冲区内的数据最终要写到物理文件中,快照代理保证数据一致性,快照的数据一致性问题,业界大多数的存储系统在做快照时，都仅仅是对磁盘中的数据进行快照操作，而没有顾及服务器缓存中的数据。因此，经常发现快照出来的数据“不对”，与预期中的数据不一致。,在存储设备执行数据快照操作时，必须同时兼顾磁盘和缓存中的数据，才能严格保证数据的一致性。,保证快照数据一致性的方法,接口调用：,部分存储厂商提供编程接口，在主机端放置手动编写的脚本程序。做数据快照时，通过脚本调用数据库的接口，将缓存“刷”到磁盘上，以此保证数据一致性。,快照代理：,少数厂商提供完全自动化的快照代理程序，针对不同的客户端应用，比如Oracle、SQL Server、Exchange、Notes等，在客户端安装不同的快照代理程序，与应用程序进行联动，保证各种存储服务运行时关键业务数据的一致性和完整性。,中间件,是一种独立的系统软件或服务程序,一般位于操作系统和数据库之上，应用软件的下层,为处于自己上层的应用软件提供运行与开发的环境， 实现在不同的技术之间共享资源，帮助用户灵活、高效地开发和集成复杂的应用软件,中间件分类：远程过程调用、面向消息的中间件 、对象请求代理,中间件一般需要安装在单独的服务器上，但是中间件服务器不需要连接后端存储，中间件服务器通过数据库服务器访问存储,中间件,应用软件,应用软件,中间件,（分布式系统服务）,数据库,操作系统,硬件,数据库,操作系统,硬件,数据库中间件,基于Web的数据库中间件,中间件的体系结构,应用系统的典型IT架构 多层应用,服务器A,active,服务器B,standby,心跳连接,公用网络,应用A,磁盘阵列,客户端PC,集群技术,：至少将两个系统连接到一起，使两个或者以上的服务器能够像一台机器那样工作或者看起来好像一台机器。例如，一个有两台服务器生成的WEB服务器集群系统，它对每个终端用户是透明的，而且完全就像一台服务器在工作。,集群概述,服务器A,服务器B,镜像盘,心跳线,客户端PC,公用网络,1、在服务器之间,通过网络同步数据,2、大数据量读写时，两台服务器会出现数据不同步,3、镜像数据占用大量服务器资源，降低系统性能,无磁盘阵列,有磁盘阵列,1、双机集群的主流配置方式,2、采用了共享存储，消除数据不同步的现象，系统性能不会降低,3、多服务器集群常采用NAS、SAN共享软件来实现存储共享,服务器A,服务器B,磁盘阵列,心跳线,客户端PC,公用网络,集群的存储系统,共享卷,F:,F:,F:,F:,同一个数据卷映射到不同的服务器上,SAN共享：在SAN环境下，多个客户端对一个卷同时进行读写,例如：非线性编辑等应用要求多台服务器同时读写相同的卷，并且要求存储系统提供持续、稳定的高带宽读写,SAN和NAS不同，在SAN环境中不存在对共享数据的监管和访问控制功能，服务器之间没有办法进行通讯，可能会出现多台服务器同时改写一个文件的现象，导致数据的不完整或损坏,SAN共享,SAN可以采用以下两种方式实现卷共享,SAN共享软件（如IBM SANergy，SGI CXFS等）,集群文件系统（如REDHAT GFS,HP CFS等）,刀片式服务器和集群,常用操作系统为Windows、Linux,采用FC-SAN 存储：,每个刀片需要HBA卡，投入较大,采用IP-SAN存储：,通过网口接入，综合成本优势明显,典型行业应用介绍,WEB应用既包括简单的页面读取，也包括对数据库的复杂查询和更新，其中包含大量文本、音像等非结构化数据,WEB服务的存储需求以小文件，共享式读取为主,负载均衡器,局域网交换机,WEB服务器,应用服务器,数据库服务器,NAS设备,SAN设备,WEB应用对存储的需求,SAN/NAS存储网络,LAN网络,客户端,邮件服务器,邮件应用对存储的需求,常见的邮件系统是微软的EXCHANGE SERVER和IBM Lotus NOTES,邮件系统的数据特点介于数据库和普通文件二者之间。邮件用户等信息属于数据库操作，但是每个用户的邮件又是按照文件组织的,邮件服务器的读写以小文件随机读写为主,SAN/NAS存储网络,LAN网络,Client,数据库服务器,视频点播服务器集群消除计算和IO瓶颈,要求存储设备提供稳定的带宽,以顺序读写为主,视频点播服务器,WEB服务器,认证服务器,流媒体应用对存储的需求,业务类型,性能要求,文件服务,一般使用较小的数据块请求，并体现随机特征请求大小在512B到64KB之间分布,打印服务,通常使用较大的数据块请求一般为64KB,WEB服务,通常使用较小的数据块，并体现随机特征一般为512B-512KB,BBS系统,使用零散的文件存放文章，访问模式基本是小文件随机读写多在512B到64KB之间分布,数据库系统,一般都表现为大量的IO访问，对带宽要求较低，主要是随机访问一般为4-16KB,邮件服务,一般为随机访问，数据块一般为4-16KB,视频服务,通常是顺序的大数据块读请求，对带宽的压力非常高一般为64KB及以上,非线编,通常是顺序的大数据块请求，对带宽的压力非常高，而IOPS压力较小。一般为64KB及以上,各类应用对存储的性能要求,