资源描述
一、GIS空间数据存储的特点GIS中的空间数据具有数据量大、形式多样、来源丰富、结构复杂等特点,所以对GIS的数据存储有特别的要求:首先、需要对海量数据的存储管理能力,空间数据应用领域迅速扩展,各级空间数据中心所采集、处理、存储与备份的各种类型空间数据呈海量增长的态势,海量空间数据的存储、管理及应用是GIS中首先要解决的问题。其次、海量数据的处理能力,海量数据的应用,涉及到数据的网络传输、处理的速度,多用户并发访问的调控等,数据的应用不仅依赖于采用软件的处理能力,还需要考虑网络带宽、服务器系统的负载均衡等问题。第三、需要数据的安全性的保证,随着用户的增多,来自各个方面的各种安全隐患也会随之而增加,网络GIS需要有完备的网络安全防范机制防止系统受到侵害。第四、良好的数据备份保护性能,GIS系统是一个面向多用户的应用和管理系统,要求系统有持续的可利用性,可满足不用时段、不同需求的用户应用的需求,系统数据要有良好的存储备份机制,防止出现故障后系统的修复困难。二、网络化存储技术的介绍网络存储技术就是将网络技术和存储I/O技术集成起来,利用网络的可寻址能力、即插即用和连接性、灵活性,存储的高性能和高效率,提供基于网络的数据存取和共享服务,在超大数据量的存储、管理上,扩展性方面具有明显的优势,网络存储技术已经在很多大型系统的数据存储中获得应用。常有的网络存储技术包括以下四种:1. 直连存储(DAS或SAS)它是以服务器为中心的存储结构。具有组建简单灵活,数据存储备份速度快等优势,但服务器负担大,不适用于大量数据的存储。1. 附网存储(NAS)它是以数据为中心的存储模式,将存储设备通过标准的网络拓扑连接到一组计算机上,脱离了服务器和通用的操作系统,适用于网络文件服务模式的数据访问。2. 存储区域网络(SAN)它是以数据存储为中心的网络存储体系结构,即将数据存储作为网络上的一个区域独立出来。在高度的设备共享、数据共享基础上,减轻了网络和服务器的负担,从而实现海量数据的高速传输存储。3. IPSAN存储网络是基于ISCSI协议的一种新型的网络存储技术。在结构上与LAN隔离,而在技术上与LAN一致的新型SAN存储结构,充分利用了原有的网络设施资源,释放客户端的CPU资源,在原有的环境下实现高速的网络数据存储。采用以上4种存储技术的集成应用,可以满足目前各种大型网络应用系统的数据存储管理需求。上面简单的介绍了几种网络存储的技术,每种存储技术的基本原理、特点、应用、存在的问题等在教材里都有。网络存储虚拟化技术是一种新型的存储技术,它是将物理存储设备和虚拟存储实体结合在一起来满足网络上的各种应用需求。用户在透明有效的方式下、在存储介质上存储数据并统一管理数据,无论后端物理存储是什么设备,服务器及其应用系统看到的都是其物理设备的逻辑映像。存储虚拟化包括3个层次:基于服务器的虚拟存储、基于存储设备的虚拟存储和基于网络的虚拟存储。1)基于服务器的虚拟化由逻辑卷管理软件在主机/服务器上完成,经过虚拟化的存储空间来跨越多个异构的磁盘阵列。具有高度的稳定性和对异构存储系统的开放性,卷和文件系统可以在不停机的情况下动态扩展。2)基于存储设备的虚拟化一些高端阵列本身智能化管理应用的主要技术手段,可以实现同一阵列供不同主机来分享的功能。3)基于网络的虚拟化通过使用专用的存储管理服务器和相应的虚拟化软件来实现多个主机/服务器对多个异构存储设备之间的访问。对主机来说看到的是不同阵列的统一映像,达到不同主机和存储之间真正的互连和共享。通过上面的了解,觉得GIS的空间数据应该采取网络化的存储技术。采用网络存储技术进行地理信息数据存储,不仅可以解决GIS中海量数据的管理问题,还可以优化GIS数据在网络上传输速度等制约。无论是矢量数据还是栅格数据,网络化的存储技术就可以比较好的实现海量数据的数据存储、实现基于网络的数据备份、实现全方位的数据管理。栅格数据从本质上来说,数据量更大,特别是现在从2D到3D地理信息系统的升级,3D的栅格数据需要更强大的数据存储能力和管理能力,还需要更为优化的数据格式(数据组织方式)。三、空间数据在网络中传输的问题及解决方案在网络化的地理信息系统中,如何把用户提交的有关地理空间信息的请求和返回结果数据通过网络有效地进行传输,是影响系统性能的重要因素。空间数据在网络上传输不仅受到网络带宽的制约,也与存储技术和数据组织方式密切相关,上面我们介绍了空间数据应该采取网络化存储技术。由于利用网络存储,各种地理信息的空间分析和处理就需要网络传输数据,而网络的不安全因素和网络的带宽成了空间数据传输的主要问题。空间数据在网络上传输时,主要有以下几个问题:1.数据的安全性问题在网络化地理信息系统应用日益广泛的今天,如何保证地理信息数据在网络中的传输安全是一个十分重要的问题。目前,OPENGIS等国际标准化组织正在加紧研究和制订地理信息共享方面的相关技术标准,但是,一套完整的系统结构规范还没有被普遍采用。不同的GIS厂商都根据各自的需求推出了不同的设计方案,总体来说主要包括:CGI方式、ServerAPI方式、Plug-in方式以及Java语言方式等等。基于以上几种方案构造的网络地理信息系统,它们在数据传输上具有以下特点:(1) 客户端与服务器端之间采用基于HTTP协议的浏览器与WEB服务器方式来进行数据传输。(2) 客户端与服务器端之间的数据传输基本上是以明文方式进行。虽然通用的浏览器和Web服务器目前都可以提供一些安全功能,但由于国外对安全产品出口的限制以及国内对安全产品使用方面的一些规定,这些功能还不能普遍适应国内的应用需求。(3) 在通信过程中,客户端与服务器端之间一般不进行身份鉴别或仅通过口令字方式相互进行身份鉴别。基于上述特点,网络地理信息系统在数据传输方面主要存在以下几个安全隐患:(1) 对用户身份的仿冒攻击者盗用合法用户的身份信息(比如用户的口令),以仿冒的身份与服务器端通信,骗取信息。(2) 对网络上信息的窃取攻击者在网络的传输链路上,通过物理或逻辑的手段,对合法用户与服务器端之间传送的数据进行非法截获与监听,从而得到其中的敏感信息。对网络上信息的篡改攻击者可能对网络上合法用户与服务器端之间传送的数据信息进行截获并且篡改其内容(增加、截去或改写),使数据信息的接收方无法得到真实的数据信息。针对数据的安全性问题,利用代理中间件构建一个基于代理中间件的网络地理信息系统数据传输安全平台。基于代理中间件构造的网络地理信息系统数据传输安全平台可以提供如下安全服务功能:(1)数据保密对需要传送的数据进行加密,以保证在被非法截取的情况下,未授权的用户无法得知其中包含的真实信息。(2)数据完整性对要传送的数据制作消息文摘,以确认数据在传输过程中是否被篡改。利用客户端和服务器端的公钥证书或利用生成的主秘密,实现双方之间的双向身份鉴别。2. 空间数据的传输速度问题空间数据的传输速度问题是一个由很多因素组合决定的。无论是从数据传输的分块处理,还是提高服务器的处理容量和网络的带宽,都能加快空间数据的传输。两种传统的空间数据传输模型WebGIS出现之后已经存在两种空间数据传输模型,分别是基于栅格的空间数据传输模型和基于矢量的空间数据传输模型。还有一些其他的加快空间数据传输的方法:利用矢栅混合数据模式:空间数据库是比一般的数据库要复杂,尤其在中更是如此。因为网络传输和带宽的限制,因此如何有效地进行空间数据的调度和显示就成为的技术难点。通过构造矢量和栅格混合系统数据结构,并在服务端和客户端建立各自的多级缓冲,采用多线程调度方法,解决一直影响系统运行速度瓶颈即网络带宽所带来运行速度慢问题,提高软件调阅空间数据的调度速度,加快页面响应时间。主要是加快浏览器调阅空间数据速度。建立矢量栅格混合数据模型,通过服务器多线程调度数据,主要分为三个线程进行数据的调用:数据传输管理线程、粗分辨率影像数据传输线程、精细分辨率影像数据传输线程。通过多线程,减少服务器的响应时间。客户端也采用多级缓存的技术。减少用户的等待时间。基于P2P技术的GIS数据传输方法:随着WebGIS用户数量的不断增加,传统的基于C/S结构网络传输模型已难以满足其不断增长的海量数据传输的要求。提出了一种新的基于P2P技术的GIS数据传输方法来解决该问题。借助相对成熟的P2P技术,由资源服务器搜索资源,然后建立连接,完成地图数据的传输,可有效地提高数据的传输速率。基于P2P技术的GIS数据传输是GIS领域的一个新的应用,它主要是对GIS地图数据在Web中的传输提出新的解决方案,使得数据传输不再完全依s靠服务端,提高了系统的响应速率。3. 空间数据(主要是矢量数据)的拓扑关系的传输问题有时候我们需要在客户端对地理信息进行一些空间拓扑分析和网络分析。这就需要我们在保证数据传输安全性的前提下,将用户需要的数据的拓扑关系传输到客户端进行分析处理。当然这个虽然不是主流,但是我觉得基于胖服务器的方式,每一个操作都要取决于网络和服务器的性能。摘要随着计算机的普及和发展,人们对有用信息的存储量越来越大,特别是网络技术的不断发展,数据成几何形式的增长,人们对数据存储提出了更高的要求。网络存储便成为一个非常热门的研究方向。本文剖析了目前五种主要的网络存储技术(DAS、NAS、SAN、iSCSI和CAS),从内部机理和性能等诸多方面对其进行了分析和比较,为有关人员选择适合自己需求的数据存储方式提供了一定的参考和帮助,并提出在相应的网络选型时应注意的问题,和怎样选择网络存储技术。最后结合现有的网络存储技术和存储虚拟化技术,探讨网络存储技术在GIS系统中的应用。前言早期的计算机和服务器上主要使用的DAS(DirectAttachedStorage)直接外挂存储技术。这种存储方式将外部数据存储设备都采用了直接挂接在内部总线上的方式,数据存储构成整个服务器结构的一部分。在早期的计算机和服务器数据的存储往往依赖于操作系统,同时计算机或服务器的处理及吞吐能力还有限,对数据存储的需求也不是十分巨大。在这种情况下,计算机和服务器仅仅采用外接较低容量的存储设备,是满足当时人们对数据存储的需求的一种比较合理的解决方案。但随着计算机处理技术,特别是网络技术的不断发展,数据也成几何形式的增长,人们对数据存储提出了更高的要求,DAS已经不能满足数据存储和管理的需求,新的存储技术网络存储就被提了出来。1网络存储的概念和特点所谓的网络存储就是通过网络存储设备,包括了专用数据交换设备、磁盘阵列或磁带库等存储介质、以及专用的存储软件,利用原有网络或者构建一个存储专用网络为用户提供统一的信息系统的信息存取和共享服务。网络存储的出现满足了人们对数据大容量存储、数据有限制共享、数据挖掘和信息充分利用、数据可靠性、数据备份与安全性、数据管理的简单化和统一化的要求。同时网络存储还具有很强的可扩展性,可以提供大数据量的信息传输率的特点。网络存储首先解决了原来分布式应用产生的大量“信息孤岛”的问题。在网络存储技术出现之前,大量的数据都以分散的方式存放在用户的各个部门之中,造成数据同步、集群计算时的困难,从而产生大量的“数据孤岛”。许多用户数据得不到有效发掘而成为垃圾,而与此同时用户又因为得不到有效数据而造成大量的损失。网络存储的出现可以有效的解决这一问题。网络存储的一个特点就是数据集中存储和管理,在一个或多个大容量介质中通过有效的管理软件,进行数据的存储,使得这些信息可以在控制下实现数据的共享,消除了“数据孤岛”现象。同时网络存储可以方便大型的数据仓库的建设,使得数据分析、数据挖掘等技术的应用更加灵活,对数据的管理更加简单、便捷。最后,网络存储使得建立安全备份机制和灾难恢复手段成为可能。原有分散的数据要进行数据备份和恢复,需要对每一台服务器、每一个数据库的数据逐一进行备份。在一个较大的网络环境中,服务器和数据库的数量都十分巨大,这使得备份成为一件十分繁杂的工作,同时出现疏漏的可能也大大增加。而网络存储出现以后,只要采用数据备份和灾难备份软件,这一问题就迎刃而解1。2不同网络存储技术的分析和比较网络存储在具体实现上由于采用技术和协议的不同,可以分成不同的几种类型,如DAS、NAS、SAN、iSCSI和CAS等,其中NAS和SAN是应用最为成熟和广泛的两种技术。下面分别介绍了这几种技术。DASDAS(DirectAttachedStorage)直接连接存储。这种基本的存储结构在校园网或办公环境中较为常见。存储器通过一个通用服务器连接在网络上,存储器与服务器之间通过传统的I/O总线通讯。客户机访问存储器上的数据时必须通过服务器进行存储转发,尽管这种技术存在I/O瓶颈、可扩展性差、存储升级均消耗服务器资源、管理成本较高等不足,但随着IDE硬盘技术的更新,以IDE硬盘为主要载体的RAID存储系统日益改进,这促使DAS方式仍具有一定的生命力。比如,用DAS实现本地存储,可以增加数据的安全性。目前的以太网络大多采用Client-Server结构。在这种网络中,多个主机所承担的任务通常有所不同。除网络交易需要一个数据仓库或数据库中心外,面对繁多而关键的数据,网管必须在本地加载本地存储设备实现数据保护。如果主机带RAID卡,可选择直连硬盘的方式;否则,可以选择磁盘阵列,当然采用DAS+IDE阵列的模式也有自身优势。NASNAS(NetworkAttachedStorage)网络附加存储。它是基于LAN的,按照TCP/IP协议进行通信,面向消息传递,以文件的I/O方式进行数据传输,也就是说,NAS使用的是平时我们一直在用的基于TCP/IP的局域网,并在上面进行数据传输的。由于数据的传输可以在原有的局域网上进行,所以NAS的建设十分简单,对数据的管理也十分的方便。同时NAS已经完全可以实现异构平台之间的数据级共享,比如NT、UNIX等平台的共享,特别适合于ftp等文件共享服务的应用。但是由于使用了与平时网络通信相同的网络,所以在网络带宽条件有限的情况下,它占用了宝贵的网络带宽资源,影响了网络的利用率,同时也使得NAS无法发挥其应有的性能。SANSAN(StorageAreaNetwork)存储区域网。它是在原来的局域网外,另外构建一个专门用于存储的网络结构,这个存储网络可以看成是一个高速的子网,这个子网中的设备可以从你的主网卸载流量(图1)。通常SAN由RAID阵列连接光纤通道(FibreChannel)组成,SAN和服务器和客户机的数据通信通过SCSI命令而非TCP/IP,数据处理是“块级”(blocklevel)。图1SAN的拓扑方案SAN结构以数据存储为中心,采用灵活的网络拓扑结构,通过具有高传输速率的光纤通道的连接方式,以传统SCSI协议传输数据的一种体系。SAN有许多优点,首先,SAN可以自由扩展,用户可以灵活地在SAN结构上添加各种存储设备,整个系统扩展起来十分方便灵活;其次,SAN结构采用光纤通道作为数据的传输方式,所以传输速率非常高;再者,SAN上数据传输以是块传输方式进行,在光纤上可以传输大规模数据;最后,SAN结构可以采用LAN-Free或Server-Free的方式进行数据的备份,使得备份工作可以方便快捷的进行。但是,由于SAN存储方式要构建一个专门用于数据存储的SAN结构,使得建设费用大为增加,同时在SAN结构中存储的数据以“块”的形式存在,也就是每一个应用在存储介质中都有一个专属于自己的区域,其他应用是难于访问这个区域的。这使得SAN互操作性较难,难于应用于大量存在的文件共享服务。最后SAN的建设难度大,需要专业人员管理。这些都是SAN的不足之处。iSCSI由于网络存储SAN结构投资十分巨大,一般用户企业很难承受。与此同时,NAS技术虽然成本低廉,但是在使用的时候需要消耗有限的网络带宽资源,无法完成大容量存储的应用,于是,提出了iSCSI技术。该技术是将现有SCSI接口与以太网络(Ethernet)技术结合,使服务器可与使用IP网络的储存装置互相交换资料(图2)。此技术不但价格较目前使用的业界技术标准FiberChannel来的低廉,而且系统管理人员也可以用相同的设备来管理所有的网络,并不需要以另外的设备来进行网络的管理。iSCSI作为IPStorage中最先得到应用得技术之一,它特别适合需要利用现有IP网络资源及IT技能拥有集中存储,但又不具备建设SAN结构的用户使用。图2iSCSI拓扑图CASCAS(ContentAddressedStorage)内容寻址存储CAS的提出是基于这样一种统计,即存储的数字化信息中,除了需要不断更新的数据外,有更大的一部分的内容是以固定的形式存在的最终信息,也就是这些信息的内容是不变的,如电台电视台已经播放的广播、影视、医学诊断中使用的MRI、X光、检查图像等,已经完成文档、CAD/CAM设计等等。而如前所述,现有的网络存储技术,不管是NAS还是SAN都没有对这种以固定形式存在的内容进行优化。应用CAS技术存储的数据都含有一个全球唯一的标识符。用户访问该信息的时候,只需在网络上发出带有这一标识符的信息,而不必去追踪被保存信息的物理位置,系统会自动根据这一标识符在网络搜寻到信息所存的位置,然后再将该信息反馈给用户。由于CAS存储对数据会分配一个标识符,存储的信息不能任意改动,所以CAS只适用于存储内容固定不变的环境中2。2.6比较以上介绍了DAS、NAS、SAN、iSCSI、CAS五种不同网络存储方式,下面的表格对他们进行一个分析和比较(表1),该表格充分说明了各种存储技术的特点和典型应用。DAS的存储磁盘是通过标准的SCSI的并行接口与数据服务器相连,客户端需要访问和管理数据必须通过数据服务器。那么在整个网络的拓扑结构中数据服务器成为了数据的中枢,也成为了系统的瓶颈。数据服务器的性能直接决定了整个网络数据服务的好坏,数据超负荷的运作,必然威胁到了数据服务器的安全和整个网络的安全,虽然目Idas存储系统推出了双机容错的方案,在一定程度上缓解了数据服务器的瓶颈效应,但是双机冗错软件在主备机上实时运行、实时占用系统资源,这与尽量减轻数据服务器的运算负担的设计原则是有些冲突的。因此,das系统多应用于一些中小型的企业内部的局域网,网络的数据传输量偏小,传输速率都在一百兆以内。NAS与DAS相比其主要的优势在于服务器的性能得到了巨大提高,把存储设备直接接到网络上,不再挂在服务器后端,避免了给服务器增加负担,而且nas存储设备在逻辑上也不再仅仅属于一台服务器,通过卷管理器,驱动器映射等多项技术,存储设备可以给多台数据服务器共享,单台服务器的故障不再会引起网络数据系统的全面崩溃。NAS存储系统的缺点在于数据网络与非数据网络并存同一个网络中,NAS数据流和非NAS数据流在不断竞争网络的资源。网络的特性必然影响NAS服务性能。在整个网络轻载时NAS的弊端不明显,但是如果NAS在做数据备份等大流量的操作时,数据包的丢失,数据包的乱序,非数据信息包对网络带宽的占用,都会对NAS的性能产生很大的影响。SAN技术的出现很好地解决了存储数据流和非存储数据流分离的问题。SAN存储系统是一项价格昂贵,性能卓越的方案。SAN(storageareanetwork)存储区域网络将SAN网络与应用网络有机地分离,客户端通过应用网络向各类服务器提出数据的请求,各类服务器通过SAN网络与存储设备进行数据块级的数据访问。面对迅速增长的数据存储需求,大型企业和服务提供商渐渐开始选择SAN作为网络基础设施。SAN适合于投资比较充裕,同时存在大量数据库信息的对数据吞吐、传输要求较高的环境中,如企业的ERP系统、联机处理系统等等的大型系统中或在银行数据存储、电视台的专业视频信息存储等领域得到了良好的应用。iSCSI则十分适合于投资有限,又想得到类似SAN功能的环境中。CAS则在由大量固定内容的医学影像系统、档案系统中可以发挥大量的应用。不过CAS系统目前在处在推广阶段,真正的应用还不多。表1不同数据存储技术的比较表NASSANiSCSICASDAS所使用的主要协议TCP/IPSCSIIP,SCSI未知无存储所使用的网络使用普通局域网专属与存储的网络同时使用现有网络无数据存储的类型文件块(卷)块对象(内容)文件数据的修改可变可变可变固定不变可变典型的应用环境文件共享OLTP(联机事务处理),DW(数据仓库),ERP投资有限,又想得到类似SAN功能的环境中医学影像,文档,设计方案等固定内容数据量较小,数据间关联性较低的地方建设投资低高中低低管理难度低高中中低3网络存储技术的选型3.1应考虑的几个因素对于网络存储,首先要明确应用目的。网络存储主要是用来解决数据的集中存储和任务的分布处理。数据的集中存储有利于把企业数据的战略资源统一进行保护,但是应用上要求能够分布获取信息。现在的存储方式DAS、NAS等有各自的用途。在网络存储设备的选型和技术的选择时,应考虑以下因素:1)可用性。用户应该了解网络存储系统容量、数据传输率、数据增长率等方面的要求。这是选择存储系统的出发点。2)兼容性。应最大限度地利用现有数据信息及存储资源,实现不同网络协议和异构操作平台间的互操作。如果原有系统运行于不同的操作系统平台,新增的存储系统应能被这些平台访问,以实现数据的共享与管理。还应注意存储管理软件的功能、性能与兼容性是否受限。3)扩展性。要考虑系统的可扩展性和不同部件之间的互操作性,尽可能保证在今后数据增长时,系统能方便升级,运行稳定。4)合理性。不同的要求对存储系统性能的要求很不一样。合理配置系统,优化存储层次,才能充分发挥存储系统的效率。5)安全性。作为网络存储系统,安全应给予一定的保证,要能够自动、手动、定时备份数据。3.2网络存储技术选择目前国内存储市场处在一种不平衡的发展状态。用户在开始配备存储设备时一般采用DAS(直连存储),以大量数据为关键业务的行业则采用NAS、SAN等先进的存储技术。SAN、NAS虽被看好,但是大多数用户在建设存储系统时基本以满足性能、容量需求为主,存储系统结构选用DAS(直连存储)模式较多。SAN是目前人们公认的最具有发展潜力的存储技术方案,而未来SAN的发展趋势将是开放、智能与集成。NAS是目前增长最快的一种存储技术,然而就SAN和NAS的发展趋势而言,在应用层面上二者将实现充分的融合。iSCSI也被认为是未来网络存储的一个发展方向。然而,不管SAN、NAS、iSCSI或虚拟存储技术,对用户来说,最重要的是拥有稳定、可升级、性价比最好的存储解决方案,而存储领域任何新技术和产品的发展,其最终目的也都是为了简化用户存储资源的利用和管理。用户在选择存储产品时,要根据自身不同的条件和需求来选择4。4网络存储技术在GIS中的应用地理信息系统(GeographicInformationSystem,GIS)是一门介于信息科学、空间科学与地球科学之间的新技术。GIS作为地学的第三代语言,将图像、图形、属性及专业模型融为一体,将地学空间技术与计算机技术相结合,通过系统建立、操作与模型分析,产生对资源环境进行区域规划,管理决策,灾害防治等方面的有用信息。目前GIS凭借其开放的应用平台、透明的访问操作和高时效性等特点已经逐渐走入人们的视野,空间信息系统的服务对象已经从面向单一用户扩展到为广大普通用户提供空间信息服务的方向。而数据存储管理技术作为GIS发展过程中的重要支撑技术之一,关系到整个GIS系统的应用性能。GIS的特点和数据存储需求GIS系统数据特点对空间数据的处理是GIS的核心功能,GIS中的数据通常描述三部分信息:空间信息(位置,空间关系等)、非空间的属性信息和时间信息。空间信息是GIS系统与其他管理系统的主要区别,由于其独特的空间特性,使GIS数据具有数据量大、数据结构复杂、应用广泛等特点。与传统的以独立主机结构为主的单机GIS系统不同,新兴的网络GIS具有更广泛的应用群体,主要表现见表2。表2单机GIS系统与网络GIS系统的差异GIS的数据存储需求及需要解决的问题GIS的发展对数据存储和数据管理提出了更高的要求,为满足日益增长的网络应用需求,需要有高效的数据存储传输能力、有效的网络安全控制机制以及基于网络的海量空间数据的快速存取与调度能力。海量数据存储管理能力空间数据应用领域迅速扩展,各级空间数据中心所采集、处理、存储与备份的各种类型空间数据呈海量增长的态势,海量空间数据的存储、管理及应用是GIS中首先要解决的问题。在目前,GIS的数据主要以文件和数据库的方式进行管理。海量数据处理能力海量数据的应用,涉及到数据的网络传输、处理的速度,多用户并发访问的调控等,数据的应用不仅依赖于采用软件的处理能力,还需要考虑网络带宽、服务器系统的负载均衡等问题。数据安全控制随着面向用户的增多,来自方方面面的各种安全隐患随之增多,网络GIS需要有完备的网络安全防范机制防止系统受到侵害。数据备份保护GIS多为面向多用户的应用和管理系统,要求系统具有持续可用性,可满足不同时段、不同需求的用户应用需求,系统数据需要有良好的存储备份机制,防止出现故障后系统的修复困难。4.2网络化存储技术在GIS中的应用随着地理信息系统技术的发展、数据采集技术水平的提高及数据源的增多,人们对地理信息认识了解的程度提高,各行业、各阶层的用户,对信息内容的需求逐渐加大,数据库的容量也随之增大,数据的存储管理也从一台机器的管理转到多台机器的存储和管理。采用网络存储技术进行地理信息数据存储,可以解决GIS中海量数据的管理问题5。实现海量数据的数据存储网络存储技术具有高度的可扩展性,通过存储设备和管理软件,采用SAN和NAS技术及各种存储虚拟化技术,可以使分布于网络中的资源包括存储设备、服务器和数据资源组合到一起,灵活地进行资源整合,接近无限制的增大数据的存储能力,达到统一部署、简化管理、降低维护经费的目的。同时,网络存储的数据高速传输率,使数据的存储传输、访问、反馈的可以在网络环境下应用。采用网络存储技术,对GIS的海量数据,可以将其存储在不同的设备上,以对开发者和用户透明的方式提供服务。实现基于网络的数据备份在GIS中,数据的备份和恢复是GIS的重要数据管理功能,是保证系统数据安全的重要措施。数据的备份,与数据的内容、数据的存储方式、数据的使用情况、数据更新的周期等紧密相关。基于网络存储技术,可以实现高速的文件归档,保证系统备份/恢复和应用中的一致性,简化存储管理,而不必再进行大量的数据复制和维护多个数据拷贝。通过制定备份策略,可以实现基于网络的多种方式的数据备份,进一步提高数据的备份效率和安全性。实现全方位的数据管理采用网络存储方式,可实现多级别、多层次的用户管理。服务器和存储设备的整合,可将存储在不同设备上的数据合并到一个整体的数据库或数据仓库里,使数据可以方便地进行管理和共享。多个附属服务器的快速访问和吞吐量;基于网络的远程或本地管理;可根据实际的软硬件配置,提供简单、快速、可靠、可扩展的数据管理解决方案,解决数据共享、数据保护、数据管理等一系列问题。4.3网络存储技术在GIS中的应用示例网络存储技术在GIS中的应用,根据不同的需求,可以有不同的应用方法,这里从数据库的备份方面,结合现有的软硬件设施,简单介绍其应用方式。拓扑结构使用NAS和SAN的不同方式的集成可以解决大部分网络系统中的数据存储问题而对于以海量的块级数据的传输和存储为主的GIS系统来说,建立SAN为核心的存储环境是十分必要的(图3)。图3网络GIS中应用SAN存储的拓扑结构图环境配置系统设备间的兼容性对系统的整体运行影响很大,因此需尽量使用同一品牌的软硬件产品,从而发挥设备的最优性能。如我们在核心存储设备和软件方面,均选用IBM公司的存储产品。4.3.2 虚拟化技术的应用在服务器端和存储设备的层面上将物理上的多个磁盘虚拟为一个存储空间,从而达到整合存储资源、提供海量数据存储空间的目的,最常用的虚拟化技术是磁盘的RAID技术。在数据库服务器等关键的服务器系统上通过阵列卡扩展多块高速的SCSI硬盘,利用逻辑卷管理功能将这些物理上的多个硬盘组成一个大容量的逻辑卷。对于服务器来说不仅增大了存储容量、提高了数据的存取速度而且也具备一定的容错能力。如图4所示,在FL00R2备份服务器和GIS应用服务器上分别配置6x72GB的SCSI硬盘,将6块盘做成一个级别为5的RAID逻辑卷后,在操作系统的磁盘管理器中只看到一个容量为365GB的磁盘空间。而在存储设备层面上,各种大型的磁盘阵列、磁带库本身就是将多个磁盘或磁带虚拟为一个逻辑卷,再映射到服务器上的。如图3所示,IBMFastT200光纤磁盘阵列是由60x72GB的光纤硬盘组成,通过光纤交换机,在各个服务器端看到的只是4个容量分别为819GB、956GB、880GB和980GB的逻辑卷。数据库备份方案的制定在备份方式方面,因为SAN具备LAN-free和Server-free的备份功能,所以数据库系统的备份方式选择较多。对于元数据库系统,使用基于OS的文件拷贝方式或专门的备份软件,将数据文件、控制文件、归档日志等直接备份到磁带库离线介质中冷备份方式就可以满足备份需求对于实时性数据库系统,使用逻辑备份、冷备份和热备份结合的方式备份数据库,如使用exp/mip来备份数据库的控制文件和日志文件,出现故障时,能够用mip快速重建数据库;使用OS拷贝方式,将重要数据文件异地备份;使用rman自动备份数据文件和归档日志,及时备份变化的数据。在备份策略制定方面,对于提供GIS元数据查询功能的原始数据库系统,如影像数据库,系统变化周期较长,对备份的实时性要求不高,所以不用制定自动的备份策略,在系统出现变化的时候及时进行全备份即能满足数据库的备份需求。而对于实时性要求较高、数据操作频繁的GIS应用数据库系统,就需要制定一个完整的备份策略,来维护数据库系统的数据安全(表3)6。表3网络配置4.4小结在信息化技术迅速发展的今天,地理信息已经逐渐渗透到各个应用领域,对地理信息处理的需求,也步入了实用性阶段,网络正成为GIS的主要信息传输途径。各类软硬件设备的发展,对GIS的发展起到了积极的促进作用,越来越多的地理信息数据需求,也为我们在软硬件配置方面提出了更高的要求。需要我们结合应用需求,合理调整现有资源,采用先进的技术手段,经济高效地进行资源配置,而网络存储技术以其广泛的扩展空间、良好的共享机制、日益经济的配置方案,必然会在今后的GIS发展中拥有广泛的应用前景7。结束语数据的重要性越来越得到人们广泛的认同。未来网络的核心将是数据,网络化存储正是数据存储的一个发展方向。截止2005年,80%的外部存储已经实现网络化。在未来515年,网络存储技术和市场在整个存储领域所占的比重还会增加。在这里我们介绍了网络存储的特点和优势,同时也介绍了五种不同的网络存储方式。当然网络存储还正处在不断快速发展的阶段,许多新的存储方式和协议也正不断地被提出,如FiberChannelOverIP、iSNS等等。所有这些技术的应用都将为数据的充分利用提供一个新的条件,为信息化建设提供良好的支持。网络存储技术以其广泛的扩展空间、良好的共享机制、日益经济的配置方案,必然会在今后的GIS发展中拥有广泛的应用前景。
展开阅读全文