海量多波束水深数据快速处理及质量检查方法

海量多波束水深数据快速处理及质量检查方法(睦海刚 张光华 卢之杰肖志峰肖静环)摘要：针对目前多波来水深数据的管理与应用存在的问题，提出了一种基于水深 数据块管理的多时相水深数据组织与管理方法，利用水深数据快速压缩方法来构建水 深金字塔模型，采用了实时投影、动态压缩和实时等深线生成技术来提高海量水深数 据快速可视化效果。同时还对水深浅点的查找方法进行了探讨，并介绍了基于单源和 多源数据的水深数据质量检查方法。最后设计并开发了 “水深信息管理系统”，该系 统在渤海航路扫测中得到了实际应用，取得了良好政策。关键词：多波来水深；海量数据管理；动态压缩；实时投影；实时等深线生成； 质量检查中国分类号：P335 文献标识码：A 文章编号:1001 - 4179(2008) 06 - 0018 -031概述随着测绘技术的发展，多波束测深技术在航路测量中的应用越来越广泛。多波束 测深仪最大的特点就是测点多、全覆盖、精度高、能够标准全面地反映水下地形起伏 变化情况，但是产生的数据量巨大，通常会形成TB级的数据量。多波束测量数据后处 理软件的应用十分广泛，然而到目前为止，大部分软件都集中在对原始水深的预处理 和成图水深的编辑管理上，对原始水深资料预处理后的海量数据的管理还没有过多的 研究，虽然目前在海量矢量电子地图和影像数据管理方法的研究已经比较成熟，但是 多波束水深数据具有不规则性和“补丁”式更新的特点，如何将数据进行有效的组织、 管理，并在有限的计算机硬件下进行快速视觉化成为海量多波束水深数据管理的关键 问题。另外，因其准确性直接关系到海上舰船航行的安全，因此如何对其质量进行有 效检查和控制也是必须关注的问题。本文正是针对以上问题展开了研究和讨论，提出 了一种新的海量多波束水深数据的组织管理方法，并重点研究了海量多波束水深资料 快速可视化技术、水深浅点查找和基于单源和多源水深数据质量检查方法，最后根据 上述理论和方法设计了 “水深信息管理系统”，该系统已在渤海湾航路扫测中得到实 际应用。2海量多波束水深数据的组织与管理海量多波束水深数据的组织与管理是多波束水深数据应用处理的关键问题，高效 的数据组织与管理是多波束水深数据应用的基础。由于多波束水深数据不仅数据巨大、 数据文件多，而且水深数据在时刻变化，需定期进行更新，且每次更新的区域都不尽 相同。因此，如何对海量的、多时相的、不规则更新的水深数据进行整体的有效规划 组织非常重要，同时数据的整体规划还要考虑其通用性、灵活性及扩展性。2.1多时相水深数据组织与管理在实际作业中，往往只需更新部分数据，这就造成了多个时期水深数据并存的局 面，形成了多时相的水深数据。从管理的角度看，多时相水深数据管理主要有两种方 式，见表1所示。表1多时相水深数据的管理及优缺点管理方式方法优也缺点基镰据更新每个画域数据都单独薮抵处理时圭敏提查询诅度时土较复城的时向赧本建库莅行分块存储谜常灵活，而且杂擞理可视亿和分发管理。测区级和数据块聘 案引荆用素引编码进 行魅查跖节约存皤空 间n的厘诚n基于忒深数相每次更新后的裁据以整数据在询速曜数据冗余需夏占曰大崖仲时间岸本 管埋个胰完整M式更新 曲建库,各数据库单 麒行豪据维护帮菅 Hn非常快鞘瞬同.本文在综合上述两种管理方法的特点的基础上，采用了一种新的方法，即基于水 深数据块的时间（时相）版本管理方法来管理多时相水深数据。此种管理模式的主要 原理是：将各个时期的水深数据按统一地理格网划分，对划分后的每一个水深数据块 进行时空编码（见图1）。对于多时相水深数据分析和统一的存储来说，基于数据块的时间版本管理方式可 以直接存取其中的任一水深块，进行统一的调度和管理，同时水深数据的更新和增量 存储以及其它的应用会更加灵活和方便。2.2基于LOD思想的水深数据金字塔模型的建立鉴于多波束水深数据海量性的特点，引入了 LOD技术思想，通过建立水深数据金 字塔模型来提高水深数据的实时缩放显示的速度，而且可以根据不同的显示需要调用 不同密度的水深数据，达到快速漫游的目的。水深数据金字塔采用的是瓦片金字塔的 构建原理，分块的瓦片金字塔模型能够减少数据访问量，提高系统的输入输出执行效 率，从而提升系统的整体性能，见图2。cJTmTTa 网3亡A E血0 1 1i B tt f DOOOJdGICKHHMH40200IOOOSIWQMOWOlWQ7mas如仲Bioctl蜘灿mmBknW岫一时知O0VQGI liffljfltaI Q J I M 3 F I i B图1基于水深数据块的数据存储模式图2水深数据金字塔结构采用水深资料构建金字塔时，首先把原始资料作为金字塔的底层即第0层，并对 其分块形成第0层块矩阵。在第0层的基础上进行水深压缩得到第1层，并对其分块得到 第1层块矩阵，如此下去构成水深数据金字塔模型。3海量多波束水深数据的快速可视化为取得理想的实时交互性能，在实现海量多波束水深数据的快速可视化过程中， 我们在使用双缓存机制、数据的动态装载和卸载等策略来提高水深数据的实时、快速 调度效率的基础上，重点对水深数据选取、显示主要采取的实时投影技术、动态压缩 和实时等深线生成术进行了探讨。3.1实时投影技术在水深数据显示时，由于航路扫测的跨度大、地域广，使用经纬度直接显示变形 太大，需要进行坐标变换，而且不同航路数据的坐标系统也不尽相同，为了保持原始数据的完整性和实测时投影后的坐标，在显示时采用了实时投影技术。实时投影是基于所有的坐标均存有经纬度（通过多波束测深仪得到的坐标首先就 是经纬度），在显示时，更需要设置参数、选择投影方式，然后在显示缓存中取出水深 点，进行投影变换，最后进行显示，同时也可以在显示后，更换投影方式或者投影参 数，然后重新进行投影变换，以达到要求显示的效果。本文主要涉及墨卡托投影、高 斯-克吕格投影、UTM投影3种投影。3.2水深数据动态压缩在水深数据显示时，采用动态压缩技术主要出于4个方面的考虑：多波束测深 仪在物理存储时是按“线”存储，分块压缩操作也是针对“线”进行的，水深数据显 示或成图需要“由线到面”的转换；在生成金字塔时，分别在每块的内部进行压缩， 没有考虑块边缘点的压缩情况，导致块与块的交界处点的密度与块内部不同，需要通 过统一压缩半径的动态压缩，实现屏幕显示点密度的均匀化；在动态调度数据时， 由于要进行无级缩放，所以很多时候调用的数据密度都大于当前要显示的密度，于是 需要进行实时的压缩；有时须根据不同需要进行显示，如不同时相的水深数据的重 迭显示或不重迭显示（按最浅原则显示或按最近时间显示），或者改变水深显示的密度， 这也需要动压压缩实现。动态压缩，即在显示时，根据需要和相应的要求对显示缓存中的所有的水深点进 行统一选取综合。在此压缩分为两级：一级为测线级的压缩，该级压缩为默认压缩， 其主要目的是为了实现水深点的基本显示即实现“由线到面”的转换；二级为项目级 压缩，该级压缩是可控的，可以选择重迭显示或不重迭显示（按最浅原则显示或按最 近时间进行压缩显示）。水深数据动态压缩效果与非动态压缩效果如图3与图4所示。通 过对比看出，动态压缩可以达到很好的显示效果。L二侧斤I比例R顷M图3无级缩放时动态压缩效果图4无级缩放时非动态压缩效果3.3实时等深线生成实时等深线生成主要是基于当前显示的数据即显示缓存中的数据可实时生成等 深线。由于每次显示的数据量非常有限，所以能够快速绘制出当前屏的等深线，其最 大好处就是能够和当前显示的水深数据完全吻合，不会出现因预先根据最低层资料生 成而产生的失真效果。同一区域无级缩放时实时生成等深线效果如图5所示，漫游时实 时生成等深线效果见图6。图5同一区域无级缩放时实时生成等深线效果实验证明，实时等深线生成不仅可以节约数据预处理所用的时间，根据感兴趣区 域或坐标的变化实时生成等深线，非常灵活，而且实时生成的等深线可以与当前水深 数据完全吻合，同时对解决不同投影间等深线的拼接问题具有良好效用。图6连续区域漫游时实时生成等深线效果4多波束水深资料的质量检查4.1基于加权平均值的浅点自动查找浅点是水深数据的关键数据，它直接关系到航行安全，因此快速查找出水深数据 中的所有浅点，并定位到该点加以确认，是非常有必要的。本文采用了一种加权平均 值的比较方法，即对每个水深点，首先求出落入以给定点（D0）为中心，以给定半径 的圆的所有水深的加权平均值Depth平，然后求出该点的值Depth0与均值Depth平的 差值& ,与给定的阀值& 0比较,若& 0大于0则为浅点。具体算法见下式：DepthD卬而Di） /: f = Depths - Depthar=l：=i式中Depthi （ i=1，2，N）为水深点的深度值；Di为水深点距D0的距离。该方法能够求出所有可疑的浅点，加以人为的判断，可以求出所有的浅点，见图7。图7浅点查找结果示意4.2基于单源水深资料的质量检查基于单源资料的水深数据质量检查主要是资料的自检查和分析，主要包括统计分 析、等深线分析、剖面分析等方法。在统计分析中，通过统计给定水深点和落入其“影 响圆”（半径给定）的其它水深点的深度差范围的百分比的分析就可以知道该点是否 为异常点；等深线分析中，通过等深线剖面曲线得到的峰值和谷值可判断该段航路的 通行情况，同时也可以根据曲线的变化程度来大致判断该段航路是否有异常；剖面分 析中结合二维显示图，很容易发现存在一个异常点或者是浅点，如图8在画剖面的参考 线有一个水深为20.1m的点（图中黑点），而它周围的水深都为25m左右，那么可以确 定该点为浅点或者为异常点。4.3基于多元数据的水深数据质量检查基于多源资料的水深数据质量检查主要是通过不同源的数据比对来分析水深数 据的质量情况，主要包括多剖面分析、互差统计分析、差值DEM和透明迭加显示方法。 多剖面分析通过多条剖面曲线的对比分析，直观地得到航路水深数据的准确情况，主 要用于直观判断数据的准确度，有时也用于对航路变化趋势的分析；互差统计分析采用一种“影响圆”的方法，算出基准点和圆内点水深差值，形成一个水深互差文挡进 行深度互差统计分析，在差值图上可以非常直观地判断水深数据测量的准确度，并且 可以分析和航路的变化趋势；差值DEM通过多个时相水深数据求差得到。通过差值DEM 的可视化可以直观判断不同时相间数据的吻合程度。图8单剖面图进行剖面分析5水深信息管理系统渤海超大型船舶航路招测工程是我国首次使用多波束测深仪进行的大规模航路 扫测，本次航路招测覆盖1227km2，测线里程达6500km，共生产多波束水深资料达1TB。 针对渤海超大型船舶路扫测工程的需求，开发了渤海航路扫测“水深信息管理系统”， 主要用于海量多波束水深数据的管理与应用。系统主要包括两个子系统。即二维显示 与分析子系统和三维可视化与分析子系统。系统的主要功能界面见图9、10、11和图12。图9二维显示与分析子系统图10三维可视化与分析子系统图11剖面对比分析图12三维航路显示下的剖面分析6结语本文资料针对目前多波束原始水深数据管理缺乏的问题，提出了一种有效的管理 海量多波束水深数据的方法。同时，针对目前在海量水深资料中浅点查找困难的问题， 提出了基于加权平均值的浅点快速查找方法、基于单源数据和多源数据的质量检查方 法，对多波束水深数据的质量检查取得了很好的效果。根据本文研究方法开发的系统， 已在渤海湾航路扫测中得到应用。下一步的工作是根据实际的应用需求，对多元数据 的质量检测方法进行深入研究和完善，并进一步推广应用。参考文献：1 赖仲淄，方兆宝，陈金火.EM120型多波束测深系统及在深海测量中的应用. 海洋测绘，2006，26（ 2）.2 张异彪.多波束勘测的特殊地形处理.海洋测绘，2004，24（ 3）.3 刘经南，赵建虎.多波束测深系统的现状和发展趋势.海洋测绘，2002，22（ 5）.4 王俊，张文诗，王建涛.多国幅海量数据电子地图快速显示的研究与实现.测 绘工程，2003，12（ 3）.5 许涌，万国龙.海量图像数据快速显示技术.计算机工程与设计，2003，24（ 6）.6 朱庆，李德仁.多波束测深数据的误差分析和.武汉测绘科技大学学报，1998, （1）： 1-4.7 Herlihy DR,et al.Filtering erroneous soundings from multibeam surveydate.Intematinal Hydmgraphic Review,1992,（2）:67-76.8 胡光海，周兴华.趋势面分析在水深测量数据处理中的应用.测绘工程，2004， 13（ 3）.9 David Luebke,Martin Reddy,Jonathan D.Cohen,et al.Level of Detail for 3D Graphics.San Francisco:Morgan Kaufmann Publishers,2002.10 桑金.多波束测深系统的验收试验与数据分析.海洋测绘，2001，（ 1）.作者简介:眭海刚，男，武汉大学测绘遥感信息工程国家重点实验室，副教授，博士 研究生。