大规模数据并行可视化与交互环境

大规模数据并行可视化与交互环境?沈恩亚+王攀李思昆蔡勋曾亮王文珂1（国防科技大学计算机学院，长沙410073）*Large-scale Data Parallel Visualizati on and In teracti on Evioro nment1+ 1 11 1 1Shen En-Ya , Wang Pan , Li Si-Kun , Cai Xun , Zeng Liang , Wang Wen-Ke"School of Computer, National University of Defense Technology, Changsha 410073, China）+ Corresponding author: E-mail: shenenya.nudtReceived 2002-10-08; Accepted 2003-01-05Abstract : As the development of supercomputer, the scale of the numerical computation result from supercomputer is becoming larger and larger. Usual visualization systems are not able to handle with such large data effectively; as a result, special researchers could not efficiently analyze their data. With ParaView, an open source platform, we developed a large CFD data parallel visualization environment CPVE based on TianHe-1A.CPVE hasabundant useful functions for CFD, like data pre-processing, feature extraction, volume rendering, geometric rendering, texture-based visualization, interactive visualization and so on. We also built stereo display environment and developed 3D interaction tool. In the end, we apply our environment into datasets with various scale and type.Key words :Large-scale visualization; Scientific Visualization; Parallel Processing; Human-Computer Interaction摘 要：随着超级计算机计算能力的不断提高，依赖于超级计算机的数值模拟等计算所生成的数据规模越来越 大。常用的可视化系统已经无法有效处理大规模数据，直接导致相关研究人员无法有效分析所计算的结果。为此,本文基于天河-1A超级计算机，利用ParaView开源平台构建、开发了面向计算流体力学的大规模数据并行可视化 环境CPVE。CPVE不仅具有完善而实用的大规模三维定常和非定常流场数据预处理与特征提取、体绘制、几何 图形（流线、等值面等）绘制、纹理绘制等可视化与交互功能，而且，根据领域专业特点以及三维场景可视化的 需求，基于三维力传感器交互设备Falcon开发了三维交互模式，提供了有效的三维交互手段。将该环境应用于不同类型、不同规模的三维流场数值模拟数据可视化，结果表明该环境具有高效性、先进性和实用性。关键词：大规模数据可视化；科学计算可视化；并行处理；人机交互中图法分类号：TP301文献标识码：A? Supported by the National Natural Scienee Foundation of China under Grant No. 60873120, 61170157 (国家自然科学基金 );theNatio nal Gra nd Fun dame ntal Research 973 Program of Ch ina un der Grant No. G2009CB72380(国家重点基础研究发展规划 (973); XXproject No. 2011AA7123022作者简介：沈恩亚(1985 -),男,江苏邳州人，博士研究生，主要研究领域为科学计算可视化，人机交互，可视分析;王攀(1983 -),男，内蒙古包头人，博士研究生，主要研究领域为并行计算，科学计算可视化；李思昆(1941 -)，男，教授，博士生导师，主要研究领域为科学计算可视化,虚拟现实,SoC;蔡勋(1971-),男，副研究员，主要研究领域为科学计算可视化；曾亮(1970-),男,研究员，主要研究领域为虚拟现实，科学计算可视化；王文珂(1981 -),男，博士，讲师，主要研究领域为科学计算可视化.沈恩亚等：大规模数据并行可视化与交互环境9611引言目前超级计算机的峰值计算速度已经达到每秒千万亿次1，其中具有代表性的天河 -1A2超级计算机峰值速度为2.67 PFIops（ 1 PFIops等于1千万亿次）。这样的计算速度使得一些大规模计算成为可能，以计算流体 力学（CFD ）大规模数值模拟为例，广泛应用于航空航天装备研制、汽车制造、城市规划等领域的CFD数值模拟需要大量的计算，并已成为超级计算机的重要应用领域之一。以往计算千万量级网格规模的二阶数值模 拟需要数天乃至月时间，而达到亿量级规模的二阶数值模拟所需要的时间则更长，如此规模的高阶数值模拟 更是无法计算。而现在，不仅亿量级网格规模的二阶数值模拟可以快速完成，亿量级网格规模的高阶数值模 拟也可以在数天内完成。这些都为CFD研究人员研究基础理论、设计验证物体（例如飞行器）外形等提供了前所未有的可能。然而，基于天河-1A实现的如此大规模的计算所产生的数据已逐渐接近TB级，如此规模的数据对之后的数据可视化与交互提出了严峻的挑战：常用的商用可视化工具已经无法有效处理这种规模的数据。因此， 在CFD研究人员以高分辨率模拟复杂物理现象与从结果数据获取知识之间形成了明显的鸿沟3。这已成为CFD和可视化研究人员面临的关键而迫切的问题。为此，亟需研究开发能够有效处理大规模数据的高性能并 行可视化与交互环境。国际上众多的超级计算机都配置和构建了相应的并行可视化环境。其中具有代表性的BlueGene4和Cray呵超级计算机基于开源的ParaView6和Visit并行可视化软件平台构建了各自的可视化和交互环境，Kcomputer配置了自主开发的并行可视化工具。Visit以及ParaView作为基于 VTK开发的通用可视化和交互软件平台，具有开源、跨平台、良好的并行处理能力和可扩展性等特点。基于天河-1A超级计算机，我们利用ParaView开发了面向 CFD的并行可视化和交互环境CPVE，面向CFD应用的专业特点对 ParaView平台的功能进行了重构，针对CFD数据结构进行了数据预处理加速，以及并行可视化算法优化。CPVE不仅具有完善而实用的大规模三维定常和非定常流场数据预处理与特征提取、 体绘制、几何图形（流线、流面等）绘制、纹理绘制等可视化与交互功能，而且，根据领域专业特点以及三 维场景可视化的需求，基于三维力传感器交互设备Falcon9开发了三维交互模式，提供了有效的三维交互手段。将该环境应用于不同类型、不同规模的三维流场数值模拟数据可视化，结果表明该环境具有高效性、先 进性和实用性。2大规模数据并行可视化环境的系统结构大规模数据并行可视化环境CPVE包括硬件环境和软件环境两个部分。2.1硬件环境系统结构4- * T* -T I“玉河1屮互连通偵井乘饨I I i1UJ I1MBJ IW BlIUBjnMBJIUlBJraiBJMJMIU IBJ KMBJMI-天阿-IT特入*出井乘皎Fig.1 Hardware Structure of the visualization environment on TianHe-1A图1基于天河-1A超级计算机构建的可视化环境硬件结构图沈恩亚等：大规模数据并行可视化与交互环境#沈恩亚等：大规模数据并行可视化与交互环境#m看寄.国左控翎塔ig 1<6辅 AJ i KVM)1fririhrid MF"+ -R#RfririhMid M tW4*kiffailBand H 辂全鼻机InliniMmd -叫 L13InllnHMid 码-FJEUhFTi：23misj卡K*il&4AAr：KVM：i1>以公阿克换机lnlHind 阿 R沈恩亚等：大规模数据并行可视化与交互环境965Fig.2 Hardware Structure of the visualization environment in detail图2 并行可视化服务器硬件配置结构图我们开发的并行可视化环境基于天河-1A完成，如图1所示。CFD数值模拟在天河-1A超级计算结点完成，计算结果保存在存储结点，并行可视化服务器通过I/O服务结点访问存储结点的数据。客户端与并行可视化服务器采用千兆互联网连接，实现了客户端对并行可视化服务器的交互控制。可视化结果既可以在客户 端显示，也可以在大屏幕立体显示系统上显示。并行可视化服务器结点的详细结构如图2所示，其中包括 24个结点，服务节点型号为ESC 4000，每个结点包括双路六核 CPU( Intel X5675，3.07GHz)，96GB DDR3 内存，双路 M2050/Quadro 5000/6000 显卡， 操作系统为 Win7和RHEL5.5。互联通信网络采用Mellanox InfiniBand IB QDR /10GigE。可视化服务器结点实景图如图3(a)所示。桌面客户端采用 NVIDIA Quadro FX 4600 显卡，NVIDIA GeForce 3D VISION 立体眼镜，优派 ViewSonic 显示器，三维交互设备采用 Novint Falcon，如图3(b)所示。立体投影采用双路 M-Vision Cine 3D 投影机，屏 幕为120。环幕，如图3(c)所示。(a)(b)(c)Fig.3 Real Scene Pictures: (a) Sever nodes of the visualization environment; (b) Client with Stereo display and 3D interaction device; (c) Stereo Projection on the 120° Circamara图3实景图：(a)并行可视化服务器结点；(b)可视化服务器桌面客户端，包括立体显示与三维交互式;(c) 120 °环幕立体投影2.2软件环境系统结构基于2.1节所述的硬件环境我们开发了CPVE的软件环境，如图4所示。在底层，CPVE软件环境利用可视化服务器的多 CPU多GPU硬件架构以及相关的Falcon立体交互设备，使用 C+等工具建立。在此基础之上，基于CFD的专业特点，利用 VTK等开发的ParaView组建数据预处理、二维可视化、三维可视化、交 互分析、并行处理、插件管理以及立体显示模块，利用Chai3D10构建立体交互模块。Chai3D是斯坦福大学的Francois Conti等人开发的用于立体交互设备开发的开源平台。该平台为基于Falcon开发立体交互提供了有益的参考。CPVE的数据预处理模块能够并行读取多种格式的数据文件，二维可视化模块具有切面、统计曲线等可视化功能，三维可视化模块具有流线、等值面、体绘制等可视化功能，交互分析具有数据筛选、重 计算等可视数据分析功能，并行处理模块具有数据划分、数据调度管理等功能，插件管理模块支持动态管理 自定义功能，立体显示模块支持主动式和被动式的立体显示功能。CPVE软件环境提供统一的交互接口交q.按口膛1鎂.化撬块5E.Mt疑井厅处匹舞件讲理Para View-. VisitVTK、ICE-T-C-H-, QpthGL Ki Pi.Fig.4 Software Structure of the visualization environment on TianHe-1A图4基于天河-1A超级计算机构建的可视化环境软件结构图在并行模式下，CPVE常以客户端/服务器（C/S）模式运行。其中的服务器端又可以分为数据服务器以 及绘制服务器，不同的服务器端可以在相同，也可以在不同的结点上运行。值得说明的是，虽然CPVE基于ParaView开发实现，但是常常需要深入到下一层模块。例如在构建数据的相关模块，所以在再开发过程中时常 常常需要深入到 VTK以及ICE-T中。Chai3D基于Falcon等设备的硬件接口预处理模块时，利用ParaView相关数据读入功能时需要涉及到Visit需要深入到Visit相关部分中；在构建可视化模块以及并行处理模块时， 有时也需要深度到底层模块，例如在开发立体交互模块时，需要参考 实现该模块的功能。3交互可视化交互可视化功能直接影响专业人员CFD专业人员是通过交互可视化接口使用大规模数据可视化环境的。对可视化环境的使用效果。 CPVE提供了面向CFD的专业化菜单交互和直接三维交互功能。3.1菜单交互CPVE根据CFD专业特点，参考 Tecplot11以及EnSight12等面向CFD的常用后处理软件，并经过与相关专业人士的反复沟通之后，设计并实现了具有 CFD领域特色的交互菜单。如图5所示，虽然CPVE的整体布局维持了 ParaView的原有风格，但是进行了如下重构：1）主菜单重构；原有 ParaView将其约150个功能主要功能统一集中于源（Source）和过滤器（Filter）中，如此繁多的功能对于专业领域人员形成明显的负担，本文将这些功能逐一进行分析、筛选，保 组织，经过与 CFD专业人员的反复沟通、修改，最后将相关功能分成绘图、插入、数据、并行、分 析等五类，若干子类。留适用于重新Fig.5 CPVE Interface 图5 CPVE交互界面2）根据CFD专业习惯，将快捷菜单的功能进行了扩充调整，具体地，将对象快捷菜单添加“删除”功能,将场景快捷菜单添加“设置视点”、“保存视点”以及“保存截图”功能。3）值得一提的是，我们将经过前两步重构得到的后处理软件环境进行了中文化，有助于中文使用者利 用CPVE进行专业的 CFD可视化和后处理。3.2三维交互在三维可视化场景中，传统的鼠标交互需要将二维操作映射到三维，这就导致交互过程的不直观，也造成交互操作的歧义性（主要岀现在垂直于屏幕的深度方向）。为此，本文基于 CPVE设计并实现了直接的三维交互方式，如图 6所示，CPVE捕捉三维交互设备 Falcon手柄的位置以及按键信息，然后分别将位置信息 从设备坐标系映射到世界坐标系，按键信息映射到平移、旋转、缩放等交互操作。最后，根据手柄位置信息在三维空间绘制相应的虚拟手柄，实时显示用户交互手柄在虚拟三维对象空间的具体位置，并借助立体显示,增强三维空间的相对位置信息，如红色矩形框所示；同时，根据映射之后的交互操作修改视点等。如此即实 现了可视化结果的三维交互。Fig.6 3D Interaction Process in CPVE图6 CPVE三维交互过程4实验结果与分析4.1功能验证首先，本文利用典型的 CFD模拟数据验证 CPVE的功能的实用性，如图 7所示，从左至右，从上至下分 别为：利用三角翼物面数据验证面绘制以及颜色映射；利用返回舱数据验证切面功能；利用鱼周围流场数据 验证等值面功能；利用钝锥数据验证体绘制功能；利用双三角翼数据验证纹理功能；利用简化的三角翼数据 验证流线以及多视图功能Fig.7 CPVE Fuctions Validation 图7 CPVE功能验证4.2大规模数据处理为了验证并行可视化环境CPVE处理大规模数据的能力，本文采用通过天河-1A数值计算得到的四个大规模数据，如表 1所示。可见，数据的网格规模在亿量级，数据规模达到GB级。部分实验后处理结果如图8所示，上面一行为同一数据不同可视化方式（表面、流线以及切面）的并行绘制结果，下面一行为同一数 值模拟过程不同迭代步数的并行绘制结果（从左到右分别为3000、5000以及7000步）。Table 1 Large-scale Datasets表1大规模数据网格规模数据规模并行读入时间并行绘制时间TRAP-wing170,661,6346.0 GB1.2 S0.04 SSlice803,736,00047.9 GB9.3 S0.2 SS10231,342,5728.3 GB1.5 S0.05 STQW576,042,38221.6 GB4.3 S0.1 S5 总结本文介绍了基于天河-1A超级计算机构建的面向 CFD的大规模数据并行可视化与交互环境，包括硬件结构以及软件结构，然后从面向CFD的菜单交互和新型的三维交互说明了本环境的特有属性。通过不同规模与类型的数据可视化验证了本环境的高效性和实用性。下一步将研究开发新的纹理平流可视化算法、基于聚类 的交互可视化方法以及面向大规模计算的本位可视化技术。References :1 Dongarra J. The international top 500 list for computers. http:/www.top500.org2 SJ Yang, XK Liao, K. Lu, et al. The TianHe-1A supercomputer: its hardware and software. J. computer Science and Technology, 26(3): 344-351, 2001.3 KL Ma, CL W, HF Yu, et al. Next-Generation Visualization Technologies: Enabling Discoveries at Extreme Scale. DOE SciDAC Review, 12:12-21, Spring 2009.4 The BlueGene/L Team. An overview of the bluegene/l supercomputer. In SC 2000 Hight Performance Networking and Computing, 2002.5 RM Russell. The CRAY-1 computer system. Commun. ACM 21(1): 63-72, 1978.6 Henderson A. ParaView Guide, A Parallel Visualization Application. Kitware Inc., 2005.7 VisIt Home Page: http:/www.fz-juelich.de/zam/visit/.8 WJ Schroeder, KM Martin, et al. The VTK User' s Guide, Kitware Inc, 1998.9 Falcon Device Home Page: http/10 Conti F, Barbagli F, Morris D, Sewell C.“ CHAI 3D: An Open-Source Library for the Rapid Development of Haptic ScenesWorld Haptics, Pisa, Italy, 2005.11 Tecplot Home Page: 12 EnSight Home Page: Fig.8 Post-processing of Large-scale Datasets. Up: TRAP-wing; Bottom: Slice 图8 大规模数据后处理。上：TRAP-wing ;下：Slice。