医学图像三维重建的体绘制技术综述.doc

医学图像三维重建的体绘制技术综述摘要：体绘制技术是目前医学图像三维重建的主要方法之一，是一种能够准确反映出数据内部信息的可视化技术，是可视化研究领域的一个重要分支，是目前最活跃的可视化技术之一。本文首先分析了医学图像三维重建的两大方法及其基本思想，并将体绘制技术与面绘制技术进行了比较；然后分别描述了射线投射法、足迹法、剪切-曲变法、基于硬件的3D 纹理映射、频域体绘制法以及基于小波的体绘制等典型算法；最后通过比较分析给出了各类算法的性能评价，并在此基础上展望了体绘制技术研究的发展前景。关键字：体绘制；三维重建；可视化；性能评价Abstract：Volume rendering techniques is one of the main methods of 3D reconstruction of medical images currently. Its also an important branch of visual technology which can reflect the inside information of data. It is one of the most active visualization technology.This paper first introduces are the two methods of 3D reconstruction of medical image and the basic thought of them,then volume rendering technology and surface rendering technology are compared.Secondly,the author introduces some kinds of algorithm for volume rendering：Ray Casting ,Splatting,Shear-Warp,3D Texture-Mapping Hardware,Frequency Domin Volume Rendering,Wavelet .Based Volume Rendering.The differences of their performances are compared and discussed in the last. Then some results are presented and their perspective are given in the end.Key words:Volume rendering techniques;3D reconstruction of medical images;visual technology;Performance evaluation1.引言自20世纪70年代以来，利用计算机X射线断层投影（Computer Tomography，CT）、核磁共振（Magnetic Resonance Imaging，MRI）、超声（US）、数字血管减影成像技术（DSA）等医学成像技术可以得到的二维数字断层图像序列。但是仅依靠这些二维图像很难直观地体现或确定物体的三维结构及其相互之间的关系。由于物体的三维信息在医学诊断和治疗及其他临床领域所具有的特殊应用价值，使得三维医学图像的可视化技术越来越引起人们的关注。通过计算机图像处理技术可以对二维医学图像进行分析和处理，从而实现对人体器官、软组织和病变体的分割提取、三维重建及显示，进而辅助医生对病变体及其他感兴趣的区域进行定性甚至定量的分析，大大提高了医疗诊断的准确性和可靠性。2.医学图像的三维重建 医学图像的三维重建是研究利用各种医学成像设备获取的二维图像及彩色冰冻切片图像来构建组织或器官的三维几何模型，并在计算机屏幕上“真实” 地绘制并显示出来。根据绘制过程中数据描述方法的不同，目前医学图像三维重建的方法主要有两类：1. 通过几何单元拼接拟合物体表面来描述物体的三维结构，称为表面绘制方法，又称间接绘制方法，即面绘制法；2. 直接将体素投影到显示平面的方法，称为体绘制方法，即体绘制法。经过十几年的发展，医学图像三维重建已经从辅助诊断发展成为辅助治疗的重要手段。三维重建技术能充分利用CT 、MRI 等医学图像体数据，采用面绘制或体绘制的成像算法，根据需要得到任意视角透视的三维投影图像，构造三维模型，并对三维模型从不同方向投影显示，提取出相关器官的信息，能使医生对感兴趣器官的大小、形状和空间位置获得定量描述。基于表面的方法，即面绘制法是表示三维物体形状最基本的方法，它可以提供三维物体形状的全面信息。它的基本思想是从体数据中抽取一系列相关表面，并用多边形拟合近似后，再通过传统的图形学算法显示出来。表面绘制方法的处理过程主要包括下面三部分：体数据中待显示物体表面的分割；通过几何单元内插形成物体表面；通过照明、浓淡处理、纹理映射等图形学算法来显示有真实感的图像。经典的算法主要有立方块（Cuberille） 方法，移动立方体法(Marching Cubes)，MarchingTetrahedral（MT） 和剖分立方体法(Dividing Cubes) 等。面绘制技术需要对体数据进行判别分类，即需要判别每一个体素是否在当前绘制的面上，因此在处理复杂的、边界模糊的人体组织时，经常出现分类上的错误，从而造成虚假的面显示或在显示面上产生空洞。体绘制法是由Drebin 和Levoy 在80年代末提出的，该方法避免了面绘制技术中构造几何多边形等表面的中间过程，采用直接对所有的体数据进行明暗处理的方法，进而合成具有三维效果的图像。其优点是无须进行分割即可直接进行绘制，有利于保留三维医学图像的细节信息，增强图像整体的绘制效果。但缺点是需要对所有体素进行处理，加大了计算量，限制了图像的绘制速度。随着计算机、工作站性能的提高，各种分布计算和并行绘制算法和硬件环境的发展，以及医学体数据密度和分辨率的不断提高，面绘制的交互优势越来越不明显，体绘制优异的三维表现能力正在吸引使用者越来越多的注意力。可以预见，在不久的将来，体绘制技术将在越来越多的应用中取代面绘制技术，成为三维绘制的主要技术。另外，许多科研工作者从不同的角度提出了体绘制的加速算法，使体绘制的速度有了明显的提高，表现出很大的发展潜力。3. 医学图像三维重建的体绘制技术体绘制法是由Drebin 和Levoy 在80年代末提出的，该技术的中心思想是为每一个体素指定一个不透明度(Opacity) ，由光线穿过整个数据场，并考虑每一个体素对光线的透射、发射和反射作用。这里体素就是将三维图像中的每一像素看成是空间中的一个六面体小单元。光线的透射取决于体素的不透明度；光线的发射取决于体素的物质度(Objectness)：物质度愈大，其发射光愈强；光线的反射则取决于体素所在的面与入射光的夹角关系。因此，体绘制的步骤原则上可分为投射、消隐、渲染和合成等4 个步骤。 体绘制方法是对三维空间中定义的三维物体，从任意的视点来跟踪体素，赋予它一定的色彩和透明度，由光线穿越半透明物质时能量聚集的光学原理，进行色彩合成的成像操作。此种显示方法的特点是由灰度体数据直接显示，没有体数据到几何图元的映射过程，因而又称为直接体绘制法。体绘制算法按处理数据域的不同可分为空间域方法和变换域方法。前者是直接对原始的体数据进行处理显示；后者是将体数据变换到变换域，然后再进行处理显示。基于空间域的经典方法主要有射线投射法(Ray Casting) ，足迹法（又称抛雪球法）(Splatting) ，错切形变法(Shear-Warp) 等。基于变换域的方法主要有频域体绘制法(Frequency Domain Volume Rendering) 和基于小波的体绘制法(Wavelet .Based Volume Rendering)等。体绘制技术是直接研究光线通过体数据场时与体素的相互关系，所以无须构造中间面，因而体素中的许多细节信息得以保留，结果的保真性大为提高。因此从绘制结果来讲，体绘制的图像质量通常要优于面绘制。但是体绘制法对硬件的要求很高，运行速度比较慢。3.1 基于空间域的方法（1） 射线投影法(Ray Casting)射线投射法是一种典型的以图像空间为序的直接体绘制算法，他从屏幕上的每一个像素点出发，沿着特定的视点方向，发出一条射线，该射线穿过三维数据场，沿这条射线选择若干个等距采样点，由距离某一采样点最近的八个体素的颜色值及不透明度值做三线性插值，求出该采样点的不透明度值及颜色值。在求出该条射线上所有采样点的颜色值和不透明度值以后，可以采用由后到前或由前到后的两种不同的方法将每一采样点的颜色及不透明度进行组合，从而计算出屏幕上该像素点处的颜色值。（2） 足迹法（Splatting）足迹法首先由Westover 提出，也译为抛雪球法，其原理是将体数据表示为一个由交叠的基本函数构成矩阵，基本函数通常选择幅值由体素值表示的高斯函数核（Kemel），然后根据一个预先计算的、存储着沿视线方向对函数核积分的足迹查询表，把这些基本函数投射到象平面以生成图像。其实质也可视为将体数据与函数核作卷积，再沿视线的反方向投射积累到象平面的过程。（3） 错切形变法(Shear-Warp)错切形变法(Shear-Warp）也称剪切曲变法，被认为是目前速度最快的一种体绘制算法。错切变形算法由Lacroute 提出，基本原理是将三维视觉变换分解成三维错切变换和两维的变形变换。体数据按照错切变换矩阵进行错切，投影到错切空数据按照错切变换矩阵进行错切，投影到错切空间形成一个中间图像，然后中间图像经变形生成最后的结果图像。(4) 基于硬件的3D纹理映射（3D Texture-Mapping Hardware）基于硬件的3D纹理映射首先是由Cabral应用于无明暗处理的体绘制。其方法是首先将体数据装载到纹理内存，再由硬件将平行于视平面的多边形层片转变为图像。这些层片是由后向前地进行融合，插值滤波器为三次或四次线性函数，而层片间的距离可以任意选择。目前，这种方法已被推广应用到具有明暗处理的体绘制中。3.2 基于变换域的方法（1） 频域体绘制法(Frequency Domain Volume Rendering)变换域体绘制算法的理论基础是1993年Malzbender提出的傅里叶切片投影定理。频域体绘制法的基本原理是首先用三维傅立叶变换将空间域的体数据变换到频域得到离散频谱，然后沿着经过原点并与视正交的抽取平面对离散频谱进行插值，插值后的频谱再经过重新采样，得到一个二维的频谱，对其作二维傅立叶反变换即可得到该视方向上的空间域投影图。频域体绘制方法又可细分为傅里叶体绘制和哈特里体绘制。（2） 基于小波的体绘制法（Wavelet .Based Volume Rendering）基于小波的体绘制是一种通过对体数据进行三维离散小波变换，以构成体数据的多分辨率表示，然后代入到体绘制方程中来生成三维图像的方法。它包括小波足迹法（Wavelet Base Splatting）和小波域射线投射法（Ray Tracing in Wavelet Space）。前者的基本思想是将体数据的三维离散小波变换的近似结果直接代入到体绘制方程中求解，从本质上来看它是射线投射法在小波域的实现；后者的基本思想是利用傅立叶频域绘制先得到每个小波和尺度函数的足迹，再通过小波系数加权得到投影图像。4. 各种算法的比较分析射线投射法是采用为每个体素分配不透明度和光强的方法来合成图像，因此有利于保留图像的细节，绘制高品质的图像，特别适用于绘制区域特征模糊、体素特征相关性高的三维图像。但是因为需要对每一个体素都进行操作，所以极大地限制了绘制速度。为此人们对射线投射法提出了各种的加速算法，如可以略过三维图像空区域的空间跳跃算法（Space-Leaping）、累积透明度接近于数值1时终止射线投射的射线提前终止法（Early-Ray Termination）等。足迹法最大的优点是只有与图像有关的体素才会被映射到象平面，从而可以大大地减少需要处理和存储的数据量。足迹法用经过一个足迹样条的采样均值来代替射线投射法的点采样，这相当于引入了一个低通滤波器对信号进行平滑滤波。这样一来，一方面有利于克服图像的失真或混叠，但另一方面有时也会使图像的高频分量受到衰减。足迹法也有应用类似于射线提前终止法概念的加速算法:基于动态计算屏幕阻塞图（Screen Occlusion Map）的足迹提前终止法。在错切形变法算法中，体素行程是按不透明度的初分类进行RLE编码的。这就需要在三个主视方向上构造出独立的编码体素；因为采样插值仅仅出现在剪切出的体素层，因此直接体绘制积分的间距是与视相关的，且不能任意改变来满足沿射线进行密集采样（或过采样），这样在非主视方向上可能不能遵守采样定理，特别是在视域的分辨率高于体素分辨率时，会导致所绘制的图像品质明显下降。3D纹理映射的实现需要昂贵的专用图形硬件，对于较大规模的医学体素据则需要在有限的纹理内存中（在较小的机器中通常为4M）反复搬动数据。限制3D纹理影射绘制图像质量的主要因素归结于其画面帧存储器（Framebuffer）有限的位分辨率（8-12 bits），这远低于软件算法中使用的浮点数的精度。特别是有限的位分辨率严重制约了不透明度加权颜色（或亮度）方法的使用，因为低不透明度的体素经不透明度加权后，其体素的颜色（或亮度）值会降低到帧存储器分辨率以下，这就限制了具有低不透明度、低密度体素区域的合成绘制。一种解决方法是按比例地放大体素颜色（亮度）值，但这样有时会造成其它区域值的饱和。频域体绘制法利用快速傅立叶变换（FFT）可以达到较快的绘制速度。由于可以在频域内灵活地根据不同的视对离散频谱抽取平面，因此可以便捷地得到不同视角的图像。但是由于不能保留体素的光吸收特性，因此不能得到半透明的图像。小波域射线投射法是射线投射法在小波域的实现，因此它具有射线投射法的许多优点，如高品质的图像、半透明的视觉效果以及可以加入各种明暗处理等，但缺点是计算量大，绘制速度慢。小波足迹法的最大优点是绘制速度快，可以达到网络交互级的速率，但缺点是绘制的图像质量呈现一种指数型的自阻塞特性。 表1 各种算法的比较分析体绘制算法图像品质绘制速度算法特点空间域射线投射法最高慢无需分割，可以利用不透明度得到整体的层次结构占用内存大足迹法高中等占用内存小，可渐进显示错切形变法中等最快占用内存小3D纹理映射较低快图像品质依赖帧存储器位分辨率变换域频域体绘制法较高快X光片效果，利用FFT算法简洁小波域射线投射法高慢可利用不透明度得到整体的层次结构，占用内存大足迹法较高较快X光片效果,可渐进显示,局部细节添加5. 研究展望随着现代医学影像技术日新月异的发展和各种医学数字影象设备技术的发展及广泛应用，医学图像三维重建的体绘制技术已经成为研究的热点之一。尽管目前体绘制技术的绘制速度仍然受到计算机运算速度的限制，但随着计算机技术的发展和体绘制算法研究的深入，可以预见体绘制的绘制速度很快能达到实时交互的速率。 当前体绘制技术的研究可以根据现有的硬件条件与具体的应用要求，寻求图像品质与绘制速度之间的最佳方案。在各类算法中，基于小波的体绘制技术表现出较好的应用前景，可以作为重点的研究内容，如克服小波足迹法中图像品质的自阻塞指数特性。随着计算机硬件技术的发展，基于硬件的3D纹理映射体绘制也表现出巨大的发展潜力，许多新技术、新方法有待于深入研究与开发。此外，在不影响图像品质的前提下如何将错切形变算法中的某些概念引入到射线投射法或足迹法中以提高绘制速度，以及足迹法的明暗算法等都是值得继续深入研究的问题。 目前国内的医学图像三维重建的体绘制技术研究依旧处于起步阶段，面对医学临床已具备的丰富的三维医学体数据和应用需求，尽快尽早地开展此类方面的研究具有广泛的应用价值和深远的发展前景。 参考文献1UposonC,FaulhaberT. V-Buffer: Visible volume renderingJ. Computer Graphics, 1988, 22(4), 59-642Westover L A. Interactive volume rendering A, Proceedings of the chapel hill on workshop volume visualization C. Chapel Hill: Department of Computer Science, University of North Carolifornia, 1989: 9- 16. 3Dong F, Gordon J. Volume rendering of fine details within medical dataA.In: IEET Visualization2001C. San Francisco: IEET Computer Society Press, 2001: 387-394. 4孙薇薇, 张桦. 三种体绘制算法的比较J. 天津理工大学学报, 2005, 21(4)5张尤赛, 陈福民. 三维医学图像的体绘制技术综述J. 计算机工程与应用, 2002, 8: 18-196洪锋, 梅炯, 李明禄. 医学图象三维重建技术综述J. 中国图象图形学报, 2003, 87李燕, 谭鸥, 段会龙. 三维医学图象可视化技术综述J. 中国图象图形学报, 2001, 68陈云芝, 张彬, 程维春. 基于Matlab 的人体切片的三维重建及可视化D9许元飞. 三维数据场可视化中体绘制技术的研究D. 西安: 西安科技大学, 200510彭延军, 石教英. 体绘制技术在医学可视化中的新发展 J. 中国图象图形学报( A 版), 2002, 12( 7): 1239-124611秦绪佳. 医学图象三维重建及可视化技术研究D. 大连理工大学博士论文. 200112王文举, 侯德文. 几种变换域体绘制算法的比较研究J. 计算机技术与发展J. 2008, 18(4)13石玉. 直接体绘制技术研究J. 电脑知识与技术. 2009, 5(10)14Totsuka T, Levoy M.Frequency domain volume renderingA. Coputer Graphics Proceedings, Annual Conference SeriesC, 1993: 271-27815缪琳. 三维数据场的信息处理与体绘制技术D. 200316Lacroute P. Analysis of apparallel volume rendering volume rendering systerm based on shear-warp factorization. IEET Transction Visualization and computer Graphics, 1996, (2): 218-231 17Westenberg M, Roerdink. Frequency domain Volume rendering by the wavelet X-ray transformJ. IEET Transctions on Image Processing, 2000, 9(7): 1249-126118孙宇阳. 基于单幅图像的三维重建技术综述J. 北方工业大学学报, 2011, 23(1)