医学图象三维表面重建技术研究

,单击此处编辑母版标题样式,#,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,医学图象三维重建及可视化技术研究,浙江大学CADCG国家重点实验室,1 绪论,1.1 引言,1.2 基于三维数据的建模与可视化,1.三维数据的来源与分类,2.三维数据建模及可视化研究内容,数据预处理,建模,绘制与显示,3.,数据建模技术综述,三维几何模型,基于三维数据的建模方法,1),基于断层轮廓的表面重建,2)基于体素的等值面重建,3)几何变形模型,4)体素建模,1.3 医学图象三维重建技术综述,1 医学图象的预处理,2,医学图象的分割,3,三维重建方法,4,模型的网格简化,1.4 医学图象三维重建在医疗中的应用,1 在医疗诊断中的应用,2 在手术规划及放射治疗规划中的应用,3 在整形与假肢外科中的应用,4 在虚拟手术及解剖教育中的应用,1.5论文背景及主要工作,1 论文背景及研究意义,2 本文的主要工作,1) 图象预处理，组织器官分割与提取,2) MC、MT算法构建表面几何模型,3) 模型表面网格简化，剖切与开窗,4) 由表面几何模型转换成实体几何模型,5) 适用于适形放射治疗规划的医学图象,三维重建系统的开发,2,医学图象预处理与人体组织的分割,医学图象预处理,分割流程,图2.1 三维医学图象分割流程,2.2 CT、MRI图象的获取与输入,2.2 二维图象处理与规则体数据封装,1 二维图象滤波,(1) 邻域平均法,(2) 中值滤波法,(3) 保持边缘滤波法,2 断层图象间插值,3 三维规则体数据封装,(1) 内存记录方式 (2),体数据文件格式,图2.4 体数据内存记录方式,2.3,交互分割过程,1 三维图象二值化,二值化结果,图2.8 断层图象二值化结果,2 数学形态学操作进行区域修整,(1),二值形态学操作简述,(a) 原图象 (b)结构元素,(c)对原图象的腐蚀 (d)对腐蚀图象的膨胀,图2.9 开启操作,(a)原图象 (b)结构元素,(c)对原图象的膨胀 (d)对膨胀图象的腐蚀,图2.10闭合操作,3 种子填充法进行组织提取,图2.12 交互分割结果,图2.13 对分割区域的重建,3,基于规则体数据的三维表面模型的构建,3.2.1 体素模型,(a) 方向无关的三线性插值模型 (b) 方向有关的三线性插值模型,图3.1 体素模型,3.2.2 等值面（IsoSurface）定义,1三线性插值结果,2等值面定义,等值面是三次曲面,3.3 移动立方体（Marching Cubes）算,法抽取等值面,1 MC算法的基本原理,a,体素中等值面剖分方式的确定,1）,如立方体顶点的数据值等值面的值，则定义该顶点位于等值面之外，记为“0”；,2）,如立方体顶点的数据值等值面的值，则定义该顶点位于等值之内，记为“1”。,8个顶点，每个顶点共有2个状态，因此共256种组合状态,根据互补对称性,256 128,根据旋转对称性，,256 15,(1)体素中由三角片逼近的等值面计算,(2)三角片各顶点法向量计算,2 等值面连接方式上的二义性,(a)连接方式二义性的二维表示,(b) 连接方式二义性的三维表示,图3.5 拓扑不一致造成孔隙,图3.4 MC方法的二义性,3.3.3,渐近线判别法,消除二义性,3.3.4 MC算法的重建结果及分析,256256109MRI表皮重建,（b）12812893CT颅骨重建,（c）12812893CT表皮重建,三角面片：696889,顶点：347322,三角面片：187559,顶点：94015,三角面片：137799,顶点：69331,图3.8MC算法重建的表面模型,3.4 移动四面体（Marching,Tetrahedra）算法抽取等值面,3.4.1 MT算法的基本原理,图3.9 立方体的四面体剖分,图3.10 四面体中的等值面,3.4.2 四面体剖分的一致性处理,图3.11 立方体剖分为四面体的不同方式,图3.12 两相邻立方体剖分不一致时共有面的剖分情况,图3.13相邻立方体公共面上的剖分一致性,3.4.3 相关性处理加速MT重建速度,1 体素内的相关性处理,2 体素间的相关性处理,图3.14 剖分后立方体的顶点及棱边编号,3.4.4 MT算法的重建结果及分析,(a) 128128113CT颅骨重建,（b）104185220CT脚骨骼重建,(c) 128128113CT表皮重建,三角面片：423998,顶点：211905,三角面片：365858,顶点：183056,三角面片：331290,顶点：165808,图3.15MT算法重建的表面模型,4.,三维模型的网格简化与模型的剖切,4.2 基于边收缩的网格简化算法,1 网格简化算法简述,（1）抽样（Sampling）,（2）自适应细分(Adaptive subdivision),（3）删除 (Decimation),（4）顶点合并 （Vertex merging）,2 基于边收缩的网格简化算法,Hoppe采用显式能量函数,E,（M）来度量简化网格与原始网格的逼近度Hoppe96：,其中,E,dist,(M),为,M,的距离能量，它定义为点集到网格的距离平方：,E,spring,(M),为弹性能量，这相当于在的每条边上均放置一条弹性系数为,k,的弹簧，即：,E,scalar,(M),度量,M,的标量属性的精度，而,E,disc,(M),则度量了,M,上视觉不连续的特征线（如边界线、侧影轮廓线等）的几何精度。,边收缩过程示意图,(a)收缩前,(b)收缩后,图4.1边收缩过程,4 网格简化结果,MT重建结果 简化50 简化90简化90表面绘制,MC重建结果简化50简化85 简化85表面绘制,4.3 三维模型的剖切,4,.3.1 模型三角面片的剖切处理,1 平面方程的确定,ax + by + cz + d = 0,2 三角面片与剖切平面的求交检测,定义空间一点P（X,Y,Z）,定义“距离”D：,D = aX + bY + cZ + d,则有：,1）若 D0，P点处在A半空间；,2）若 D0，P点处在平面上；,3）若 D0，P点处在B半空间。,图 4.6切面与三角面片的交,3 三角面片与剖切面的切割运算,4 表面模型的剖切,(1),边表和顶点表均为动态链表结构,(2),表面模型的剖切,计算,class Cedge,class CedgeVertex,4.4 剖切截面的生成,4.4.1 边界多边形包含关系检测与确定,1 封闭环的检出,2 封闭轮廓的包含性检测,夹角之和检验法:,4.4.2 剖切面区域的三角剖分,1.任意平面多边形Delaunay三角剖分示意图,图4.11 图4.7对应轮廓的三角剖分,4.5 手术开窗操作,开窗操作一般是用,立方体,或,棱柱,对重建模型进行切割，模型处于剖切体之内的部分被切割掉，之外的部分被保留下来。,4.6,实验结果分析,图,4.12,模型的剖切与开窗,(a)剖切 (b)开窗 (c)开窗,5,由基于轮廓重建的表面模型构建实体几何模型,5.1 引言,5.2 相关工作,（1）提取边界轮廓线,（2）提取轮廓线上的特征点,（3）轮廓对应,（4）三维表面重建,（a）轮廓线,（b）基础轮廓表面模型,（c）左分支表面模型,（d）右分支表面模型,图5.3 轮廓及表面子模型,5.3 实体几何模型的构建,1,边界模型的数据结构,图5.4 系统B- rep模型的数据结构及半边的结构示意,2 实体造型的基本操作,欧拉特征关系：,其中v、e、f、s、h分别代表顶点、边、小面、壳和孔。,基本的欧拉操作包括如下互逆的5对：MVFS，MEV，MEF，MEKR，KFMRH；KVFS，KEV，KEF，KEMR，MFKRH。其中M表示构造，K表示删除，S、E、V、F、R、H分别表示体、边、顶点、面、环、孔。,3 由轮廓重建的表面模型重建实体几何模型的方法,用图5.10(a)的表面模型说明构建实体的主要步骤：,(a),(b),（b）光照图,图5.11 实体模型,（a）线框图,实体几何模型的构建结果,6,适用于适形放射治疗规划的医学图象三维重建系统的开发,图象输入 二维图象预处理 图象分割与提取 三维重建,（CT/MRI） （滤波、插值） （自动分割、手工勾画）,（MC、MT表面重建）,病变体投影轮廓照射射束设置,效果显示 几何操作,（由此计算光栅廓线） （放射治疗规划）,（ 颜色、半透明） （剖切、手术开窗）,图6.1三维重建过程示意图,重建系统结构,图6.2系统结构,系统程序流程,图 6.3 系统程序流程,系统数据结构,图6.4 系统数据结构,系统界面,治疗射束安排与光栅轮廓线计算,7,结论与展望,7.1,工作总结,(1) 对输入图象进行了滤波、断层插值并封装成规则体数据。定义了体数据的内存记录方式及外存文件格式，压缩存储空间。,(2) 提出并实现了三维医学图象交互分割的方法，交互分割的技术路线是：先分析断层图象，交互给定分割阈值，对图象二值化，然后选择适当的形态学操作进行区域修整，最后用种子填充的方法填充出所要区域。,(3)实现了MC算法和MT算法构造表面模型。针对MT算法，为避免体元棱边与等值面交点的重复性插值计算，提出了相关性处理方法。采用相关性处理，加快了MT算法的重建速度。,(4) 实现了Hoppe的边收缩算法，重建模型经简化90，依然能较好地保持原模型特征，基本不影响视觉效果。模型经网格简化，绘制时间大大缩短，提高了交互时绘制能力。,(5)提出了对重建模型实施剖切及手术开窗的一种方法。,(6)提出了基于轮廓重建的表面模型构建实体几何模型的方法实现步骤。可作为造型系统的一种造型方式。,(7),开发了一个适用于多叶光栅适形调强放射治疗的医学图象三维重建系统。提出并建立了系统数据结构，提出了自动分割与手工勾画轮廓的方法。对分割出的组织重建其三维几何模型，并对模型实现了网格简化。实现了治疗射束的设置及多叶光栅轮廓的计算。,7.2,展望,（1）基于知识模型的医学图象的分割,（2）多模态图象的匹配和融合,（3）表面绘制与直接体绘制的结合,（4）虚拟手术工作环境,谢谢大家光临！,