医学图象三维重建及可视化技术研究课件

资料仅供参考,不当之处，请联系改正。1 绪论绪论1.1引言引言1.2基于三维数据的建模与可视化基于三维数据的建模与可视化 1.三维数据的来源与分类 2.三维数据建模及可视化研究内容数据预处理建模绘制与显示1绪论1资料仅供参考,不当之处，请联系改正。3.数据建模技术综述 三维几何模型 基于三维数据的建模方法 1)基于断层轮廓的表面重建 2)基于体素的等值面重建 3)几何变形模型 4)体素建模 3.数据建模技术综述2资料仅供参考,不当之处，请联系改正。1.3 1.3 医学图象三维重建技术综述医学图象三维重建技术综述 1 医学图象的预处理 2医学图象的分割 3三维重建方法 4模型的网格简化1.3医学图象三维重建技术综述3资料仅供参考,不当之处，请联系改正。1.4 1.4 医学图象三维重建在医疗中的应用医学图象三维重建在医疗中的应用 1 在医疗诊断中的应用 2 在手术规划及放射治疗规划中的应用 3 在整形与假肢外科中的应用 4 在虚拟手术及解剖教育中的应用1.4医学图象三维重建在医疗中的应用4资料仅供参考,不当之处，请联系改正。1.5 1.5论文背景及主要工作论文背景及主要工作 1 论文背景及研究意义 2 本文的主要工作1)图象预处理，组织器官分割与提取2)MC、MT算法构建表面几何模型3)模型表面网格简化，剖切与开窗4)由表面几何模型转换成实体几何模型5)适用于适形放射治疗规划的医学图象三维重建系统的开发1.5论文背景及主要工作5资料仅供参考,不当之处，请联系改正。2医学图象预处理与人体组织的分割医学图象预处理与人体组织的分割 医学图象预处理医学图象预处理 分割流程分割流程 图图2.1 2.1 三维医学图象分割流程三维医学图象分割流程2医学图象预处理与人体组织的分割医学图象预6资料仅供参考,不当之处，请联系改正。2.2 CT 2.2 CT、MRIMRI图象的获取与输入图象的获取与输入 2.2 2.2 二维图象处理与规则体数据封装二维图象处理与规则体数据封装 1 二维图象滤波(1)邻域平均法 (2)中值滤波法 (3)保持边缘滤波法2.2CT、MRI图象的获取与输入7资料仅供参考,不当之处，请联系改正。2 断层图象间插值 3 三维规则体数据封装(1)内存记录方式(2)体数据文件格式 图图2.4 2.4 体数据内存记录方式体数据内存记录方式2断层图象间插值图2.4体数据内存记录方式8资料仅供参考,不当之处，请联系改正。2.3 交互分割过程交互分割过程 1 三维图象二值化2.3交互分割过程9资料仅供参考,不当之处，请联系改正。二值化结果图图2.8 2.8 断层图象二值化结果断层图象二值化结果二值化结果图2.8断层图象10资料仅供参考,不当之处，请联系改正。2 数学形态学操作进行区域修整(1)二值形态学操作简述(a)(a)原图象原图象 (b)(b)结构元素结构元素(c)(c)对原图象的腐蚀对原图象的腐蚀 (d)(d)对腐蚀图象的膨胀对腐蚀图象的膨胀图图2.9 2.9 开启操作开启操作 (a)(a)原图象原图象 (b)(b)结构元素结构元素(c)(c)对原图象的膨胀对原图象的膨胀 (d)(d)对膨胀图象的腐蚀对膨胀图象的腐蚀图图2.102.10闭合操作闭合操作2数学形态学操作进行区域修整(a)原图象11资料仅供参考,不当之处，请联系改正。3 种子填充法进行组织提取 图图2.12 2.12 交互分割结果交互分割结果 图图2.13 2.13 对分割区域的重建对分割区域的重建3种子填充法进行组织提取图2.12交互12资料仅供参考,不当之处，请联系改正。3 基于规则体数据的三维表面模型的基于规则体数据的三维表面模型的构建构建 3.2.1 体素模型(a)(a)方向无关的三线性插值模型方向无关的三线性插值模型 (b)(b)方向有关的三线性插值模型方向有关的三线性插值模型图图3.1 3.1 体素模型体素模型3基于规则体数据的三维表面模型的构建3.2.1体素13资料仅供参考,不当之处，请联系改正。3.2.2 等值面（IsoSurface）定义 1三线性插值结果 2等值面定义等值面是三次曲面3.2.2等值面（IsoSurface）定义等14资料仅供参考,不当之处，请联系改正。3.3 移动立方体（Marching Cubes）算 法抽取等值面 1 MC1 MC算法的基本原理算法的基本原理 a a 体素中等体素中等值面剖分方式的确定面剖分方式的确定 1 1）如立方体顶点的数据值如立方体顶点的数据值等值面的值，则定义该顶点位等值面的值，则定义该顶点位于等值面之外，记为于等值面之外，记为“0”“0”；2 2）如如立立方方体体顶顶点点的的数数据据值值等等值值面面的的值值，则则定定义义该该顶顶点点位于等值之内，记为位于等值之内，记为“1”“1”。8 8个个顶点，每个点，每个顶点共有点共有2 2个状个状态，因此共，因此共256256种种组合状合状态 根据互根据互补对称性称性,256 128 256 128 根据旋根据旋转对称性，称性，256 15 256 15 (1)体素中由三角片逼近的等值面计算(2)三角片各顶点法向量计算3.3移动立方体（MarchingCubes）算15资料仅供参考,不当之处，请联系改正。16资料仅供参考,不当之处，请联系改正。2 等值面连接方式上的二义性(a)(a)连接方式二义性的二维表示连接方式二义性的二维表示(b)(b)连接方式二义性的三维表示连接方式二义性的三维表示图图3.5 3.5 拓扑不一致造成孔隙拓扑不一致造成孔隙图图3.4 MC3.4 MC方法的二义性方法的二义性 2等值面连接方式上的二义性(a)连接方式二义性的二17资料仅供参考,不当之处，请联系改正。3.3.3 渐近线判别法消除二义性3.3.3渐近线判别法消除二义性18资料仅供参考,不当之处，请联系改正。3.3.4 MC算法的重建结果及分析(a)(a)256256109MRI256256109MRI表皮重建表皮重建（b b）12812893CT12812893CT颅骨重建颅骨重建（c c）12812893CT12812893CT表皮重建表皮重建三角面片：三角面片：696889顶点：顶点：347322三角面片：三角面片：187559顶点：顶点：94015三角面片：三角面片：137799顶点：顶点：69331 图图3.83.8MCMC算法重建的表面模型算法重建的表面模型3.3.4MC算法的重建结果及分析25625619资料仅供参考,不当之处，请联系改正。3.4 移动四面体（Marching Tetrahedra）算法抽取等值面3.4.1 MT算法的基本原理图图3.9 3.9 立方体的四面体剖分立方体的四面体剖分 图图3.10 3.10 四面体中的等值面四面体中的等值面3.4移动四面体（Marching图3.9立方20资料仅供参考,不当之处，请联系改正。3.4.2 四面体剖分的一致性处理图图3.11 3.11 立方体剖分为四面体立方体剖分为四面体的不同方式的不同方式图图3.12 3.12 两相邻立方体剖分不一致时共有两相邻立方体剖分不一致时共有面的剖分情况面的剖分情况图图3.133.13相邻立方体公共面上的剖分一致性相邻立方体公共面上的剖分一致性3.4.2四面体剖分的一致性处理图3.11立方体21资料仅供参考,不当之处，请联系改正。3.4.3 相关性处理加速MT重建速度 1 体素内的相关性处理 2 体素间的相关性处理 图图3.14 3.14 剖分后立方体的顶点及棱边编号剖分后立方体的顶点及棱边编号 3.4.3相关性处理加速MT重建速度图3.14剖22资料仅供参考,不当之处，请联系改正。3.4.4 MT算法的重建结果及分析(a)128128113CT(a)128128113CT颅骨重建颅骨重建（b b）104185220CT104185220CT脚脚骨骼重建骨骼重建(c)128128113CT(c)128128113CT表皮重建表皮重建三角面片：三角面片：423998顶点：顶点：211905三角面片：三角面片：365858顶点：顶点：183056三角面片：三角面片：331290顶点：顶点：165808图图3.153.15MTMT算法重建的表面模型算法重建的表面模型3.4.4MT算法的重建结果及分析(a)12823资料仅供参考,不当之处，请联系改正。4.三维模型的网格简化与模型的剖切三维模型的网格简化与模型的剖切 4.2 基于边收缩的网格简化算法 1 网格简化算法简述 （1 1）抽样（）抽样（SamplingSampling）（2 2）自适应细分）自适应细分(Adaptive subdivision)(Adaptive subdivision)（3 3）删除）删除(Decimation)(Decimation)（4 4）顶点合并）顶点合并 （Vertex mergingVertex merging）4.三维模型的网格简化与模型的剖切（1）抽样（S24资料仅供参考,不当之处，请联系改正。2 基于边收缩的网格简化算法Hoppe采用显式能量函数E（M）来度量简化网格与原始网格的逼近度Hoppe96：其中Edist(M)为M的距离能量，它定义为点集到网格的距离平方：Espring(M)为弹性能量，这相当于在的每条边上均放置一条弹性系数为k的弹簧，即：Escalar(M)度量M的标量属性的精度，而Edisc(M)则度量了M上视觉不连续的特征线（如边界线、侧影轮廓线等）的几何精度。2基于边收缩的网格简化算法25资料仅供参考,不当之处，请联系改正。边收缩过程示意图边收缩过程示意图 (a)(a)收缩前收缩前 (b)(b)收缩后收缩后 图图4.14.1边收缩过程边收缩过程边收缩过程示意图(a)收缩前26资料仅供参考,不当之处，请联系改正。4 网格简化结果MT重建结果重建结果简化简化50简化简化90简化简化90表面绘制表面绘制4网格简化结果MT重建结果27资料仅供参考,不当之处，请联系改正。MC重建结果简化重建结果简化50简化简化85简化简化85表面绘制表面绘制MC重建结果简化50简化8528资料仅供参考,不当之处，请联系改正。4.3 三维模型的剖切4.3.1 模型三角面片的剖切处理 1 平面方程的确定ax+by+cz+d=0 4.3三维模型的剖切29资料仅供参考,不当之处，请联系改正。2 三角面片与剖切平面的求交检测定定义空空间一点一点P P（X,Y,ZX,Y,Z）,定义定义“距离距离”D”D：D=aX+bY+cZ+d D=aX+bY+cZ+d 则有：则有：1 1）若）若 D D0 0，P P点处在点处在A A半空间；半空间；2 2）若）若 D D0 0，P P点处在平点处在平面上；面上；3 3）若）若 D D0 0，P P点处在点处在B B半空间。半空间。图图 4.6 4.6切面与三角面片的交切面与三角面片的交2三角面片与剖切平面的求交检测定义空间一点P（X,30资料仅供参考,不当之处，请联系改正。3 三角面片与剖切面的切割运算 4 表面模型的剖切(1)边表和顶点表均为动态链表结构 (2)表面模型的剖切计算 class Cedgeclass Cedge class CedgeVertexclass CedgeVertex3三角面片与剖切面的切割运算classCe31资料仅供参考,不当之处，请联系改正。4.4 剖切截面的生成4.4.1 边界多边形包含关系检测与确定 1 封闭环的检出 2 封闭轮廓的包含性检测 4.4剖切截面的生成32资料仅供参考,不当之处，请联系改正。夹角之和检验法夹角之和检验法:夹角之和检验法:33资料仅供参考,不当之处，请联系改正。4.4.2 剖切面区域的三角剖分 1.任意平面多边形Delaunay三角剖分示意图图4.11 图4.7对应轮廓的三角剖分4.4.2剖切面区域的三角剖分图4.11图434资料仅供参考,不当之处，请联系改正。4.5 手术开窗操作 开窗操作一般是用立方体或棱柱对重建模型进行切割，模型处于剖切体之内的部分被切割掉，之外的部分被保留下来。4.5手术开窗操作35资料仅供参考,不当之处，请联系改正。4.6实验结果分析图图4.12模型的剖切与开窗模型的剖切与开窗(a)剖切剖切(b)开窗开窗(c)开窗开窗4.6实验结果分析图4.12模型的剖切36资料仅供参考,不当之处，请联系改正。5 由基于轮廓重建的表面模型构建由基于轮廓重建的表面模型构建实体几何模型实体几何模型 5.1 引言 5.2 相关工作（1）提取边界轮廓线 （2）提取轮廓线上的特征点 （3）轮廓对应 （4）三维表面重建 5由基于轮廓重建的表面模型构建实体几何模型5.37资料仅供参考,不当之处，请联系改正。（a a）轮廓线）轮廓线 （b b）基础轮廓表面模型）基础轮廓表面模型（c c）左分支表面模型）左分支表面模型 （d d）右分支表面模型）右分支表面模型 图图5.3 5.3 轮廓及表面子模型轮廓及表面子模型（a）轮廓线（b）基础轮廓表面模型（c）左分支表面模型38资料仅供参考,不当之处，请联系改正。5.3 实体几何模型的构建 1边界模型的数据结构图图5.4 5.4 系统系统B-repB-rep模型的数据结构及半边的结构示意模型的数据结构及半边的结构示意5.3实体几何模型的构建图5.4系统B-rep模型39资料仅供参考,不当之处，请联系改正。2 实体造型的基本操作 欧拉特征关系：其中v、e、f、s、h分别代表顶点、边、小面、壳和孔。基本的欧拉操作包括如下互逆的5对：MVFS，MEV，MEF，MEKR，KFMRH；KVFS，KEV，KEF，KEMR，MFKRH。其中M表示构造，K表示删除，S、E、V、F、R、H分别表示体、边、顶点、面、环、孔。2实体造型的基本操作40资料仅供参考,不当之处，请联系改正。3由轮廓重建的表面模型重建实体几何模型的方法用图5.10(a)的表面模型说明构建实体的主要步骤：(a)(a)(b)(b)3由轮廓重建的表面模型重建实体几何模型的方法(41资料仅供参考,不当之处，请联系改正。（b b）光照图）光照图图图5.11 5.11 实体模型实体模型（a a）线框图）线框图实体几何模型的构建结果（b）光照图图5.11实体模型（a）线框图实体几何42资料仅供参考,不当之处，请联系改正。6 6 适用于适形放射治疗规划的医学图适用于适形放射治疗规划的医学图象三维重建系统的开发象三维重建系统的开发 图象输入图象输入 二维图象预处理二维图象预处理 图象分割与提取图象分割与提取 三维重建三维重建 （CT/MRICT/MRI）（滤波、插值）（滤波、插值）（自动分割、手工勾画）（自动分割、手工勾画）（MCMC、MTMT表面重建）表面重建）病病变体投影体投影轮廓照射射束廓照射射束设置置 效果显示效果显示 几何操作几何操作（由由此此计算算光光栅廓廓线）（放放射射治治疗规划划）（颜颜色色、半半透透明明）（剖剖切切、手手术术开开窗窗）图图6.16.1三维重建过程示意图三维重建过程示意图6适用于适形放射治疗规划的医学图象三维重建系统的开发43资料仅供参考,不当之处，请联系改正。l 重建系统结构重建系统结构图图6.26.2系统结构系统结构重建系统结构图6.2系统结构44资料仅供参考,不当之处，请联系改正。l 系统程序流程图图 6.3 6.3 系统程序流程系统程序流程系统程序流程图6.3系统程序流程45资料仅供参考,不当之处，请联系改正。l 系统数据结构图图6.4 6.4 系统数据结构系统数据结构系统数据结构图6.4系统数据结构46资料仅供参考,不当之处，请联系改正。系统界面系统界面系统界面47资料仅供参考,不当之处，请联系改正。治疗射束安排与光栅轮廓线计算治疗射束安排与光栅轮廓线计算48资料仅供参考,不当之处，请联系改正。7 7 结论与展望结论与展望7.1工作总结工作总结(1)对输入图象进行了滤波、断层插值并封装成规则体数据。定义了体数据的内存记录方式及外存文件格式，压缩存储空间。(2)提出并实现了三维医学图象交互分割的方法，交互分割的技术路线是：先分析断层图象，交互给定分割阈值，对图象二值化，然后选择适当的形态学操作进行区域修整，最后用种子填充的方法填充出所要区域。(3)实现了MC算法和MT算法构造表面模型。针对MT算法，为避免体元棱边与等值面交点的重复性插值计算，提出了相关性处理方法。采用相关性处理，加快了MT算法的重建速度。7结论与展望7.1工作总结(1)49资料仅供参考,不当之处，请联系改正。(4)实现了Hoppe的边收缩算法，重建模型经简化90，依然能较好地保持原模型特征，基本不影响视觉效果。模型经网格简化，绘制时间大大缩短，提高了交互时绘制能力。(5)提出了对重建模型实施剖切及手术开窗的一种方法。(6)提出了基于轮廓重建的表面模型构建实体几何模型的方法实现步骤。可作为造型系统的一种造型方式。(7)开发了一个适用于多叶光栅适形调强放射治疗的医学图象三维重建系统。提出并建立了系统数据结构，提出了自动分割与手工勾画轮廓的方法。对分割出的组织重建其三维几何模型，并对模型实现了网格简化。实现了治疗射束的设置及多叶光栅轮廓的计算。(4)实现了Hoppe的边收缩算法，重建模型经简化9050资料仅供参考,不当之处，请联系改正。7.2展望展望（1）基于知识模型的医学图象的分割（2）多模态图象的匹配和融合（3）表面绘制与直接体绘制的结合（4）虚拟手术工作环境 7.2展望（1）基于知识模型的医学图象的分割51资料仅供参考,不当之处，请联系改正。谢谢大家光临！谢谢大家光临！谢谢大家光临！52