CT图像肺结节计算机辅助检测算法研究与实现课件

CT图像肺结节计算机辅助检测算法的图像肺结节计算机辅助检测算法的研究与实现研究与实现 2021/2/61CT图像肺结节计算机辅助检测算法的研究与实现 2021/2/内容提要内容提要l一、项目进展情况l二、研究过程l三、成果展示l四、经费使用情况l五、新结果l六、项目组成员的训练收获2021/2/62内容提要一、项目进展情况2021/2/62一一、项目进展情况、项目进展情况(1)l前期调研:1.查阅大量的中英文文献资料,确定项目的研究方法和手段;2.项目进行中，项目组成员到医院进行实地调研，先后与河北大学附属医院和中国人民解放军第263医院医生合作，了解了当下医生在应用肺部CT图像诊断病人患病时的实际需求，并共同商讨了项目解决的方案；3.获取并整理实验数据，数据主要来源于LIDC和河北大学附属医院的CT影像，经过归纳整理、分类存储，为此后的研究提供了方便。l确定算法实现方案：1.分割肺实质；2.识别肺内显著区域及结节；3.肺结节的三维重建；4.对肺内ROI进行量化分析及聚类分析。2021/2/63一、项目进展情况(1)前期调研:2021/2/63一一、项目进展情况、项目进展情况(2)l拟定项目实施解决方案:l本项目针对肺部CT图像的特点,利用计算机图像处理及模式识别等技术，在肺部异常结节状病变的计算机辅助检测计算机辅助检测、量化分析量化分析、聚类分析、聚类分析和三维重建三维重建方面开展研究。总体流程图ROI提取结节量化分析肺实质分割图像预处理图像获取三维空间显示结节聚类分析2021/2/64一、项目进展情况(2)拟定项目实施解决方案:总体流程图R结节一一、项目进展情况、项目进展情况(3)l确定实验环境和实验方法:1.实验环境：编程语言主要有C+、C#,编程工具主要采用Visual C+6.0以及Visual Studio 2008，部分函数调用了提供医学图像处理算法的VTK、ITK平台（针对于C+）;2.实验方法：首先依据拟定的算法实现解决方案，分阶段按步骤进行实验。然后进行阶段性总结各个阶段中会对比不同的函数算法等得出最佳解决方案。最后，将各个阶段的程序统和，排查错误，完善整个算法。2021/2/65一、项目进展情况(3)确定实验环境和实验方法:2021/2/肺部肺部CT图像特性简介图像特性简介一幅视窗为肺窗的肺部CT图像中含有很多信息。A为肺实质,B为肺结节，C为肺内支气管和血管，D为胸骨及周围软组织部分，E为CT图像所取的窗宽和窗位值，F为患者的主要信息及图像的成像日期、成像所在医院、图像序列号等信息，G为气管和支气管，H为CT床，I为标尺。2021/2/66肺部CT图像特性简介一幅视窗为肺窗的肺部CT图像中含有很多信肺结节实例肺结节实例2021/2/67肺结节实例2021/2/67二二、研究过程、研究过程l肺实质自动分割1.肺实质初步提取2.肺实质修补3.肺实质连接l肺内ROI提取1.肺内显著区域提取2.候选肺结节识别l特征提取及量化分析l聚类分析l三维重建2021/2/68二、研究过程肺实质自动分割2021/2/68肺实质肺实质自动分割自动分割l肺实质初步提取一张肺部CT图像包含很多信息,为了自动检测出是否包含肺结节，需要先去除不必要的信息，通常的做法是提取肺实质。l肺实质提取思想从肺部CT图像中可以看到，胸廓的形状是闭合的，而且肺实质包含在其中，所以如果找到胸廓，然后去除胸廓和胸廓以外的部分，那么剩下的就是肺实质和气管。气管的位置在中间，而且面积较小，只要在去除胸廓和胸廓以外部分后，去除位于图像中央、面积较小的气管（支气管），就将肺实质提取出来了。2021/2/69肺实质自动分割肺实质初步提取2021/2/69肺实质肺实质自动分割自动分割l肺实质提取方法胸廓是图像中高亮度连通区域中面积最大的部分,对图像去噪，二值化后，遍历图像中的所有值为255的连通区域，并且计算区域大小，记录其中最大的区域，标记该区域，从图像左上角和右下角做区域生长，只要不是标记的胸廓部分就生长并且去除，这样就去除胸廓以外的部分，然后去除标记的胸廓再去除气管就将肺实质提取出来了。2021/2/610肺实质自动分割肺实质提取方法2021/2/610CT原图二值化结果去除胸廓及以外部分和气管结果2021/2/611CT原图二值化结果去除胸廓及以外部分和气管结果2021/2/l在肺实质边缘上存在血管,也可能存在结节，它们的亮度都比较高，所以在去除胸廓时当作胸廓一并去除了。在肺实质初步提取后要对边缘进行修补，将过度分割的部分修补回来。l肺实质边缘修补方法利用模版匹配法寻找边缘凸点，凸点分别入队，左右肺入不同队对左右肺凸点分别进行计算，只要两个凸点A和B满足下面两式:则连接A和B两点，为了使修补更加完整，连线算法采用一种基于贝塞尔曲线的方法。肺实质修补肺实质修补2021/2/612在肺实质边缘上存在血管,也可能存在结节，它们的亮度都比较高，肺实质修补肺实质修补l贝塞尔曲线lP0、P1、P2、P3四个点在平面或在三维空间中定义了三次贝兹曲线。曲线起始于P0走向P1,并从P2的方向来到P3。一般不会经过P1或P2;这两个点只提供方向信息。P0和P1之间的间距，决定了曲线在转而趋进P3之前，走向P2方向的“长度有多长”。曲线参数形式为:贝塞尔曲线示意图2021/2/613肺实质修补贝塞尔曲线贝塞尔曲线示意图2021/2/613边界凸点检测及连线 2021/2/614边界凸点检测及连线 2021/2/614肺实质连接肺实质连接l在病人的病情比较严重时,肺炎区域太大将一个肺分开，在肺实质提取后，需要将这个肺分开的部分连接起来，保持其完整性。l肺实质连接方法在边缘修补后，判断是否需要连接，计算左右肺凸点队的个数，如果一边肺的队的个数大于一就需要进行连接。连接的方法如下:首先找到两个区域距离最近的两个凸点，并且记录下来为A和B，然后在A点的区域凸点队列中查找凸点C，在B点的区域凸点队列中查找凸点D，计算下面的算式：找到该算式最大的C点和D点，然后连接AB和CD，就将两部分连接起来了。2021/2/615肺实质连接在病人的病情比较严重时,肺炎区域太大将一个肺分开，破裂肺的CT原图肺实质初步提取结果边缘修补和连接后的结果肺实质提取最终结果2021/2/616破裂肺的CT原图肺实质初步提取结果边缘修补和连接后的结果肺实肺内肺内ROI提取提取lROI的提取为了自动识别肺结节,方便后面的肺结节的检测与量化分析，我们需要在肺实质提取的结果中将目标区域提取出来。ROI包括结节、亮度同结节相近的血管和亮度较低的磨玻璃结节。lROI提取方法在肺实质中除了目标区域以外的部分是亮度比目标区域低、且在肺实质中所占比例最大的气泡对应的部分。我们提取ROI的方法，就是去除气泡对应的部分，间接提取ROI。本文提出了两种方法来间接提取ROI，针对气泡部分基于区域生长的提取方法和肺实质直方图波底阈值提取方法。2021/2/617肺内ROI提取ROI的提取2021/2/617基于区域生长基于区域生长提取提取方法方法1.对肺实质部分进行直方图统计。2.找到直方图中的最大值Max。从肺部CT图的统计中可以认为该值对应气泡部分。3.遍历肺实质中所有像素,如果像素对应的值为Max,则以该点为种子点，以一个事先设定的值为阈值进行区域生长，将生长出来的区域去除。2021/2/618基于区域生长提取方法对肺实质部分进行直方图统计。2021/2波底阈值分割波底阈值分割提取提取方法方法1.对肺实质部分进行灰度直方图统计 2.找到直方图中的最大值Max。从肺部CT图的统计中可以认为该值对应气泡部分 3.从Max对应的灰度值递增,计算灰度直方图中对应数据的变化，当数据变换变缓，且该灰度值的像素点占全部肺实质的比例低于某一个值是，认为此时是这个波的波底了，记录该值T。4.然后以T为阈值对肺实质进行分割，低于T的像素点置0，高于T的像素点置255。2021/2/619波底阈值分割提取方法对肺实质部分进行灰度直方图统计 2021有磨玻璃结节的肺实质提取结果MaxT肺实质对应直方图区域生长方法间接提取结果波底阈值分割方法间接提取结果2021/2/620有磨玻璃结节的肺实质提取结果MaxT肺实质对应直方图区域生长去除去除肺内肺内ROI中中细小区域细小区域l对经过上面步骤剩下的血管和结节部分,如果其区域面积过小，则可以认为是细小的血管，将其去除。如果有一些小的气泡部分，那么也是需要去掉的，方便接下来的自动量化分析。步骤如下:1.复制目标图的数据到标记图中。2.遍历标记图，找到一个值不为0的点。3.以这个点作为种子点进行区域生长，将这块区域在标记图中置为0，同时计算出该区域的面积。4.如果该区域的面积小于一定阈值，则以该种子点在目标图中区域生长，将生长点都置为0，去除目标图中的这块区域。5.寻找标记图中下一个不为0的点，重复第3步，直到遍历完整个标记图。2021/2/621去除肺内ROI中细小区域对经过上面步骤剩下的血管和结节部分,区域生长方法间接提取结果去除细小区域结果2021/2/622区域生长方法间接提取结果去除细小区域结果2021/2/622特征提取及量化分析特征提取及量化分析l量化分析所做的工作包括:肺门位置的计算;针对每一个ROI,计算其区域面积、平均灰度、方差、圆形度、似圆度、边界离心率、距肺门的距离，计算的结果用于后续聚类判断依据。l本项目实现了根据上述特征进行聚类分析的结节检测算法，以及根据具体需要进行人工选择所需用的特征组合进行肺结节的检测。2021/2/623特征提取及量化分析量化分析所做的工作包括:2021/2/62l聚类分析所用算法:l使用的是改进后的基于模糊C均值（FCM）聚类算法,算法思想为：l对象间的相似度和相异度是基于两个对象间的距离来计算的。本文使用欧几里得距离来表示相异度，对于两个数据点X=x1，x2，xn，Y=y1，y2，yn两者的欧式空间距离表示为：l加权后的空间距离表示为：l对于权重值A=A1，A2，An则需要根据各个特征向量的贡献的不同而赋给不同的值。l权重值A=A1，A2，An的计算方法为：先用一般的FCM算法对数据进行第一遍的聚类，得到聚类中心C=C1，C2，Cn，找出属于肺结节一类的聚类中心Ci和与其欧式距离最远的聚类中心Cm，则得到动态权值公式：聚类分析聚类分析2021/2/624聚类分析所用算法:聚类分析2021/2/6242021/2/6252021/2/625三维重建三维重建lMC(Marching Cubes)方法求CT图像等值面算法流程:1.将CT图像分层读入内存2.扫面两层图片数据,构造体元3.将体元八个角点逐个与等值面值C比较，构造体元状态表4.根据状态表，找出等值面穿过的体元，通过线性插值，中心差分方法构造三角形，组成等值面等值面与体元不同位置示意图2021/2/626三维重建MC(Marching Cubes)方法求CT图像等肺实质重建结果肺结节单独重建结果结节与骨骼混合重建结果2021/2/627肺实质重建结果肺结节单独重建结果结节与骨骼混合重建结果202三、成果展示三、成果展示2021/2/628三、成果展示2021/2/6282021/2/6292021/2/629四、经费使用情况四、经费使用情况2021/2/630四、经费使用情况2021/2/630五、五、新结果新结果(1)l采用局部极小值点连线法对凹陷部分进行修补。寻找高曲率点:此方法不需要计算边界的曲率,只需要求边界曲线上不同坐标系下的局部极小值点，代替求边界点的曲率，以此找到边界上的凸点，连接凹陷缺口处两边的两个邻近凸点，修补凹陷部分。边界线上的点包括局部极小值点和非局部极小值点两类，通过设置不同的匹配模板，表示在不同坐标系下寻找局部极小值点。连接：判断两点间是否需要连线的条件为1.符合两点间弧长与直线距离之比大于1.52.符合以上条件的点中，选择弧长最长的。l提出了一种新的基于贝塞尔曲线的边缘修补连线算法以及破裂肺实质连接算法，对肺实质缺损及由于肺内组织影响导致肺实质出现严重断裂的情况进行了研究及处理。2021/2/631五、新结果(1)采用局部极小值点连线法对凹陷部分进行修补。2五、五、新结果新结果(2)l将结节划分为四类:孤立结节,胸膜结节，粘连血管结节，磨玻璃结节。确立各自分割方法：1.对于孤立结节，应用圆形度检测算法结合结节面积、结节所在位置进行检测识别;2.对于胸膜结节，由于先进行了肺实质提取，对胸膜结节所造成的的肺实质缺失进行修补，所以将胸膜结节可归类为孤立结节或与血管粘连结节；3.对于粘连血管结节，先应用割补法，进行结节与血管的分割，然后，应用圆形度检测算法结合结节面积进行检测识别；4.对于磨玻璃结节，选用CV模型及自动肺内显著区域提取进行识别，得到了较好的提取效果。2021/2/632五、新结果(2)将结节划分为四类:孤立结节,胸膜结节，粘连血五、五、新结果新结果(3)l对ROI区域进行量化分析,提取出一组合适的特征，然后以这些特征为一组数据，利用改进后的模糊C均值聚类算法，根据这些ROI区域特征的相似度，将这些ROI区域进行分类，进而把是肺结节的可能性比较大的ROI区域分离出来，最后得到肺结节。l进行了肺实质及肺结节进行了三维绘制，选用VTK及ITK平台结合Visual Studio 2008 进行肺部CT图像的三维显示，应用VTK中的Marching Cubes算法，将从原CT图像中处理得到的肺结节进行三维绘制，得到了较好的肺结节部分三维显示效果。2021/2/633五、新结果(3)对ROI区域进行量化分析,提取出一组合适的特六、六、项目组成员的训练收获项目组成员的训练收获l自项目开始实施起,项目小组成员各尽其责，通过近半年的学习与实验测试，提高了分析问题、解决问题的能力，创新能力得到了锻炼;l通过参与此次项目，整个小组通力合作，团队合作能力得到了锻炼，在实验的过程中，项目组成员意识到团队协作的重要性，算法分析能力、编程能力得到了提高。2021/2/634六、项目组成员的训练收获自项目开始实施起,项目小组成员各尽其l感谢各位评委老师感谢各位评委老师2021/2/635感谢各位评委老师2021/2/635