多模态医学影像配准和融合技术的研究培训ppt课件

多模多模态医学影像配准和医学影像配准和融合技融合技术的研究的研究多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院东北大学信息科学与工程学院 主要内容基于基于PCNN的图像融合算法的图像融合算法总结与展望基于小波变换的图像融合算法基于小波变换的图像融合算法基于基于BP的特征级图像融合算法的特征级图像融合算法医学图像配准算法医学图像配准算法课题背景2多模态医学影像配准和融合技术的研究主要内容基于PCNN的图像融合算法总结与展望基于小波变换的图东北大学信息科学与工程学院东北大学信息科学与工程学院 一、课题背景由于医学图像仪器的成像机理的不同，使得不同模由于医学图像仪器的成像机理的不同，使得不同模态的医学图像反映人体信息不同，从单一源图像是态的医学图像反映人体信息不同，从单一源图像是无法对病人进行全面诊断。图像配准和融合能将多无法对病人进行全面诊断。图像配准和融合能将多模态的图像信息进行互补，融合成一幅新的影像。模态的图像信息进行互补，融合成一幅新的影像。目前医学图像融合技术还处于起步阶段，故本文针目前医学图像融合技术还处于起步阶段，故本文针对多模态医学图像的融合方法及配准算法方面展开对多模态医学图像的融合方法及配准算法方面展开研究。研究。3多模态医学影像配准和融合技术的研究一、课题背景由于医学图像仪器的成像机理的不同，使得不同模3多东北大学信息科学与工程学院东北大学信息科学与工程学院 二、医学图像配准算法二、医学图像配准算法v医学图像配准的定义：是寻求两幅图像间的几何医学图像配准的定义：是寻求两幅图像间的几何变换关系，通过这一几何变换，使两幅医学图像变换关系，通过这一几何变换，使两幅医学图像上的对应点达到空间上的一致，这种一致是指人上的对应点达到空间上的一致，这种一致是指人体上的同一解剖点在两张匹配图像上具有相同的体上的同一解剖点在两张匹配图像上具有相同的空间位置。空间位置。4多模态医学影像配准和融合技术的研究二、医学图像配准算法医学图像配准的定义：是寻求两幅图像间的几东北大学信息科学与工程学院东北大学信息科学与工程学院 v最大互信息配准方法的基本思想最大互信息配准方法的基本思想 在多模医学图像配准中，基于两幅图像中的相在多模医学图像配准中，基于两幅图像中的相同目标在空间上对齐时相关性最强，对应像素同目标在空间上对齐时相关性最强，对应像素灰度的互信息达到最大，从而可以根据最大互灰度的互信息达到最大，从而可以根据最大互信息的位置找到最佳配准。信息的位置找到最佳配准。v缺点：由于互信息函数不是分布良好的凸函数，缺点：由于互信息函数不是分布良好的凸函数，从而导致误配准，同时计算量较大，耗时较长。从而导致误配准，同时计算量较大，耗时较长。5多模态医学影像配准和融合技术的研究最大互信息配准方法的基本思想5多模态医学影像配准和融合技术的东北大学信息科学与工程学院东北大学信息科学与工程学院 输入图像输入图像提取图像的边缘特征信息提取图像的边缘特征信息计算特征点集合的互信息计算特征点集合的互信息归一化处理归一化处理 配准提取的特征图像配准提取的特征图像优化搜索优化搜索根据配准参数根据配准参数配准配准原图像原图像采用基于采用基于Canny算子和小波算子和小波提升变换的边缘检测方法提升变换的边缘检测方法采用归一化互信采用归一化互信息为测度息为测度采用改进的鲍威尔算法，寻采用改进的鲍威尔算法，寻找最大归一化互信息的位置找最大归一化互信息的位置改进算法的流程图改进算法的流程图6多模态医学影像配准和融合技术的研究输入图像提取图像的边缘特征信息计算特征点集合的互信息归一化处东北大学信息科学与工程学院东北大学信息科学与工程学院 v仿真实验仿真实验 (a)CT图像图像 (b)MRI图像图像 (c)最大的最大的互信息配准法互信息配准法 (d)所提方法所提方法7多模态医学影像配准和融合技术的研究仿真实验 (a)CT图像 东北大学信息科学与工程学院东北大学信息科学与工程学院 CT/MRI图像各配准方法的配准参数及性能比较图像各配准方法的配准参数及性能比较 传统的互信息配准方法传统的互信息配准方法所提方法所提方法RMSE19.4315.32R0.92160.9812水平和垂直偏移量水平和垂直偏移量（9.02 8.52）（9.93 9.56）角度偏移量角度偏移量9.5979.9608多模态医学影像配准和融合技术的研究CT/MRI图像各配准方法的配准参数及性能比较 传统的互信息东北大学信息科学与工程学院东北大学信息科学与工程学院 三、基于小波变换的图像融合算法三、基于小波变换的图像融合算法小波变换具有良好的时频局域化特性及多尺度分析小波变换具有良好的时频局域化特性及多尺度分析能力能力,非常适合于图像处理。基于小波变换的影像非常适合于图像处理。基于小波变换的影像融合算法被广泛应用于图像融合处理中，其性能优融合算法被广泛应用于图像融合处理中，其性能优于传统的图像融合方法。于传统的图像融合方法。9多模态医学影像配准和融合技术的研究三、基于小波变换的图像融合算法小波变换具有良好的时频局域化特东北大学信息科学与工程学院东北大学信息科学与工程学院（一）基于可分离小波变换的图像融合算法（一）基于可分离小波变换的图像融合算法具体步骤：具体步骤：l对待融合的医学源图像分别进行小波变换分解；对待融合的医学源图像分别进行小波变换分解；l对于尺度系数，使用下式合并医学源图像对应的对于尺度系数，使用下式合并医学源图像对应的尺度系数；尺度系数；(3.1)10多模态医学影像配准和融合技术的研究（一）基于可分离小波变换的图像融合算法具体步骤：(3.1)1东北大学信息科学与工程学院东北大学信息科学与工程学院 l对于小波系数，首先使用下式确定医学源图像对于小波系数，首先使用下式确定医学源图像高频分量的边缘点和非边缘点，保护边缘点对高频分量的边缘点和非边缘点，保护边缘点对应的小波系数；应的小波系数；(3.2)(3.3)(3.4)11多模态医学影像配准和融合技术的研究(3.2)(3.3)(3.4)11多模态医学影像配准和融合技东北大学信息科学与工程学院东北大学信息科学与工程学院 l对非边缘点用式对非边缘点用式(3.5)进行小波系数融合。然后进行小波系数融合。然后用式用式(3.6)获得融合图像的小波系数。获得融合图像的小波系数。(3.5)(3.6)12多模态医学影像配准和融合技术的研究对非边缘点用式(3.5)进行小波系数融合。然后用式(3.6)东北大学信息科学与工程学院东北大学信息科学与工程学院 l将融合图像的小波系数和尺度系数进行小波逆变将融合图像的小波系数和尺度系数进行小波逆变换，即可得到重构后的医学融合图像。换，即可得到重构后的医学融合图像。v仿真实验仿真实验 (a)CT图像图像 (b)MRI图像图像 (c)拉普拉斯金拉普拉斯金字塔字塔 融合算法融合算法13多模态医学影像配准和融合技术的研究将融合图像的小波系数和尺度系数进行小波逆变换，即可得到重构后东北大学信息科学与工程学院东北大学信息科学与工程学院(d)梯度金字塔融合梯度金字塔融合 (e)形态学金字塔融合形态学金字塔融合 (f)小波变换融合算小波变换融合算法法 算法算法 算法算法(g)所提算法所提算法14多模态医学影像配准和融合技术的研究(d)梯度金字塔融合 (e)形态学金字塔融合 东北大学信息科学与工程学院东北大学信息科学与工程学院 CT/MRI实验结果的质量评价实验结果的质量评价拉普拉斯金字拉普拉斯金字塔融合算法塔融合算法梯度金字塔融梯度金字塔融合算法合算法 形态学金字塔形态学金字塔融合算法融合算法 小波变换融合小波变换融合算法算法 所提算法所提算法信息熵信息熵 10.911212.678512.835214.264617.5947平均交叉熵平均交叉熵 7.83255.37265.14624.52163.2514平均梯度平均梯度 31.589233.012335.542837.256739.5492相关系数相关系数 0.598450.60520.616430.640300.706715多模态医学影像配准和融合技术的研究CT/MRI实验结果的质量评价拉普拉斯金字塔融合算法梯度金字东北大学信息科学与工程学院东北大学信息科学与工程学院 低频分量的融合规则低频分量的融合规则(3.7)(3.8)(3.9)（二）基于不可分离小波变换的图像融合算法（二）基于不可分离小波变换的图像融合算法16多模态医学影像配准和融合技术的研究低频分量的融合规则(3.7)(3.8)(3.9)（二）基于东北大学信息科学与工程学院东北大学信息科学与工程学院 l高频分量的融合规则高频分量的融合规则 亮度信息亮度信息细节信息细节信息 (3.10)(3.11)17多模态医学影像配准和融合技术的研究高频分量的融合规则(3.10)(3.11)17多模态医学影东北大学信息科学与工程学院东北大学信息科学与工程学院 或或当当其中其中，调节调节CT/MRI图像的占优比例图像的占优比例 (3.12)(3.13)(3.14)18多模态医学影像配准和融合技术的研究或当其中，调节CT/MRI图像的占优比例 东北大学信息科学与工程学院东北大学信息科学与工程学院 因子因子 调节图像的亮度调节图像的亮度(3.17)(3.18)(3.16)(3.15)19多模态医学影像配准和融合技术的研究因子 调节图像的亮度(3.17)(3.18)(3.1东北大学信息科学与工程学院东北大学信息科学与工程学院 通过调整这些因子可以消减模糊边缘，突出细节并调通过调整这些因子可以消减模糊边缘，突出细节并调节图像的亮度对比度。在临床应用中，为了得到强调节图像的亮度对比度。在临床应用中，为了得到强调不同特征信息的图像，医生既可以根据上面公式计算不同特征信息的图像，医生既可以根据上面公式计算它们，也可以根据经验手动设定这些参数。它们，也可以根据经验手动设定这些参数。因子因子 决定图像的边决定图像的边缘缘(3.19)20多模态医学影像配准和融合技术的研究通过调整这些因子可以消减模糊边缘，突出细节并调因子 决东北大学信息科学与工程学院东北大学信息科学与工程学院 v仿真实验仿真实验 (a)CT图像图像 (b)MRI图像图像 (c)对比度金字塔融合算法对比度金字塔融合算法(d)基于像素融合算法基于像素融合算法 (e)基于区域融合算法基于区域融合算法 (f)所提算法所提算法21多模态医学影像配准和融合技术的研究仿真实验 (a)CT图像 东北大学信息科学与工程学院东北大学信息科学与工程学院 CT/MRI实验结果的质量评价实验结果的质量评价对比度金字塔对比度金字塔融合算法融合算法基于像素融合基于像素融合算法算法基于区域融合基于区域融合算法算法所提算法所提算法平均交叉熵平均交叉熵6.34236.02653.46242.0598标准差标准差12.89655.37265.146219.9356平均梯度平均梯度 41.675242.125645.326948.5486相关系数相关系数 0.48410.51660.61230.796422多模态医学影像配准和融合技术的研究CT/MRI实验结果的质量评价对比度金字塔融合算法基于像素融东北大学信息科学与工程学院东北大学信息科学与工程学院 l基于区域模糊熵和区域亮度细节占优的融合算法基于区域模糊熵和区域亮度细节占优的融合算法设计设计(3.20)(3.21)23多模态医学影像配准和融合技术的研究基于区域模糊熵和区域亮度细节占优的融合算法设计(3.20)东北大学信息科学与工程学院东北大学信息科学与工程学院 v仿真实验仿真实验 (a)CT图像图像 (b)MRI图像图像(c)(c)对比度金字塔融合算法对比度金字塔融合算法 (d)(d)基于像素融合算法基于像素融合算法24多模态医学影像配准和融合技术的研究仿真实验 (a)CT图像 东北大学信息科学与工程学院东北大学信息科学与工程学院 (g)所提算法所提算法(e)(e)基于区域融合算法基于区域融合算法 (f)(f)模糊集和小波变换模糊集和小波变换 融合算法融合算法25多模态医学影像配准和融合技术的研究 (g)所提算法(e)基于区域融合算法 东北大学信息科学与工程学院东北大学信息科学与工程学院 CT/MRI实验结果的质量评价实验结果的质量评价对比度金字塔对比度金字塔融合算法融合算法基于像素融合基于像素融合算法算法 基于区域融合基于区域融合算法算法 模糊集和小波模糊集和小波变换融合算法变换融合算法 所提算法所提算法平均交叉熵平均交叉熵9.01438.23266.45785.02313.4956标准差标准差26.312428.657130.98744.521635.2587平均梯度平均梯度 36.234538.562140.897237.256745.1789相关系数相关系数 0.47580.49320.52340.640300.767126多模态医学影像配准和融合技术的研究CT/MRI实验结果的质量评价对比度金字塔融合算法基于像素融东北大学信息科学与工程学院东北大学信息科学与工程学院 四、基于四、基于PCNN的图像融合算法的图像融合算法小波变换方法针对性都很强，根据不同情况采用小波变换方法针对性都很强，根据不同情况采用不同的融合规则。基于神经网络方法对输入不同不同的融合规则。基于神经网络方法对输入不同类型的图像得到的融合结果不会有很大差别，且类型的图像得到的融合结果不会有很大差别，且其融合规则往往简单易行，故基于神经网络的融其融合规则往往简单易行，故基于神经网络的融合算法适应性要更好一些。因此将具有生物学背合算法适应性要更好一些。因此将具有生物学背景的景的PCNNPCNN神经网络应用到医学图像融合中。神经网络应用到医学图像融合中。27多模态医学影像配准和融合技术的研究四、基于PCNN的图像融合算法小波变换方法针对性都很强，根据东北大学信息科学与工程学院东北大学信息科学与工程学院 具体融合步骤：具体融合步骤：1 1、对每一幅医学图像分别进行两层小波提升分、对每一幅医学图像分别进行两层小波提升分解，提取图像的近似细节、水平、垂直、对角方解，提取图像的近似细节、水平、垂直、对角方向的小波系数矩阵。向的小波系数矩阵。2 2、对低频和高频子图像分别采用改进的、对低频和高频子图像分别采用改进的PCNNPCNN网网络，络，PCNNPCNN网络大小与相应子图像大小相同，每个网络大小与相应子图像大小相同，每个PCNNPCNN内的所有神经元均采用内的所有神经元均采用8 8邻域连接方式。邻域连接方式。3 3、将来自医学图像、将来自医学图像A A和和B B的子图像分别输入相应的子图像分别输入相应的的PCNNPCNN网络，并按照如下步骤进行融合处理：网络，并按照如下步骤进行融合处理：28多模态医学影像配准和融合技术的研究具体融合步骤：28多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院东北大学信息科学与工程学院(1)初始化。设初始化。设 和和 分别表示第分别表示第k对子图像中对子图像中像素像素(i,j)的灰度值，将其归一化到的灰度值，将其归一化到01范围范围内，令内部链接输入矩阵、内部行为矩阵和内，令内部链接输入矩阵、内部行为矩阵和阈值矩阵的初值分别为阈值矩阵的初值分别为:，此时，所有神经元都处于熄火状态，此时，所有神经元都处于熄火状态:，Nmax为最大迭代次数，点火时刻记录矩阵为最大迭代次数，点火时刻记录矩阵 ；(2)根据下式计算根据下式计算 ，和和 ；29多模态医学影像配准和融合技术的研究初始化。设 和 分别表示第k对子图像中像东北大学信息科学与工程学院东北大学信息科学与工程学院 其中：其中：或或(4.1)30多模态医学影像配准和融合技术的研究其中：或(4.1)30多模态医学影像配准和融合技术的研究东北大学信息科学与工程学院东北大学信息科学与工程学院(3)累计网络每次迭代运行的输出累计网络每次迭代运行的输出:(4)重复步骤重复步骤(2)和和(3)直到，此时网络迭代运行停直到，此时网络迭代运行停止；止；(5)根据下式选择融合图像的小波系数根据下式选择融合图像的小波系数:(4.2)(4.3)31多模态医学影像配准和融合技术的研究(3)累计网络每次迭代运行的输出:(4.2)(4.3)31多东北大学信息科学与工程学院东北大学信息科学与工程学院 多模态医学影像配准和融合技术的研究培训ppt课件东北大学信息科学与工程学院东北大学信息科学与工程学院 v仿真实验仿真实验 (a)CT图像图像 (b)MRI图像图像 (c)梯度金字塔融合算梯度金字塔融合算法法(d)基于区域融合算法基于区域融合算法 (e)PCNN (f)所提算法所提算法33多模态医学影像配准和融合技术的研究仿真实验 (a)CT图像 东北大学信息科学与工程学院东北大学信息科学与工程学院 (a)CT图像图像 (b)MRI图图像像(c)梯度金字塔梯度金字塔 (d)基于区域融基于区域融合合 融合算法融合算法 算法算法34多模态医学影像配准和融合技术的研究 (a)CT图像 东北大学信息科学与工程学院东北大学信息科学与工程学院 (g)所提算法所提算法 (e)模糊集和小波模糊集和小波 (f)PCNN 变换融合算法变换融合算法35多模态医学影像配准和融合技术的研究 (g)所提算法 (e)模糊集和小波 东北大学信息科学与工程学院东北大学信息科学与工程学院 CT1/MRI1实验结果的质量评价实验结果的质量评价梯度金字塔融合梯度金字塔融合算法算法 基于区域融合基于区域融合算法算法 PCNN所提方法所提方法平均交叉熵平均交叉熵5.90132.94565.25482.3487标准差标准差31.332444.948934.567245.1435平均梯度平均梯度 8.638918.257810.237818.5678相关系数相关系数 0.60810.84230.65870.845236多模态医学影像配准和融合技术的研究CT1/MRI1实验结果的质量评价梯度金字塔融合基于区域融合东北大学信息科学与工程学院东北大学信息科学与工程学院 梯度金字塔融梯度金字塔融合算法合算法 基于区域融合基于区域融合算法算法 模糊集和小波模糊集和小波变换融合算法变换融合算法 PCNN所提方法所提方法平均交叉熵平均交叉熵9.83769.45765.59255.14733.8271标准差标准差29.264530.167433.980734.768439.5867平均梯度平均梯度 18.974520.867524.987325.635429.3526相关系数相关系数 0.43870.48620.60710.61820.7646CT2/MRI2实验结果的质量评价实验结果的质量评价37多模态医学影像配准和融合技术的研究梯度金字塔融合算法 基于区域融合算法 模糊集和小波变换融合算东北大学信息科学与工程学院东北大学信息科学与工程学院 基于像素级的医学图像融合可以使融合后的图像基于像素级的医学图像融合可以使融合后的图像包含更全面、更精确的信息，但是所要处理的图包含更全面、更精确的信息，但是所要处理的图像数据量大，故融合速度慢，同时对配准精度的像数据量大，故融合速度慢，同时对配准精度的要求非常高。基于特征级的医学图像融合由于对要求非常高。基于特征级的医学图像融合由于对多模医学图像提取的特征信息进行融合，故可以多模医学图像提取的特征信息进行融合，故可以大大加快融合速度，且对图像配准的要求没有像大大加快融合速度，且对图像配准的要求没有像素级严格，但素级严格，但其融合精度比像素级融合差其融合精度比像素级融合差。五、基于五、基于BP的特征级图像融合算法的特征级图像融合算法38多模态医学影像配准和融合技术的研究基于像素级的医学图像融合可以使融合后的图像五、基于BP的特征东北大学信息科学与工程学院东北大学信息科学与工程学院 将像素级和特征级融合方法有效地结合起来，利将像素级和特征级融合方法有效地结合起来，利用用BPBP神经网络的优点，提出了基于神经网络的优点，提出了基于BPBP神经网络的神经网络的特征级图像融合方法。特征级图像融合方法。具体步骤：具体步骤：1、将两幅图像进行图像分割得到一组分割区将两幅图像进行图像分割得到一组分割区域，用域，用Ai和和Bi分别表示第分别表示第i个区域对。个区域对。2、根据灰度共生矩阵，从每个区域抽取五个反映、根据灰度共生矩阵，从每个区域抽取五个反映图像纹理的特征。图像纹理的特征。Ai和和Bi的特征矢量分别表示为的特征矢量分别表示为()和和()。39多模态医学影像配准和融合技术的研究将像素级和特征级融合方法有效地结合起来，利39多模态医学影像东北大学信息科学与工程学院东北大学信息科学与工程学院 3、训练一个用于判断分析、训练一个用于判断分析Ai和和Bi区域纹理特征的区域纹理特征的神经网络。神经网络的输入是差异矢量神经网络。神经网络的输入是差异矢量()，网，网络的输出如下式：络的输出如下式：4、用训练好的神经网络在所有分割区域（第一、用训练好的神经网络在所有分割区域（第一步得到的）上进行检测、判断。融合图像的第步得到的）上进行检测、判断。融合图像的第i个个区域按下式构建：区域按下式构建：(5.1)(5.2)40多模态医学影像配准和融合技术的研究3、训练一个用于判断分析Ai和Bi区域纹理特征的(5.1)(东北大学信息科学与工程学院东北大学信息科学与工程学院 5、采用一致性检测来校验步骤、采用一致性检测来校验步骤(4)得到的结果。得到的结果。如果神经网络判定某一区域来自于图像如果神经网络判定某一区域来自于图像1而它周而它周围的区域来自图像围的区域来自图像2，则将这个区域用图像，则将这个区域用图像2中的中的对应区域像素替换。这样，保证在构成合成系数对应区域像素替换。这样，保证在构成合成系数时，邻域内系数的选择基于相同的规则。时，邻域内系数的选择基于相同的规则。41多模态医学影像配准和融合技术的研究5、采用一致性检测来校验步骤(4)得到的结果。41多模态医学东北大学信息科学与工程学院东北大学信息科学与工程学院 v仿真实验仿真实验 (a)CT图像图像 (b)MRI 图像图像 (c)基于基于像素融合算法像素融合算法 (d)小波变换融合算法小波变换融合算法 (e)基于区域融合算法基于区域融合算法 (f)所提算法所提算法 42多模态医学影像配准和融合技术的研究仿真实验 (a)CT图像 东北大学信息科学与工程学院东北大学信息科学与工程学院 CT/MRI实验结果的质量评价实验结果的质量评价基于像素融合基于像素融合算法算法 小波变换融合小波变换融合算法算法 基于区域融合基于区域融合算法算法 所提算法所提算法平均交叉熵平均交叉熵15.352614.589414.08945.4983标准差标准差14.856713.996516.527628.5257平均梯度平均梯度 18.566218.965822.217527.2782相关系数相关系数 0.45410.48760.50280.714743多模态医学影像配准和融合技术的研究CT/MRI实验结果的质量评价基于像素融合小波变换融合基于区东北大学信息科学与工程学院东北大学信息科学与工程学院 总总 结结1 1、提出了一种基于边缘特征点的互信息配准方法、提出了一种基于边缘特征点的互信息配准方法;2 2、提出了一种基于可分离小波变换的像素级医学、提出了一种基于可分离小波变换的像素级医学图像融合算法图像融合算法;3 3、提出了基于不可分离小波变换的医学图像融、提出了基于不可分离小波变换的医学图像融合方法合方法;4 4、提出了一种、提出了一种基于对比度自适应链接强度基于对比度自适应链接强度PCNNPCNN的医学图像融合算法。的医学图像融合算法。5 5、提出了基于、提出了基于BPBP神经网络的特征级图像融合方法。神经网络的特征级图像融合方法。44多模态医学影像配准和融合技术的研究总 结1、提出了一种基于边缘特征点的互信息配准方法;44多东北大学信息科学与工程学院东北大学信息科学与工程学院 1 1、在三维甚至是四维空间上进行医学图像配准、在三维甚至是四维空间上进行医学图像配准的研究。的研究。2 2、围绕如何减少基于不可分离小波变换的医学、围绕如何减少基于不可分离小波变换的医学图像融合方法的计算量，加快融合速度等方面开图像融合方法的计算量，加快融合速度等方面开展研究工作。展研究工作。3 3、真正从仿生的角度研究基于脉冲耦合神经网、真正从仿生的角度研究基于脉冲耦合神经网络的医学图像融合方法。络的医学图像融合方法。展展 望望45多模态医学影像配准和融合技术的研究1、在三维甚至是四维空间上进行医学图像配准展 望45多模态东北大学信息科学与工程学院东北大学信息科学与工程学院 46多模态医学影像配准和融合技术的研究谢谢各位老师46多模态医学影像配准和融合技术的研究