医学图像配准和融合课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,第七章 医学图像配准与融合,Medical Image registration and fusion,1,第七章 医学图像配准与融合 Medical Image re,主要内容,配准融合技术概述,医学图像配准技术,图像图像融合技术,理论,方法,评估,方法,评估,背景,意义,主要内容配准融合技术概述理论方法背景,背景,医学影像设备在最近十年中得到迅速的发展，并广泛应用于临床诊断和治疗中。,由于成像的原理和设备不同，存在有多种成像模式（解剖成像、功能成像）。,3,对人脑可用多种模式成像,背景医学影像设备在最近十年中得到迅速的发展，并广泛应用于临床,意义,解剖图像：提供解剖形态信息，分辨率高,功能图像：提供功能代谢信息，分辨率差,二者结合：在一幅图像中同时表达来自人体多方面的信息，使人体内部结构和功能等状况能通过影像反映出来，直观提供人体解剖生理病理信息。,于是出现了,配准和融合,技术，配准是融合的先决条件,4,意义解剖图像：提供解剖形态信息，分辨率高4,临床应用,外科手术,术前病灶精确定位,放疗计划,CT,图像精确计算放射剂量、,MR,图像描述肿瘤结构，,PET,对代谢、免疫及生理方面进行识别，配准融合后图像用于改进放疗计划、立体定向活检、手术,癫痫病治疗,观察炎症、脑外伤、硬化症等变化、病灶精确定位,5,临床应用外科手术5,6,配准,（,image registration,）,的概念,医学图像配准,是指对于一幅医学图像寻求一种（或一系列）,空间变换,，使它与另一幅医学图像上的对应点达到,空间上的一致,。这种一致是指人体上的同一解剖点在两张匹配图像上有相同的空间位置（位置一致，角度一致、大小一致）。、,目的：,将多种成像模式或同一种模式得到的多幅 图像综合分析，更好的了解组织情况,解决的问题：,几幅图像的严格对齐,6配准（image registration）的概念医学图像,几幅图像信息综合的结果称作,图像的融合,（,image fusion,）,。,利用图像融合技术，将多种图像结合起来，利用各自的信息优势，在一幅图像上同时表达来自人体的多方面信息，使人体内部的结构、功能等多方面的状况通过影像反映出来，从而更加直观地提供人体解剖、生理及病理等信息。,图像配准技术是图像融合的先决条件,7,几幅图像信息综合的结果称作图像的融合（image fusio,8,图像配准示意图,配准实现过程：,1.,获得特征图像：不同角度，不同位置，反映某些方面的特征,2.,图像配准：通过空间变换（移动和旋转），使两幅图像对齐,3.,图像融合：得到整体特征图像,8图像配准示意图配准实现过程：,9,实例,：,9实例：,方法分类：,1993,年,VDE 7,种,按维数：,2D,、,3D,按摸态：单、多,按变换性质：,按用户交互性：自动、半自动、交互,按配准所基于图像特征：外、内,按变换参数确定的方式：公式、最优解,按主体分：同一患者、不同患者、患者与图谱,10,方法分类：1993年VDE 7种按维数：2D、3D10,11,刚体变换,：指物体内部任意两点间的距离及平行关系保持,不变（处理人脑图像，对不同方向成像的图像配,准常使用刚体变换）,仿射变换,：保持平行性，但距离发生变化，直线还是直线,（校正成像设备的误差产生的畸变）,投影变换,：直线映射成直线，平行性和两点间的距离变化,（二维投影图像与三维图像的配准）,弯曲变换,：直线变成曲线,(,解剖图谱变形拟合图像数据,),11刚体变换：指物体内部任意两点间的距离及平行关系保持,12,单模配准的典型应用：,（,1,） 不同,MR,加权像间的配准,T1,加权像,T2,加权像,质子密度加权像,不同组织表现不同强度,信息互补,（,2,） 电镜图像序列的配准,不同时间采集的多幅图像,（时间序列图像）,粒子移动，形态变化,研究生长现象,12单模配准的典型应用：（1） 不同MR加权像间的配准T1,13,单模配准的典型应用：,（,3,）,fMRI,图像序列的配准,（,4,） 胸腹部脏器的图像配准,不同时刻的三维脏器图像,四维图像分析,时间序列图像，大脑活动会产生氧摄取量和血流间的不平衡,MRI,图像测得信号的改变,解决：参考点位置确定（定位问题）,运动过程中的局部变形和噪声问题,13单模配准的典型应用：（3） fMRI图像序列的配准（4）,14,多模医学图像配准：,待配准的两幅图像来源于不同的成像设备。,解剖图像：,CT,：对密度差异较大的组织效果好,MRI,：可识别软组织,较高的空间分辨率,功能图像：,SPECT/PET,：能反映人体的功能和代谢信息,空间分辨率差,一般临床上的应用：,CT,（或,MRI,）和,SPECT,（或,PET,）的综合分析，同时提供功能和解剖信息,14多模医学图像配准：待配准的两幅图像来源于不同的成像设备。,15,多模医学图像配准：,难点：由于扫描设备的原理不同，两种断层图像间并不存 在简单的一一对应关系,人脑,MR/PET,图像配准上排：轴向图； 中间：矢状图； 下排：冠壮图左：,PET,图像； 中：,MRI,图像； 右：融合图像,15多模医学图像配准：难点：由于扫描设备的原理不同，两种断层,16,不同对象的图像配准,被试图像,典型正常图像,疾病的典型图像,对比,是否出现异常,是否属于同类,难点：不同对象形状、大小、位置差异,方法：,1,）确定一个共同的标准。,要求有一个详细标记人体各个解剖位置的计算机化标准图谱，如,Talairach,标准空间，把两幅图像分别映射到图谱，再比较,16不同对象的图像配准被试图像典型正常图像疾病的典型图像对比,17,Talairach,人脑图谱,对两个病人的,PET,或,MR,图象进行比较，首先把二者的图像都映射到这个共同的参考空间，然后再比较,不同对象的图像配准方法：,胼胝体,17Talairach人脑图谱 对两个病人的PET或MR图象,18,用非线性变换法配准不同人脑表面沟回,2,）非线性形变法,将三维图像逐渐变形，最终较好的与另一个三维图像匹配,不同对象的图像配准方法：,18用非线性变换法配准不同人脑表面沟回2）非线性形变法不同对,19,图像与图谱配准或与物理空间配准,在手术导航系统中解决图像像素与实际物理空间的位置配准,图像空间,立体定向装置、人体实体空间,坐标变换,实现方法：,19图像与图谱配准或与物理空间配准在手术导航系统中解决图像像,配准理论基础,每一幅待配准的图像都与定义图像空间的坐标系有关。一般情况下，图像配准都是基于几何变换的，即寻找一幅图像空间,X,中的点（用列向量,x,表示）与另一幅图像空间,Y,中的点（用列向量,y,表示）之间的映射。,X,经,T,变换后得到点,x,，即：,x=T(x),如果,y,与,x,是对应点，则成功的配准应该使得,x,等于或近似等于,y,，若两者之间的差值,T(x)-y,非零，则说明存在配准误差。根据空间变换,T,的形式不同，可将其分为刚体变换和非刚体变换两种形式。,20,配准理论基础每一幅待配准的图像都与定义图像空间的坐标系有关,21,图像的变换模型,：,刚体变换（二维刚体变换、三维刚体变换）,全局尺度变换,仿射变换,（,9,参数仿射变换、一般仿射变换）,透视变换,*,非线性空间变换,*,21图像的变换模型： 刚体变换（二维刚体变换、三维刚体变换）,22,医学图像配准在大多数情况下是采用刚体变换模型。,人体的很多组织可以,近似,为刚体，如骨头、由颅骨固定的大脑等,刚体变换：,平移,、,旋转,刚体变换,物体内部两点间的距离和角度保持不变,22医学图像配准在大多数情况下是采用刚体变换模型。刚体变换：,23,二维刚体变换：沿,x,轴平移：,向右平移,p,为正,向左平移,p,为负,矩阵公式：,变换公式：,其中,x,与,y,是平移后的结果,从（,x,y),变到新坐标系（,x,y,),23 二维刚体变换：沿x轴平移：向右平移p为正矩阵公式：变换,24,沿,y,轴平移：,向上平移,q,为正,向下平移,q,为负,矩阵公式：,变换公式：,其中,x,与,y,是平移后的结果,24沿y轴平移： 向上平移q为正矩阵公式：变换公式： 其中,25,绕坐标原点旋转：,矩阵公式：,变换公式：,25绕坐标原点旋转：矩阵公式：变换公式：,26,复合变换：,不同顺序的变换得到的结果是不同。,先沿,x,轴平移，再沿,y,轴平移，最后绕原点旋转,先绕原点旋转，再沿,y,轴平移，最后沿,x,轴平移,26复合变换：不同顺序的变换得到的结果是不同。先沿x轴平移，,27,举例：,设刚体变换先绕坐标原点旋转,10,，再沿,x,轴平移,4,个单位，然后沿,y,轴平移,9,个单位,设刚体变换先,沿,x,轴平移,4,个单位，再沿,y,轴平移,9,个单位，然后,绕坐标原点旋转,10,27举例：设刚体变换先绕坐标原点旋转10，再沿x轴平移4个,28,对于一个给定的变换结果，可以有许多不同的变换途径,先沿,X,轴平移,2.3764,个单位,再沿,Y,轴平移,9,，,5579,个单位,最后绕坐标原点旋转,10,度,28对于一个给定的变换结果，可以有许多不同的变换途径先沿X轴,29,三维刚体变换：沿,x,轴平移,向右平移,p,为正,向左平移,p,为负,矩阵公式：,变换公式：,其中,x,y,z,是平移后的结果,29 三维刚体变换：沿x轴平移向右平移p为正矩阵公式：变换,30,沿,y,轴平移：,向上平移,q,为正,向下平移,q,为负,矩阵公式：,变换公式：,其中,x,y,z,是平移后的结果,30沿y轴平移： 向上平移q为正矩阵公式：变换公式： 其中,31,沿,z,轴平移：,向前平移,r,为正,向后平移,r,为负,矩阵公式：,变换公式：,其中,x,y,z,是平移后的结果,31沿z轴平移： 向前平移r为正矩阵公式：变换公式： 其中,32,绕坐标轴旋转：,绕,x,轴旋转：,绕,y,轴旋转：,绕,z,轴旋转：,32绕坐标轴旋转：绕x轴旋转：绕y轴旋转：绕z轴旋转：,33,复合变换：,结合先旋转、后平移，及先平移后旋转，共有,12,种不同的组合顺序。对于先旋转后平移有：,与二维复合变换相同，不同顺序的变换得到的结果是不同,;,对于一个给定的变换结果，可以有许多不同的变换途径,33复合变换：结合先旋转、后平移，及先平移后旋转，共有12种,34,全局尺度变换,在刚体变换基础上增加一个新参数,m,，使图像全局缩放,m,倍,注：尺度变换与平移变换的顺序有影响，但与旋转变换顺序无关。,34全局尺度变换在刚体变换基础上增加一个新参数m，使图像全局,35,（,3,）仿射变换,9,参数仿射变换,各方向上尺度变换系数不同，,1,）对于同一个人的图像配准，可以在做旋转变换之前做尺度缩放,2,）对于不同人的图像配准，可以先旋转对准图谱，然后做三个方向的尺度缩放,35（3）仿射变换9参数仿射变换各方向上尺度变换系数不同，,36,基本的二维仿射变换举例：,沿,X,轴,整体旋转,沿,Y,轴,沿,X,扩大,整体扩大,/,缩小,沿,Y,扩大,原图,不改变面积,改变面积,36基本的二维仿射变换举例：沿X轴整体旋转沿Y轴沿X扩大整体,37,一般仿射变换,二维仿射变换：,三维仿射变换：,无需计算正弦和余弦，由变换参数决定变换结果,37 一般仿射变换二维仿射变换：三维仿射变换：无需计算正弦,38,（,4,）透视变换,直线经变换后还是直线，但平行的直线经变换后可能相交。,38（4）透视变换直线经变换后还是直线，但平行的直线经变换后,39,（,5,）非线性变换,无线性约束，一般用于校正图像获取过程中由仪器设备引入的畸变,39（5）非线性变换无线性约束，一般用于校正图像获取过程中由,40,主要配准方法,点法,曲线法,表面法,矩和主轴法,相关法,最大互信息配准方法,图谱法,非线性变换,40主要配准方法 点法,41,（,1,）点法,先寻找两幅图像之间的标志点（相同的点），然后通过对对应点集的刚体变换，将标志点对准，实现图像配准,标志点可以分为：,内部点,和,外部点,两种,内部点：是从与病人相关的图像性质中 得到解剖标志点，如耳蜗尖端 拐角、血管分叉或拐角处等,内部点寻找困难、费时,外部点：采集图像前，在病人的特定部位添加标记，使 得两幅图像都能检测到标记点，如螺钉、记号,外部点容易识别，但受试者需要严格保持不动,41（1）点法先寻找两幅图像之间的标志点（相同的点），然后通,42,图像,1,图像,2,确定标志点,几何变换,配准图像,寻找对应点,确定对应关系,42图像1图像2确定标志点几何变换配准图像寻找对应点确定对应,43,（,2,）曲线法,用人工的方法寻找两幅图像对应的开曲线，在两条曲线对应最佳的线段找出一组对应点，再用点法配准,ridge lines,（,脊线）,43（2）曲线法用人工的方法寻找两幅图像对应的开曲线，在两条,44,“帽子”,从一幅图像轮廓提取的点集,头表面模型,另一幅图像表面,（,3,）表面法,配准原则：寻找到的几何变换使得点与表面间的距离平 均平方值最小,44“帽子”从一幅图像轮廓提取的点集头表面模型另一幅,45,（,4,）矩和主轴法,计算两幅图像像素点的质心和主轴，通过平移和旋转使质心和主轴对齐，实现配准,缺点：,1.,对数据的缺失敏感，整个物体必须完整的出现在 两幅图像中,2.,对准效果不是很好，只能做前期配准，减少后续 主要配准方法的搜索步骤,45（4）矩和主轴法计算两幅图像像素点的质心和主轴，通过平移,46,（,5,）相关法,适用于同一个物体由于图像获取条件的差异或物体自身发生的微小变化而产生的图像序列的配准，从而发现物体的改变,采用使图像间相似性最大化的原理，估计变换参数，利用刚体的平移与旋转，实现配准,缺点：每种变换参数可能的取值都要计算相似性，相关法计算代价十分庞大,相似性：相关函数、相关系数、差值的平方、差的绝对值等,46（5）相关法适用于同一个物体由于图像获取条件的差异或物体,47,配准实例（,1,）：点法,脑部冠状图像,47配准实例（1）：点法脑部冠状图像,48,脑部,3D,解剖图像,传统的解剖图像,配准实例（,2,）：相关性,48脑部3D解剖图像传统的解剖图像配准实例（2）：相关性,49,1,）图像中心对准,2,）表面法配准,491）图像中心对准,图像配准的评估,相对标准，与配准目的有关,体模,-,初步,准标,-,人工记号,图谱,目测检验,50,图像配准的评估相对标准，与配准目的有关50,51,图像融合技术,将几幅图像的信息融合到一幅图像中，并可视化显示的过程,前提,：图像已经较好的配准,融合的图像可能有以下性质：,在一副图象中出现的特征，在另一幅中没有,感兴趣物体在两幅图像中具有相同信息，但不同的对比度,两幅图像的动态范围不同，或分辨率不同,图像存在噪声或局部信息丢失,要求融合的图像视觉效果好，看上去自然,51图像融合技术将几幅图像的信息融合到一幅图像中，并可视化显,融合方法,基于分割的图像融合：从一幅图像中分割出感兴趣部分，嵌入到另一幅图像中,加权平均：将一幅图像对应的像素乘上一个系数，加到另一幅图像,Toet,法,*,灰度调制法,*,小波变换融合法,*,52,融合方法基于分割的图像融合：从一幅图像中分割出感兴趣部分，,图像融合的评估,主观评价,客观评价,熵,交叉熵,互信息,图像均值,灰度标准差,均方误差,信噪比与峰值信噪比,平均梯度,53,图像融合的评估主观评价53,