第8章图像融合技术课件

第第8章章 图像融合技术图像融合技术主要内容主要内容n n图像融合分类图像融合分类n n图像融合算法图像融合算法n n图像融合的评价标准图像融合的评价标准 n图像融合应用图像融合应用 第第8章章 图像融合技术图像融合技术主要内容主要内容第第8章章 图像融合技术图像融合技术图像融合是指将一个或一个以上的传感器在同一时间或不同时间获取图像融合是指将一个或一个以上的传感器在同一时间或不同时间获取的关于某个具体场景的图像或者图像序列信息加以综合，通过对多幅的关于某个具体场景的图像或者图像序列信息加以综合，通过对多幅图像信息的提取与综合生成一个新的图像，该图像包含了从多个传感图像信息的提取与综合生成一个新的图像，该图像包含了从多个传感器获得的信息。图像融合可以器获得的信息。图像融合可以减少图像信息的不确定性减少图像信息的不确定性，获得对同一，获得对同一场景场景/目标的更为准确、全面、可靠的图像描述，进而实现图像增强、目标的更为准确、全面、可靠的图像描述，进而实现图像增强、特征提取、去噪、目标识别与跟踪、三维重构等作用。应用于特征提取、去噪、目标识别与跟踪、三维重构等作用。应用于军事、军事、医学成像、遥感、计算机视觉、气象预报、军事目标探测与识别医学成像、遥感、计算机视觉、气象预报、军事目标探测与识别等方等方面。面。第第8章章 图像融合技术图像融合技术图像融合是指将一个或一个以上的传感器图像融合是指将一个或一个以上的传感器8.1 图像融合分类图像融合分类8.1 图像融合分类图像融合分类 8.2 图像融合算法图像融合算法-像素级融合像素级融合随着图像融合技术的发展，相继出现了许多不同的图像融随着图像融合技术的发展，相继出现了许多不同的图像融合方法。这些方法注重图像不同方面的信息，例如一般的合方法。这些方法注重图像不同方面的信息，例如一般的基本融合方法基本融合方法直接在直接在空间域空间域对图像进行融合，注重的是直对图像进行融合，注重的是直观的灰度或彩色信息，而像观的灰度或彩色信息，而像Laplacian金字塔融合方法与金字塔融合方法与小波融合方法小波融合方法注重的是注重的是图像频域信息图像频域信息。8.2 图像融合算法图像融合算法-像素级融合像素级融合随着图像随着图像 8.2.1 基本图像融合算法基本图像融合算法线性加权法线性加权法相关系数加权法相关系数加权法 8.2.1 基本图像融合算法基本图像融合算法线性加权法相线性加权法相 8.2.1 基本图像融合算法基本图像融合算法图像代数法图像代数法主成分分析法（主成分分析法（PCA）8.2.1 基本图像融合算法基本图像融合算法图像代数法主图像代数法主 8.2.1 基本图像融合算法基本图像融合算法HIS变换法变换法HIS变换适合于分辨率不同的两个图像间的融合，两个图像间变换适合于分辨率不同的两个图像间的融合，两个图像间的分辨率差异为的分辨率差异为23倍时得到的融合图像的效果最佳，若相差倍时得到的融合图像的效果最佳，若相差太大，则应将高分辨率图像的分辨率通过插值方法降低。参与太大，则应将高分辨率图像的分辨率通过插值方法降低。参与融合的图像若一个为多光谱、低分辨率图像，另一个为高分辨融合的图像若一个为多光谱、低分辨率图像，另一个为高分辨率图像，两者的融合可以兼取前者的多光谱和后者的高分辨率率图像，两者的融合可以兼取前者的多光谱和后者的高分辨率的优点，使融合图像成为一幅的优点，使融合图像成为一幅多光谱、高分辨率多光谱、高分辨率的图像。的图像。HIS变换的本质是原图像与替代图像的波段的加权结合。变换的本质是原图像与替代图像的波段的加权结合。先将待融合的多幅图像作先将待融合的多幅图像作RGB-HIS变换，然后对变换后的变换，然后对变换后的HIS进行平均加权，最后再进行进行平均加权，最后再进行HIS-RGB变换，得到融合图像。变换，得到融合图像。8.2.1 基本图像融合算法基本图像融合算法HIS变换法变换法基于小波分解的图像融合方法原理图基于小波分解的图像融合方法原理图 8.2.3 小波变换图像融合算法小波变换图像融合算法8.2.3 小波变换图像融合算法小波变换图像融合算法 对于图像处理，需要将连续小波变换与逆变换离散对于图像处理，需要将连续小波变换与逆变换离散化，在此给出经典化，在此给出经典Mallat算法的离散形式算法的离散形式 8.2.3 小波变换图像融合算法小波变换图像融合算法 对于图像处理，需要将连续小波变换与逆变换离散对于图像处理，需要将连续小波变换与逆变换离散 图像融合图像融合 图像重构图像重构 8.2.3 小波变换图像融合算法小波变换图像融合算法 图像融合图像融合 8.2.3 小波变换图像融合算法小波变换图像融合算法 8.3 图像融合的评价标准图像融合的评价标准主观评价法（目视评价方法）主观评价法（目视评价方法）客观评价法客观评价法 8.3 图像融合的评价标准主观评价法（目视图像融合的评价标准主观评价法（目视 8.3.1 主观评价标准主观评价标准分数分数质量尺度质量尺度妨碍尺度妨碍尺度5分分非常好非常好丝毫看不出图像质量变坏丝毫看不出图像质量变坏4分分好好能看出图像变坏，但并不妨碍观看能看出图像变坏，但并不妨碍观看3分分一般一般清楚的看出图像质量变坏，对观看稍有妨清楚的看出图像质量变坏，对观看稍有妨碍碍2分分差差对观看有妨碍对观看有妨碍1分分非常差非常差非常严重妨碍观看非常严重妨碍观看主观评价尺度评分表主观评价尺度评分表 8.3.1 主观评价标准分数质量尺度妨碍尺度主观评价标准分数质量尺度妨碍尺度5分非常好丝分非常好丝 8.3.2 客观评价标准客观评价标准基于信息量的评价基于信息量的评价信息熵信息熵交叉熵交叉熵互信息互信息 8.3.2 客观评价标准基于信息量的评价信息熵交叉熵互客观评价标准基于信息量的评价信息熵交叉熵互 8.3.2 客观评价标准客观评价标准基于统计特性的评价基于统计特性的评价均值均值标准差标准差均方根误差均方根误差 8.3.2 客观评价标准客观评价标准基于统计特性的评价均值标准差基于统计特性的评价均值标准差 8.3.2 客观评价标准客观评价标准平均梯度平均梯度空间频率空间频率其中其中 8.3.2 客观评价标准平均梯度空间频率其中客观评价标准平均梯度空间频率其中 8.3.2 客观评价标准客观评价标准基于信噪比的评价基于信噪比的评价信噪比信噪比 峰值信噪比峰值信噪比 8.3.2 客观评价标准客观评价标准基于信噪比的评价信噪比峰值信基于信噪比的评价信噪比峰值信 8.4 图像融合应用图像融合应用 本节对主要的融合算法在本节对主要的融合算法在XAVIS系统中进行了实现，包系统中进行了实现，包括基本图像融合算法、金字塔融合算法和小波融合算法括基本图像融合算法、金字塔融合算法和小波融合算法等，实现多光照、多聚焦、异质图像融合应用。等，实现多光照、多聚焦、异质图像融合应用。8.4 图像融合应用图像融合应用 本节对主要的融合算法在本节对主要的融合算法在XAV 8.4.1 多光照图像融合多光照图像融合 待融合图像待融合图像A 待融合图像待融合图像B 标准参考图像标准参考图像 线性加权线性加权 相关系数加权相关系数加权 图像代数算法图像代数算法 8.4.1 多光照图像融合多光照图像融合 8.4.1 多光照图像融合多光照图像融合 方法方法熵熵交叉熵交叉熵空间频率空间频率平均误差平均误差处理时间处理时间线性加权法线性加权法（阈值（阈值=7、20）4.460.7827.0818.9235ms相关系数加权法相关系数加权法（阈值（阈值=30）4.280.7227.0210.6375ms图像代数算法图像代数算法（阈值（阈值=80）4.440.1727.265.34281ms多光照图像融合方法的评价多光照图像融合方法的评价 8.4.1 多光照图像融合多光照图像融合 方法熵交叉熵空间频率平均误差方法熵交叉熵空间频率平均误差 8.4.1 多光照图像融合多光照图像融合 Readimage(21.bmp,image);showimage(image);sleep(1000);Readimage(22.bmp,image1);showimage(image1);sleep(1000);TimerBegin(cccc);FixelFusionAver(image,image1,image2,7,20);/线性加权线性加权TimerEnd(cccc,dddd);showimage(image2);在在XAVIS代码区中编写线性融合代码：代码区中编写线性融合代码：8.4.1 多光照图像融合多光照图像融合 Readimage(21.b 8.4.1 多光照图像融合多光照图像融合 方法方法1（YUV）方法方法2（RGB）方法方法3（HIS）方法方法熵熵交叉熵交叉熵空间频率空间频率平均误差平均误差处理时间处理时间14.001.0327.127.501110ms24.100.73927.126.532531ms34.140.45927.006.021203ms各种小波融合方法的评价（不同光照）各种小波融合方法的评价（不同光照）8.4.1 多光照图像融合多光照图像融合 方法方法1（YUV）8.4.1 多光照图像融合多光照图像融合 Readimage(21.bmp,image);showimage(image);sleep(1000);Readimage(22.bmp,image1);showimage(image1);sleep(1000);TimerBegin(cccc);FixelFusionHisWvlts(image,image1,image2);/小波融合（小波融合（HIS法）法）TimerEnd(cccc,dddd);showimage(image2);在在XAVIS代码区中编写代码区中编写HIS的小波融合算法代码：的小波融合算法代码：8.4.1 多光照图像融合多光照图像融合 Readimage(21.b 8.4.2 多聚焦图像融合多聚焦图像融合 多聚焦待融合图像多聚焦待融合图像A 多聚焦待融合图像多聚焦待融合图像B 方法方法1（YUV）方法方法2（HIS）8.4.2 多聚焦图像融合多聚焦图像融合 多聚焦待融合图像多聚焦待融合图像 8.4.2 多聚焦图像融合多聚焦图像融合 方法方法熵熵交叉熵交叉熵空间频率空间频率平均误差平均误差处理时间处理时间14.910.05522.683.581875ms24.900.10822.633.912009ms两种小波融合方法的评价（多聚焦）两种小波融合方法的评价（多聚焦）Readimage(21.bmp,image);showimage(image);Readimage(22.bmp,image1);showimage(image1);TimerBegin(cccc);FixelFusionHisWvlts(image,image1,image2);/小波融合算法（小波融合算法（YUV）TimerEnd(cccc,dddd);showimage(image2);8.4.2 多聚焦图像融合多聚焦图像融合 方法熵交叉熵空方法熵交叉熵空 8.4.3 异质图像融合异质图像融合 异质图像异质图像 异质图像是指两幅图像的光谱特性不同，如异质图像是指两幅图像的光谱特性不同，如红外和可见光图像，此外还包红外和可见光图像，此外还包括可见光和毫米波图像、医学的括可见光和毫米波图像、医学的CT和和NMR图像、图像、IR和和TV图像图像等等。等等。异质图像融合是基于多传感器的，主要指基于不同电磁波波段的不同类型异质图像融合是基于多传感器的，主要指基于不同电磁波波段的不同类型传感器。因此在学习异质图像融合之前，了解电磁波的频谱特性是十分必传感器。因此在学习异质图像融合之前，了解电磁波的频谱特性是十分必要的。光是电磁波能量的一种形式，下图为电磁波谱。它表明可见光辐射要的。光是电磁波能量的一种形式，下图为电磁波谱。它表明可见光辐射仅占其中很小的一部分。仅占其中很小的一部分。8.4.3 异质图像融合异质图像融合 异质图像异质图像 异质图异质图 8.4.3 异质图像融合异质图像融合 异质图像融合方法及特点异质图像融合方法及特点1）提高信息的可信度）提高信息的可信度2）增加目标特征矢量的维数）增加目标特征矢量的维数3）提高获得信息的效率）提高获得信息的效率4）提高了系统的容错能力）提高了系统的容错能力 8.4.3 异质图像融合异质图像融合 异质图像融合方法及特异质图像融合方法及特 8.4.3 异质图像融合异质图像融合 异质图像融合应用异质图像融合应用1）医学图像融合应用）医学图像融合应用 CT图像图像 NMR图像图像 PCA算法融合算法融合 YUV法小波融合法小波融合 8.4.3 异质图像融合异质图像融合 异质图像融合应用异质图像融合应用 8.4.3 异质图像融合异质图像融合 2）IR和和TV图像融合图像融合 IR图像图像 TV图像图像 Laplacian算法融合算法融合 小波变换融合小波变换融合 算法算法熵熵交叉熵交叉熵互信息互信息Laplacian算法算法7.12091.70812.3137小波变换小波变换7.58321.72171.8783 8.4.3 异质图像融合异质图像融合 2）IR和和TV图像融图像融ENDEND第第8章图像融合技术课件章图像融合技术课件