光电信息处理技术图像融合课件

光电稳瞄系统光电稳瞄系统车载稳瞄导航系统 能够实现惯性导航、视轴稳定和远程能够实现惯性导航、视轴稳定和远程目标定位等功能。系统由主机、操控台目标定位等功能。系统由主机、操控台和电子箱三部分组成；其中主机安装在和电子箱三部分组成；其中主机安装在车体上，是一个光电稳定平台，含方位、车体上，是一个光电稳定平台，含方位、俯仰和侧倾三个环架，三个单轴陀螺和俯仰和侧倾三个环架，三个单轴陀螺和三个加速度组成惯性测量单元（简称三个加速度组成惯性测量单元（简称IMU），），IMU和摄像机、激光测距机和摄像机、激光测距机被安装在稳定平台上；操控台安装在乘被安装在稳定平台上；操控台安装在乘员侧前方，包含显示控制终端和操纵手员侧前方，包含显示控制终端和操纵手柄，图像和导航显示在显控终端上，操柄，图像和导航显示在显控终端上，操纵台用于调转瞄准线；电子箱安装在车纵台用于调转瞄准线；电子箱安装在车体后部，包含稳瞄伺服电路和导航解算体后部，包含稳瞄伺服电路和导航解算电路。三部分拥有各自的计算机，靠通电路。三部分拥有各自的计算机，靠通讯电缆联接。讯电缆联接。救生与反恐定位系统救生与反恐定位系统 该产品利用光学陀螺实现视轴稳该产品利用光学陀螺实现视轴稳定和姿态测量，能够在运动过程定和姿态测量，能够在运动过程中对目标进行跟踪拍摄和定位，中对目标进行跟踪拍摄和定位，并形成目标运动轨迹。可广泛地并形成目标运动轨迹。可广泛地应用于海上救生，动物监控和保应用于海上救生，动物监控和保护，海上缉私，边境、海岸防走护，海上缉私，边境、海岸防走私，反偷渡和缉私。该装置可安私，反偷渡和缉私。该装置可安装在救援飞机，警车，考察车或装在救援飞机，警车，考察车或巡逻艇上。在行进间对目标连续巡逻艇上。在行进间对目标连续拍摄摄像，将目标在地理坐标系拍摄摄像，将目标在地理坐标系的轨迹实时的传输给指挥系统或的轨迹实时的传输给指挥系统或合作单位，使其能迅速而有效的合作单位，使其能迅速而有效的配合。配合。光电信息处理技术：图像拼接技术图像拼接技术电子稳像技术电子稳像技术图像融合技术图像融合技术目标跟踪技术目标跟踪技术目标识别技术目标识别技术图像融合技术图像融合技术一、图像融合概述一、图像融合概述 图像融合就是将不同来源的同一对象的图像数据进行空间配准，然后采用一定的算法将图像数据中所含的数据优势或互补性有机地结合起来产生新图像数据的技术。这种新数据具有描述所研究对象的较优化的信息表征，同单一信息源相比，能减少或抑制对被感知对象或环境解释中存在的多义性、不完全性、不确定性和误差，最大限度地利用各种信息源提供的信息。原始全色波段原始全色波段光谱波段光谱波段二、图像融合的基本原理 图像融合是信息融合的一个重要分支。（1）信息融合的概念 信息融合又称为多传感器融合，是指利用计算机技术对多源信息进行协调优化和综合处理，实现优势互补，以完成所需的决策任务的信息处理过程。（2）多源遥感图像融合 融合多传感器图像所含的信息，把它们互补性地有机结合在一起，以提高图像判读的可靠性，提高图像的解译能力，从而提高数据分类和目标识别的准确性。例如，多光谱图像的光谱分辨率较高，但空间分辨率比较低，即空间的细节表现能力较差；全色光学图像具有高空间分辨率，但光谱分辨率较差。（3）图像融合的模型框架与算法 A、层次性 多源图像信息的形式从抽象层次上可分为：像素级、特征级和决策级。因此，信息融合就可相应地在像素级、特征级和决策级三个层次上进行，融合的水平依次由低到高。像素级融合是一种低水平的融合，就是对空间配准的图像数据直接融合，在对融合后的图像进行特征提取和属性说明。多源图像 数据空间配准信息融合特征提取属性说明 像素级融合的优点是保留了尽可能多的信息具有最高精度，缺点是处理数据量大、费时、实时性差，并且要求传感，其实同质的，即由同类传感器获取的。特征级融合是一种中等水平的融合。特征融合先是将各种图像数据进行特征提取，产生特征矢量，然后对这些特征矢量进行融后，最后，利用融合特征矢量进行属性说明。其优点是实现了可观的信息压缩，有利于实时处理，并且提供的特征直接与决策分析相关。其缺点是比像素级融合精度差。多源图像数据空间配准特征提取特征融合属性说明 决策级融合是最高水平的融合，首先对每一数据进行属性说明，然后对其结果加以融合，得到目标或环境的融合属性说明。优点是具有很强的容错能力，很好的开放性，处理时间短。多源图像数据空间配准特征提取属性说明属性融合属性融合说明分类预处理特征提取图像分类 应用 图像像素级图 像融 合特征级图 像融 合决策级图 像融 合图像融合方法像素级像素级特征级特征级决策级决策级小波变换法小波变换法Bayesian法Bayesian法HIS变换法变换法Dempster-shafer Dempster-shaferPCA变换法神经网络法神经网络法高通滤波法带权平均法可靠性理论回归模型法熵法基于知识的融合法Kalman滤波法聚类分析模糊集理论代数法表决法逻辑模板常用的融合方法常用的融合方法 HIS变换变换 3个波段合成的RGB颜色空间是一个对物体颜色属性描述系统，而HIS色度空间提取出物体的亮度I，色度H，饱和度S，它们分别对应3个波段的平均辐射强度、3个波段的数据向量和的方向及3个波段等量数据的大小。Fusion Methods小波变换小波变换 小波变换（Wavelet transform,WT）是一种全局变换，在时间域和频率域同时具有良好的定位能力，对高频分量采用逐渐精细的时域和空域步长，可以聚焦到被处理图像的任何细节，从而被誉为“数学显微镜”。WT方法首先对参与融合的遥感图像数据进行小波正变换，将图像分解为高频信息和低频信息。分别抽取来自高空间分辨率影像分解后的高频信息和低空间分辨率的低频信息进行小波逆变换，生成融合图像。三、小波分析三、小波分析小波分析的引入小波函数的特性小波的多尺度分析小波的应用小波分析的产生小波分析的产生1、提出问题-Fourier分析的尴尬原因分析:A、积分运算平滑了突变成分 B、积分核Fourier变换的不足：a、不适合处理非线性问题 b、不能反映出随时间变化的频率 c、从中 提取 ，要取无限的时间量2、分析问题-Fourier分析的缺陷 FT FT 特点特点 (1)FT(1)FT 是信号的单域变换。是信号的单域变换。时域时域 频域频域 (2)FT(2)FT 是信号的全域变换。是信号的全域变换。FTFT反映了信号的全域反映了信号的全域 (时、频时、频 )特征。特征。FTFT不能反映信号的局域不能反映信号的局域 (时、频时、频 )特征。特征。结论：结论：FT FT 不适宜于分析非平稳信号不适宜于分析非平稳信号（语音、音乐、地震信号（语音、音乐、地震信号等）。等）。因此因此,FT,FT 只能告诉整个信号中出现什么频率，只能告诉整个信号中出现什么频率，而不能告诉什么时刻出现什么频率而不能告诉什么时刻出现什么频率.为了得到频谱量的为了得到频谱量的 时间位置时间位置,对信号需要进行对信号需要进行局部分析局部分析!?!?3、解决问题-如何实现局部化加窗Fourier变换(STFT)：图图 2 加窗加窗Fourier变换变换 使用移动的窗口函数来截断信号以得到信使用移动的窗口函数来截断信号以得到信号的连续时间区间。号的连续时间区间。STFT的时频分辨率问题分析窗口规定了时间和频谱的分辨率分析窗口规定了时间和频谱的分辨率窄窗口窄窗口 高时间分辨率高时间分辨率窄宽带窄宽带 (宽窗口宽窗口)高频谱分辨率高频谱分辨率什么时候我们需要高时间分辨率，什么什么时候我们需要高时间分辨率，什么时间需要高频谱分辨率时间需要高频谱分辨率?STFT小波变换应用宽度变化的窗口，克服应用宽度变化的窗口，克服STFTSTFT的存在的存在分辨率问题分辨率问题对不同的频率，分析不同长度的窗口对不同的频率，分析不同长度的窗口:高频分析高频分析 使用窄窗口已获得较好的时间使用窄窗口已获得较好的时间分辨率分辨率低频分析低频分析 使用较宽的窗口已获得较好的使用较宽的窗口已获得较好的频谱分辨率频谱分辨率小波变换小波变换1、小波变换 加窗Fourier变换:小波变换：小波函数：a 伸缩因子 b 平移因子Fourier变换和Wavelets变换的对比 小波时域特性 小波频域特性 小波特性小波函数的特性：小波函数的特性：(1)小波具有波动性小波具有波动性(2)小波具有时、频域紧支撑，小波具有时、频域紧支撑，(3)小波具有带通滤波器特性。小波具有带通滤波器特性。伸缩因子对小波函数的影响:a1小波函数：a 伸缩因子伸缩因子 b 平移因子平移因子Heisenberg定理如何用小波多尺度分析多尺度分析MallatMallat算法算法离散形式:！引入尺度函数:2、多尺度分析多尺度分析多尺度分析 尺度方程:信号的分解方法:(a)信号分解多尺度分析的快速算法多尺度分析的快速算法MallatMallat算法算法(b)信号合成目标光谱 红外光谱信号的特征实验结果分析 各阶分解信号目标光谱信号 DMMP光谱及其特征信号 柴草烟光谱及其特征信号 DMMP和柴草烟的混合光谱及其特征信号小波的应用领域特征提取特征提取边缘检测边缘检测图像融合图像融合信号与图像压缩信号与图像压缩小波神经网络小波神经网络对二维情况，设一平滑函数 ，有：；多尺度边缘检测小波检测图像边缘小波检测图像边缘用小波系数的局部最大值点可刻画出图像信号突变点的位置，用小波系数的局部最大值点可刻画出图像信号突变点的位置，即图像边缘的位置。即图像边缘的位置。用小波检测图像边缘的步骤：用小波检测图像边缘的步骤：步骤步骤1 1：选定光滑函数为尺度函数，相应地，函数的一阶导数：选定光滑函数为尺度函数，相应地，函数的一阶导数为小波函数，构成多尺度小波变换。为小波函数，构成多尺度小波变换。步骤步骤 2 2：对图像进行小波变换，由小波系数计算不同尺度下的：对图像进行小波变换，由小波系数计算不同尺度下的梯度方向和梯度矢量模。梯度方向和梯度矢量模。步骤步骤 3 3：分别从图像每一层行与列小波系数中，找出零交叉点，：分别从图像每一层行与列小波系数中，找出零交叉点，并求出两两相邻零交叉点的最大点，由行和列同时出现最大值并求出两两相邻零交叉点的最大点，由行和列同时出现最大值处的点设为边缘点。处的点设为边缘点。步骤步骤 4 4：按照一定规则，边缘点连接成边界。：按照一定规则，边缘点连接成边界。小结 由理论分析可知，小波具有良好的局部化特性，小波变换在时域和频域都有很高的分辨率，适合于提取信号的局部信息。采用小波变换的多尺度分析方法，可同时提取低频和高频信息。二维小波分析二维小波分析INPUTIMAGEROWSCOLUMNSH2 1G2 1H1 2G1 2H1 2G1 2ROWSROWSCOLUMNSCOLUMNSCOLUMNSLLLHHLHHReconstruction1 21 21 21 2HGHG2 12 1HGORIGINALIMAGELLLHHLHH基于基于HVS的小波图像融合的小波图像融合融合过程61图像的小波分解与重构原始图像2层小波分解结果p如：采用的Daubechies(2,2)小波函数对原始图像分解小波变换的融合方法的难点基于小波变换的融合方法的难点是融合规则的选取，也是图像融合至今尚未很好解决的难点问题。低频系数的融合高频系数的融合基于像素的融合规则;基于区域的融合规则两种不同的融合策略示意图Original data原始RGBWTWT融合效果评价融合效果评价 评价融合影像的质量是遥感图像融合的一个重要步骤。评价融合效果主要包括定性定性和定量定量评价两种。定性评价一般选用目视法解译。定量评价选择：均值、标准差、熵、光谱偏差度、均方根差和相关系数等 定量评价分为：融合图像的整体质量、融合图像和低分辨率图像的光谱信息保真度和融合图像与高分辨率图像的高频信息保真度（纹理信息）三个方面。融合图像的整体质量评价指标融合图像的整体质量评价指标均值：均值：均值越大说明影像含信息量越高标准差：标准差：反映图象灰度相对于灰度均值的离散情况。标准差大，则图像灰度级分散，图像反差大，信息量丰富熵：熵：熵越大说明整体图像的信息含量高光谱保真度评价光谱保真度评价1.保真度保真度D F为融合影像均值，B为原始影像均值，MN为像元总数。D反映了融合图像和原始图像在光谱信息上的差异和光谱特性变化的平均程度，值越小说明光谱信息损失少,在理想情况下D=0。2.原始图像和融合后图像的光谱曲线光谱曲线高频信息保真度评价高频信息保真度评价相关系数相关系数 F为融合生成图像的灰度值，f为融合图像的均值；A为源图像灰度值，a为源图像的均值，通过计算融合图像和高空间分辨率图像之间的相关系数，相关系数越大说明高频信息融入越高。Evaluation高频信息保真度评价高频信息保真度评价方均根误差方均根误差(Root Mean Square Error,RMSE)RMSE能灵敏地检测出n维空间中任意两个向量的相似性，故该方法能定量评价融合方法的高频信息（纹理）融入度.其中F为融合产生图像的亮度均值；B为融合前图像的亮度均值，此处为高空间分辨率波段；n为参与融合的波段数。RSME值越小，说明高分辨率图像的高频信息融入度越高。Evaluation光电图像融合技术的应用光电图像融合技术的应用75像素级图像融合的基本过程预处理预处理可见光图像可见光图像红外图像红外图像融合图像融合图像图像配准融合融合参考76融合效果比较可见光图像可见光图像红外图像红外图像代数法代数法高通滤波法高通滤波法Laplacian金字塔法金字塔法FSD金字塔法金字塔法Contrast金字塔法金字塔法Gradient金字塔法金字塔法小波算法小波算法77像素级图像融合的应用（遥感）(a)Landsat卫星图像 (b)Spot卫星图像 (c)融合结果图像提高分辨力；具有立体成像能力；突出感兴趣区域；提高分类效果；弥补某一路传感器成像缺陷。78 (a)CT图像 (b)PET图像 (c)融合结果图像 像素级图像融合的应用（医学）利用不同成像诊断设备联合进行病灶的精确定位；计算机辅助手术。临床怀疑坐骨内生软骨瘤诊断（红十字线为病灶定位）79像素级图像融合的应用（数码成像）n改善曝光时间对成像质量的影响。(a)曝光不足图像 (b)曝光过度图像 (c)融合结果图像 80 (a)聚焦于前面钟表的图像 (b)聚焦于中间磁盘盒的图像n多聚焦图像可提高像质和分辨力(d)融合结果图像(c)聚焦于后面人员的图像 像素级图像融合的应用（数码成像）81n违禁品检查；n暗藏枪支检查；n辅助导航。(a)可见光成像结果 (b)毫米波(MMW)成像结果 (c)融合结果图像 像素级图像融合的应用（安检）82n海天目标探测、识别与与跟踪n伪装识别n战场监视像素级图像融合的应用（军事）(a)可见光图像 (b)热红外图像 (c)灰度融合图像 (d)伪彩色融合图像 83部分国外图像融合产品（右：英国OCTEC公司的ADEPT60 图像处理模块）（左：美国Equinox公司的DVP-4000双通道图像融合SoPC模块）（MIT林肯实验室红外/可见光实时融合系统）84部分国外图像融合产品（美国Advanced Information Technologies公司的图像融合演示系统）（直升机辅助导航效果）军事应用海湾战争中发挥很好作战性能的“LANTIRN”吊舱就是一种图像融合系统。是一种用于飞行战斗机的低空红外夜视目标侦测系统。远程遥感应用美国陆地资源卫星LANDSAT是最早投入实际使用的图像融合系统。广泛采集地球远程遥感图像。1972年 Landsat1 1999年 Landsat7已采集百万张图像，广泛用于农业，地理学，森林学，教育，地图绘制和全球变革研究。LANDSAT项目工作组 LANDSAT采集的图像 LANDSAT发射火箭