多源遥感数据融合课件

多源遥感数据融合探讨多源遥感数据融合探讨 多源遥感数据融合探讨 报告内容安排报告内容安排Part one：多源遥感数据介绍Part two：多源遥感数据融合Part three：融合算法探讨Part four：IKONOS&QB 融合效果Part five：融合中的难点报告内容安排Part one：多源遥感数据介绍 Part one：多源遥感数据介绍 Part one：l 1972年7月23日美国发射第一颗地球资源卫星 ERTS-1；l 1975年发射ERTS-2，改名Landsat-2；l 1978年发射Landsat-3；l 1982年在Landsat1-3的基础上改进设计并发射Landsat-4；l 1984年发射Landsat-5；l 1993年发射Landsat-6卫星，上天后由于故障陨落；l 1999年发射Landsat-7。数据特点：数据特点：光谱信息丰富 覆盖面积大 空间分辨率相对较高 覆盖面积为185185km2，回归周期为16天或者18天。影像的空间分辨率从多光谱扫描仪MSS的80米专题制图仪TM影像的30米增强性专题制图仪ETM+的全色Pan波段的15米。Multi-sensor dataSensor one：Landsat 1972年7月23日美国发射第一颗地球资源卫星 ERTS-RGB321Sensor one：LandsatRGB752Multi-sensor dataRGB321Sensor one：LandsatRGB75l1986年发射SPOT-1；l1989年发射SPOT-2；l1993年发射SPOT-3；l1996年发射SPOT-4；l2002年发射SPOT-5;该系列卫星特点该系列卫星特点（1）前3颗SPOT卫星搭载的是两台高分辨率传感器HRV(high resolution visible image system)其2个可见光和一个近红外的XS波段空间分辨率为20米，全色PA分辨率为10米；（2）4号卫星搭载的是HRVIR和“植被”VI传感器；（3）5号卫星在4号卫星的基础上加了一个高分辨率(10米)立体成像装置（HRS）,和前4颗卫星相比其空间分辨率几乎提高了一个数量级：单色波段为10米，全色波段为2.5米；（4）SPOT系列卫星的重复周期26天(369圈)，由于采用倾泄观测技术，可以对同一个地区用45天间隔观测；一幅影像最少可以覆盖11760km2。Multi-sensor dataSensor two：SPOT1986年发射SPOT-1；Multi-sensor datRGB432Multi-sensor dataSensor two：SPOTRGB432Multi-sensor dataSensor CBERS系列卫星：即中巴资源卫星（China-Brazil Earth Resource Satellite）l1999年10月CBERS-1发射l2003年11月CBERS-2发射该卫星特点（1）20米分辨率的5谱段CCD(charge coupled device)相机,其采用推帚式扫描,扫描宽度113km；（2）80米分辨率的3波段多光谱扫描仪（MSS），扫描宽度120km；（3）160米分辨率的1个波段热红外扫描仪，扫描宽度120km；（4）256分辨率的2个波段宽视场成像仪（WFI），扫描宽度890km；（5）重复观测周期是26天，由于CCD相机具有侧视功能，观测同一地区的最短周期可以为3天。Multi-sensor dataSensor three：CBERSCBERS系列卫星：即中巴资源卫星（China-BraziRGB432(2006)Multi-sensor dataSensor three：CBERSRGB432(2006)Multi-sensor dataS高分辨率商业卫星高分辨率商业卫星Quick-Bird 单波段星下分辨率为2.44米,全色分辨率为0.61米,其一副图象可以覆盖16.516.5km2.IKONOS 单波段星下分辨率为4米,全色分辨率为1米,其一副图象可以覆盖1111km2低分辨率卫星低分辨率卫星 MODIS卫星 其可见分辨率比陆地卫星低,光谱分辨率高,回归周期短,最多一天可以获得4条过境图象,共有36个波段数据。Multi-sensor dataSensor four：Quick-Bird&IKONOS&MODIS高分辨率商业卫星Multi-sensor dataSensoPart two：多源遥感数据融合多源遥感数据融合Part two：多源遥感数据融合l多源遥感影象数据特点：冗余性冗余性：表示多源遥感影像数据对环境或目标的表示、描述或解译结 果相同 互补性互补性：指信息来自不同的自由度且相互独立合作性合作性：不同传感器在观测和处理信息时对其它信息有依赖关系 l融合目的：融合目的：将单一传感器的多波段信息或不同类别传感器所提供的信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，加以互补，改善遥感信息提取的及时性和可靠性，提高数据的使用效率。l融合实质：融合实质：在统一地理坐标系中将对同一目标检测的多幅遥感图像数据采用一定的算法，生成一幅新的、更能有效表示该目标的图像信息。Data Fusion多源遥感影象数据特点：Data Fusion遥感数据融合发展和应用遥感数据融合发展和应用 l数据融合（data fusion）最早被应用于军事领域。l融合数据的特点：融合产生的数据具有原始影像的优点，其可以减少识别目标的模糊性和不确定性，提高遥感图像整体质量和综合分析精度同时又能满足定量遥感需要更多的光谱信息和空间纹理信息的要求。l融合模型要求：具有良好的信息保真度。l分类：像素级、特征级和决策级l主要应用领域有：多源影像、机器人和智能仪器系统、战场和无人驾驶飞机、图像分析与理解、目标检测与跟踪、自动目标识别等。Data Fusion遥感数据融合发展和应用 数据融合（data fusion）最Part three：融合算法探讨Part three：遥感数据融合流程图遥感数据融合流程图 问题问题：低 分 辨 率 影 像 如 何 选 择？问题：问题：高 分 辨 率 影 像 如 何 选 择？遥感数据融合流程图 问题：问题：数据预处理 包括几何纠正、大气订正、辐射校正及空间配准（1）几何纠正、大气订正及辐射校正的目的主要在于去处透视收缩、叠掩、阴影等地形因素以及卫星扰动、天气变化、大气散射等随机因素对成像结果一致性的影响；（2）影像空间配准的目的在于消除由不同传感器得到的影像在拍摄角度、时相及分辨率等方面的差异。空间配准 空间配准中最关键、最困难的问题寻找地面控制点（GCP,Ground Control Point）。(1）GCP选择：如边界、线状物交叉点、区域轮廓线等明显的特征。（2）插值：根据映射关系，对非参考影像进行重采样，获得同参考影像配准的影像。插值法有：邻近点插值法、双线性插值法和立方卷积插值法三种，精度要求：空间配准的精度一般要求在02个像元内，融合精度一般在一个像元以内。同一传感器数据融合不需配准。（Jian Guo Liu,2000）Data Preparation数据预处理Data Preparation融合分类：融合分类：按照信息抽象程度可以分为像素层、特征层和决策层像素级：像素级：优点：优点：保留了尽可能多的信息，具有最高精度，三级融合层中为研究最成熟的一级，已经成了丰富的融合算法。局限性：局限性：1.效率低下。由于处理的传感器数据量大，所以处理时间较长，实时性差 2.对参与融合遥感影像配准精度要求很高。特征级融合 特征级融合是一种中等水平的融合。其先是将各遥感影像数据进行特征提取，提取的特征信息应是原始信息的充分表示量或充分统计量，然后按特征信息对多源数据进行分类、聚集和综合，产生特征矢量，而后采用一些基于特征级融合方法融合这些特征矢量，作出基于融合特征矢量的属性说明。决策级融合决策级融合 决策级融合是最高水平的融合，融合的结果为指挥、控制、决策提供依据。在这一级别中，首先对每一数据进行属性说明，然后对其结果加以融合，得到目标或环境的融合属性说明。决策级融合的优点时具有很强的容错性，很好的开放性，处理时间短、数据要求低、分析能力强。而由于对预处理及特征提取有较高要求，所以决策级融合的代价较高。融合分类：按照信息抽象程度可以分为像素层、特征层和决策层表1 三级融合层次的特点表1 三级融合层次的特点像素级像素级特征级决策级代数法熵法专家系统IHS变换表决法神经网络小波变换聚类分析Bayes估计K-T变换Bayes估计模糊聚类法主成分变换神经网络法可靠性理论回归模型法加权平均法基于知识的融合法Kalman滤波法Dempater-shafer推理法Dempater-shafer推理法表2 三级融合层次下的融合方法像素级特征级决策级代数法熵法专家系统IHS变换表决法神经网络像素级融合主要分类像素级融合主要分类（1）基于光谱（彩色）域变换的融合技术）基于光谱（彩色）域变换的融合技术 亮度色调饱和度变换（Intensity-Hue-Saturation，IHS）变换 和比值变换(Brovey Transform,BT)和主成分变换(Principle Component Transform,PCT)等 特点：特点：每次该类技术每次只能对3个波段数据融合（2）基于空间域信号分解和重构的融合技术）基于空间域信号分解和重构的融合技术 小波变化（Wavelet transform,WT）基于亮度平滑滤波变换(Smoothing Filter-based Intensity Modulation,SFIM)高通滤波变换（High Pass Filter,HPT）等特点：特点：其能对任意波段进行融合（3）基于算术运算的融合技术基于算术运算的融合技术 乘积变换(Multiplication Transform,MT)和加法变换等 特点：特点：模型简单可以对任意波段进行融合Fusion Methods像素级融合主要分类（1）基于光谱（彩色）域变换的融合技术Fu IHS变换变换 3个波段合成的RGB颜色空间是一个对物体颜色属性描述系统，而IHS色度空间提取出物体的亮度I，色度H，饱和度S，它们分别对应3个波段的平均辐射强度、3个波段的数据向量和的方向及3个波段等量数据的大小。RGB颜色空间和IHS色度空间有着精确的转换关系。以TM和SAR为例，变换思路是把TM图像的3个波段合成的RGB假彩色图像变换到IHS色度空间，然后用SAR图像代替其中的I值，再变换到RGB颜色空间，形成新的影像。Fusion Methods IHS变换 Fusion Methods比值法融合模型（Brovey Transform，BT）特点：它将参与RGB组合的每个波段与该组合波段总和做比值计算进行正规化，以保持低分辨率影像的光谱分辨率，然后将比值结果乘以高分辨率波段的亮度以获取高频空间信息。具有很高的光谱信息保真度。缺点：对中高光谱的低空间分辨率RGB组合选择比较麻烦。如TM/ETM+的RGB组合多大20种。问题：如何改进？Fusion Methods比值法融合模型（Brovey Transform，BT）F小波变换小波变换 小波变换（Wavelet transform,WT）是一种新兴的数学分析方法，已经受到了广泛的重视。小波变换是一种全局变换，在时间域和频率域同时具有良好的定位能力，对高频分量采用逐渐精细的时域和空域步长，可以聚焦到被处理图像的任何细节，从而被誉为“数学显微镜”。WT方法首先对参与融合的遥感图像数据进行小波正变换，将图像分解为高频信息和低频信息。分别抽取来自高空间分辨率影像分解后的高频信息和低空间分辨率的低频信息进行小波逆变换，生成融合图像。特点：可以对任意波段融合 缺点：小波基选择比较麻烦，融合速度不理想 小波变换示意图见下图 Fusion Methods小波变换Fusion Methods多源遥感数据融合课件SFIM融合算法 SFIM(Smoothing Filter-based Intensity Modulation Transform),即基于平滑滤波的亮度变换，其融合算法为：特点：该算法可以视为在低分辨率影像中仅引入了高分辨率影像的纹理信息，它能很好保持低分辨率影像的光谱特性。优点：能对任意波段融合，光谱保真度好 缺点：融合效果中存在“胡椒面现象”问题：如何改进？Fusion MethodsSFIM融合算法 Fusion Methods 乘法融合模型 MT（Multiplication Transform）变换采用乘法融合运算，其算法公式为：特点：该算法采用乘法能反映低分辨率和高分辨率影像的混和信息，为了避免生产后影像的亮度值过大采用开平方。优点优点：能对任意波段融合，算法简单 缺点：缺点：光谱保真度不好Fusion MethodsFusion Methods高通滤波（加法）融合算法 HPF（High-Pass Filter）变换该算法采用高通滤波融合算法，算法公式为：特点：该算法采用高通滤波来抑制高分辨率影像中的低频光谱信息和增强高频空间信息，处理后的高分辨率影像和低分辨率影像相加可以达到提高低分辨率影像的空间分辨率。优点：优点：可以对任意波段融合 Fusion Methods高通滤波（加法）融合算法Fusion Methods Modified Brovey Transform(MBT)特点：计算简单可以对任意波段融合 优点：优点：具有高高频信息融入度 缺点：缺点：光谱信息保证度比较查点 问题：n任何选择？Fusion Methods Modified Brovey Transform(MB融合效果评价 评价融合影像的质量是遥感图像融合的一个重要步骤。评价融合效果主要包括定性定性和定量定量评价两种。定性评价一般选用目视法解译。定量评价选择：均值、标准差、熵、光谱偏差度、均方根差和相关系数等 定量评价分为：融合图像的整体质量、融合图像和低分辨率图像的光谱信息保真度和融合图像与高分辨率图像的高频信息保真度（纹理信息）三个方面。Evaluation 融合效果评价 评价融合影像的质量是遥感图像融合的一个重融合图像的整体质量评价指标融合图像的整体质量评价指标l均值：均值：均值越大说明影像含信息量越高l标准差：标准差：反映图象灰度相对于灰度均值的离散情况。标准差大，则图像灰度级分散，图像反差大，信息量丰富l熵：熵：熵越大说明整体图像的信息含量高Evaluation融合图像的整体质量评价指标均值：均值越大说明影像含信息量越高光谱保真度评价光谱保真度评价1.保真度保真度D F为融合影像均值，B为原始影像均值，MN为像元总数。D反映了融合图像和原始图像在光谱信息上的差异和光谱特性变化的平均程度，值越小说明光谱信息损失少,在理想情况下D=0。2.原始图像和融合后图像的光谱曲线光谱曲线Evaluation光谱保真度评价1.保真度DEvaluation高频信息保真度评价高频信息保真度评价l相关系数相关系数 F为融合生成图像的灰度值，f为融合图像的均值；A为源图像灰度值，a为源图像的均值，通过计算融合图像和高空间分辨率图像之间的相关系数，相关系数越大说明高频信息融入越高。Evaluation高频信息保真度评价相关系数 Evaluation高频信息保真度评价高频信息保真度评价方均根误差方均根误差(Root Mean Square Error,RMSE)RMSE能灵敏地检测出n维空间中任意两个向量的相似性，故该方法能定量评价融合方法的高频信息（纹理）融入度.其中F为融合产生图像的亮度均值；B为融合前图像的亮度均值，此处为高空间分辨率波段；n为参与融合的波段数。RSME值越小，说明高分辨率图像的高频信息融入度越高。Evaluation高频信息保真度评价方均根误差(Root Mean Squa Part four：IKONOS&QB 融合效果 Part four：IKONOS融合结果融合结果原始全色波段原始全色波段Original data光谱波段光谱波段RGB321IKONOS融合结果原始全色波段Original data光IKONOS融合结果融合结果MBT（RGB321）Fusion Result of IKONOSSFIM（RGB321）IKONOS融合结果MBT（RGB321）Fusion RWT（RGB321）MT（RGB321）Fusion Result of IKONOSIKONOS融合结果融合结果WT（RGB321）MT（RGB321）Fusion Res表表3 相关系数表相关系数表Evaluation表3 相关系数表Evaluation光谱曲线图光谱曲线图Evaluation光谱曲线图EvaluationQB融合结果融合结果Original data原始原始PANRGB321QB融合结果Original data原始PANRGB321Fusion Result of QBMBT（RGB321）WT（RGB321）Fusion Result of QBMBT（RGB321）Fusion Result of QBSFIM（RGB321）HPT（RGB321）Fusion Result of QBSFIM（RGB321光谱曲线图光谱曲线图Evaluation 光谱曲线图Evaluation 表4 相关系数和RMSE表Evaluation 表4 相关系数和RMSE表Evaluation Part five：融合中问题Part five：问题问题（1）缺少或者无GPC时空间配准模型？（2）如何提高数据预处理过程的精度？（3）能否建立统一的数学融合模型？（3）如何协调光谱保真度和纹理保证度？（4）面向高光谱遥感数据的融合模型（5）如何协调融合数量和处理的效率问题？（6）光学图像和雷达数据融合。问题（1）缺少或者无GPC时空间配准模型？谢谢大家聆听！谢谢大家聆听！谢谢大家聆听！