高分辨率遥感影像融合基本理论及预处理技术介绍及分析

高分辨率遥感影像融合基本理论及预处理技术介绍及分析一、 研究背景1.1研究目的以及应用领域随着遥感技术的快速发展，越来越多的不同类型遥感器被用于对地观测，这些多角度、多传感器、多平台和高时间分辨率、高空分辨率、高时间分辨率的遥感图像数据，各自具有自己的优势和局限性。为了能更加充分、有效合理的利用和开发这些海量数据资料，遥感数字图像融合技术便应运而生，它作为遥感图像信息提取的一种有效工具，已经成为遥感研究的前沿问题，并且在这几年里，遥感图像融合技术的发展突飞猛进。关于数据融合的概念最早出现于20世纪70年代初，并且是在80年代慢慢发展起来的一门新兴的信息处理技术，在当时被称为多传感器混合或者是数据融合。遥感图像融合是一个对多传感器的图像数据和其它信息处理的过程。它的重点在于把那些在时问或空间上冗余或互补的多源数据，按照一定的算法或规则进行运算处理，以获取对同一目标更为全面、更为可靠、更为准确的图像，生成一幅具有新的波谱和空间特征的合成图像。它不仅仅是简单的数据间的复合，而是需要强调信息的优化，以突出专题信息，消除或抑制无关的信息，改善目标识别的图像环境，增加解译的可靠性，改善分类、扩大应用范围和效果，减少模糊性。通过大量的研究发现，通过不同传感器、不同方式获取的大量遥感图像数据之间，既具有互补性，又存在极大的冗余性。如何从这些兼有互补性和冗余性的多源海量遥感数据中有效、合理的提取更有用、更精练、质量更高的信息，为辅助决策系统提供决策依据，已经成为一个迫切需要得到解决的前沿性问题，遥感图像融合技术就成为一个研究热点。如今，遥感图像融合技术在很多领域都表现出巨大的应用前景。例如，Landsat TM图像与SPOT图像融合既具有多光谱特点又具有高空间分辨率特点，有利于对目标的提取与分类；红外图像与可见光图像融合可以更好地帮助直升机飞行员进行导航。随着多传感器图像融合技术的不断完善和发展，其在民用和军事的各个领域的应用会更加广泛，因此，对遥感图像融合技术展开深入的探索和研究，对国民经济的发展具有重要意义。但是，我国在图像融合技术上的研究相对于国际上的研究起步较晚，因此，迫切需要开展广泛而深入的基础理论、方法及应用方面的研究。此外，虽然现在遥感图像融合的算法已经很多，但是，对于融合质量的评价并没有形成统一的、通用的标准。目前对遥感图像融合质量的评价大多是依赖于观察者的主观视觉判断或者是辅以个别评价指标，这在实际的应用中还具有很大的局限性。这主要是因为，同一融合算法，对同一遥感图像，观察者感兴趣的部分不同，则认为效果不同；同一种融合算法，对不同类型的遥感图像，会产生不同的融合效果；由于应用目的不同，对遥感图像融合过程中的各项参数的要求也会不同。这些因素就导致对不同传感器的遥感融合图像做出客观、定量评价比较复杂和困难。就当自订的形势，需要更多的学者对图像融合算法进行探索研究，丰富和完善图像融合理论，以促进图像融合技术不断向发展，更好地使遥感技术为国民经济和国家建设作出贡献。12遥感图像融合的国内外研究现状图像融合最早是被应用于遥感图像的分析和处理中，Daliy等人在1979年首先将Landsat-MSS图像和雷达图像的融合图像应用在地质解译方面，这个可以看作是最简单的图像融合过程。Laner和Todd于1981年对Landsat-MSS和RBV进行了图像融合试验。到了80年代的中后期，遥感图像融合技术丌始引起人们的广泛关注，许多学者将图像融合技术应用于遥感多谱图像的处理与分析。到90年代以后，随着多颗遥感雷达卫星Radarsat、ERS-1、JERS-1等发射升空，遥感图像融合技术逐渐成为遥感图像处理和分析中的研究热点之一，图像融合技术引起了国内外学者的广泛关注，Toet等人采用低通对比金字塔的融合方法，对野外背景坦克的可见光和红外图像进行了融合处理，提高了对坦克的识别能力，1995年Li等人首先将小波分析运用到图像融合中，并取得了好的效果；Krista Amolins等人对小波图像融合理论做了深入的探讨和比较。Yangrong Ling，Manfred等人提出了一种基于高通滤波的傅里叶变换的IHS高分辨率遥感图像融合算法。该方法用于Quickbird和IKNOS取得了和好的效果。现在，一些发达国家已经将图像融合技术列为重大研究项目，中国也把图像融合技术列为重点研究项目，多源遥感图像融合已被应用于环境监测、土地资源调查、地形测绘、农作物生长态势及产量评估、地表植被分类、防洪防灾和城市规划、天气预报等方面。但是与国外相比，我囤的遥感图像融合技术的发展尚处在初级阶段，虽然对于特定应用领域提出的融合算法与评价体系形式多样，例如，王远干等人在小波融合的基础上提出了基于多子带小波融合方法盯1，该方法比小波融合算法有明显的优点；杨然等人提出了小波变换和IHS变换相结合的遥感图像融合方法，该方法既解决了IHS变换的光谱失真问题，又解决了小波变换的分辨率较低问题；陆欢等人提出了基于PCA与小波变换的彩色图像融合算法，该算法在保持光谱信息的同时，有效地提高了空间细节信息；蒋年德等人提出了基于Curvelet变换的遥感图像融合算法，该方法与小波融合算法相比，具有更高的逼近精度和更好的稀疏表达能力，各种各样的新型算法不断涌现，虽然这些融合算法对解决各自领域应用的问题也很有效，但是，目前遥感图像融合还未形成系统的理论结构框架和有效的广义融合模型以及算法与评价准则。也就是说，目前遥感图像融合问题的研究是针对问题的种类，建立各自相应的准则，并在此基础上形成最佳融合方案，因此，建立图像融合的理论框架是目前发展的一个方向。另外，在遥感图像融合质量评价方面，现有的评价图像融合质量的方法主要有两类，即主观评价方法和客观评价方法。主观评价方法是由观察者直接对图像进行目视评估，具有直观、简单等特点，在一些特定应用中十分可行，例如，可以通过直接比较图像差异来判断光谱是否存在扭曲、空间信息的传递性以及是否丢失重要的信息；可以判断融合图像是否配准；判断融合图像整体亮度、反差是否合适以及融合图像是否清晰；判断融合图像纹理、色彩信息是否一致等。图像融合质量的主观评价方法是最常用、最直观的评价方法，但是因为人眼视觉对图像上的各种变化并不都很敏感，图像的视觉质量主要取决于观察者，具有主观性、片面性，因此，需要与客观的评价方法相结合，即在主观定性的目视评价基础上进行客观定量评价，现有的主要客观评价方法有：根据单个图像统计特征进行评定的方法，这些包括标准差、均值、空间频率、熵、清晰度等；基于源图像与融合图像之间关系的评价指标，包括联合熵、互信息、光谱扭曲度、相关系数以及偏差指数等。虽然近些年许多学者也提出了新的评价方法，例如，郑永安等人提出了基于图像质量因子的图像融合客观评价方法，这种方法利用熵加权和均方根图像融合质量因子对融合图像与源图像问的相关性、亮度失真和对比度失真这些综合评价；狄红卫等人提出了基于相似度的图像融合质量评价，该方法考虑了图像的结构信息和人类视觉特性，可以在不同的场合下选择不同的算法；此外，邓巍等人提出了基于EM算法得图像融合质量评价方法，该方法采用一种混合瑞利概率密度函数对图像边缘强度直方图建模，模型中各项参数和权重通过EM算法迭代估算得到，虽然融合算法的多样化，使得融合评价指标也在不断创新，但是，现有的主观评价方法与客观评价方法仍然常常又存在矛盾，因此，对于遥感图像融合质量评价建立评价体系也是研究者所面临的一个挑战。遥感图像融合作为一门新兴的技术科学，具有广阔的应用领域和前景，近些年来，国内外的许多学者在不同的融合层次上进行了大量的融合算法和模型研究，也取得了许多成果，但是，遥感图像融合技术在理论上和技术上还有许多问题需要解决，概括起柬包括以下几点：(1)遥感图像融合技术目前没有统一的理论基础。遥感图像融合技术还处在最初的研究阶段，许多融合算法都足针对某一个具体的应用，没有一个系统的理论框架，因此，确立遥感图像融合的理论框架是目前的一个研究方向。(2)遥感图像的空问配准问题。基于像素级的遥感图像融合，图像的空间配准是关键，其直接影响到图像的融合效果，因此，图像的空问配准技术需要不断发展，以提高配准精度。(3)遥感图像融合的质量评价方法缺乏有效性。融合的目的往往决定着融合质量的评价，不同的应用目的需要建立不同的评价准则，我们需要建立一个综合的、有效的主客观评价准则。(4)融合算法缺乏时效性。当遇到大数据量的遥感图像时，现有的融合算法往往处理速度较慢，很难满足实时处理的要求。因此，提高融合算法得实时性、实用性以及稳定性是遥感图像融合技术目自订需要研究的一个重点。1.3作业主要内容本次作业主要介绍目前常见的几种常见图像融合方法，以及图像融合基本理论还有对于图像预处理的方法和效果。将分为两段分别以图像融合的基本理论和图像预处理技术介绍。第二章遥感图像融合的基本理论21遥感图像融合的基本理论遥感图像融合是采用某种算法对两幅经过空间配准的不同的源图像进行综合处理，最终形成一副新的图像。根据融合处理所处的阶段不同，图像的融合处理通常可以在三个不同层次上进行：像素级图像融合(Pixel-level)、特征级图像融合(Feature-level)、决策级图像融合(Decision-level)。当自前的研究主要集中在像素级图像融合，对特征级图像融合和决策级图像融合研究相对较少。图2.1说明了图像融合的一般步骤。对于不同层次的融合，现有的算法如表21211像素级融合像素级融合是最底层的融合，是指合并测量的物理参数，直接对原始的遥感影像进行融合。它强调的是不同图像在像元基础上的综合，强调必须进行基本的地理编码，对栅格数据进行相互间的几何配准，在各像元一一对应的前提下进行遥感图像素级的合并处理，以改善图像的处理效果，使特征汲取、图像分割等工作在更准确的基础上进行，并获得更好的图像视觉效果，像素级图像融合过程如图22所示。基于像素级的图像融合必须解决以几何纠正为基础的空间匹配问题，包括象元的坐标变换、象元重采样、投影变换等。用同一映射方法对待不同类型的影像显然会有误差，而按一定规则对图像象元重新赋值的重采样过程，也会造成采样点地物光谱特征的人为变化，导致遥感影像后续应用的分析误差和错误。此外，对每个像元进行运算涉及到的数据处理量大。由于对多种传感器原始数据所包含的特征难以检查其一致性，所以，基于像素级的图像融合具有一定得局限性。尽管基于像元的图像融合有一定得局限性，但是由于它基于最原始的图像数据，能够更多地保留图像原有的真实性，提供其它层次的融合所不能提供的细微信息，因此被广泛应用。本文所讨论的融合算法均是基于像素级的融合。212特征级融合特征级的融合是指运用不同的算法，首先对各种数据源进行目标识别的特征提取，如分类、边缘提取等，也就是先从初始图像中提取特征信息，如范围、形状、领域等，然后对这些特征信息进行综合分析与融合处理。特征级融合不要求数据柬自同类的数据源，所以可以处理信息的覆盖范围更大，例如可以将地面信息和遥感图像信息进行融合。这些多种来源的相似目标或区域，它们空l日J上一一对应，并不是一个个象元对应，并被相互指派，然后运用统计方法或神经网络方法等进行融合，以进一步对融合质量作出评价。基于特征的图像融合步骤如图2-3所示。基于特征的图像融合，强调特征之间的对应，并不突出象元的对应，在处理上避免了像元重采样等方面的人为误差。由于它强调对特征进行关联处理，把特征分类成有意义的组合，因而它对特征属性的判断具有更高的可信度和准确性，围绕辅助决策的针对性更强，结果应用更有效，且数据处理量大大减少，有利于实时处理。但是由于它不是基于原始图像数据而是基于图像特征的融合，在特征提取过程中不可避免地会出现信息的部分丢失，并难以提供细微信息。提取或增强图像空间特征后进行融合，建立面向特征的影像融合模型，使融合后的影像既保留原高分辨率遥感影像的结构信息，又融合多光谱影像丰富的光谱信息，图像识别环境得到了改善，遥感分类精度得到了提高。213决策级融合决策级图像融合是最高级别的图像融合处理，这种融合是在图像理解和图像识别的基础上进行的融合，既经特征提取和特征谚别的过程后的融合。它是一种高层次的融合，往往直接面向应用，为决策支持服务削。这种融合先经图像数据的特征提取以及一些辅助信息的参与，再对其有价值的复合数据运用判别准则、决策规则加以识别、判断和分类，然后在一个更为抽象的层次上，将这些有价值的信息进行融合，获得综合的决策结果，以提高识别和解译能力，更好地理解研究目标，更有效地反映地学过程。决策级图像融合的过程如图2-4所示。22遥感图像融合关键技术问题遥感图像融合涉及到很宽的领域、多方面的内容，如数字信号处理、计算机、模式识别、最优化技术、图像处理、人工智能、地学分析等，是个很复杂的问题瞳引。随着遥感图像融合技术的发展，也相应的带来了一系列新问题。例如，庞大的数据量及数据处理的工作量等。但要逐一从各种遥感器数据中提取感兴趣的信息，还要将多组不同特征的信息进行匹配、比较和分析，以达到研究目的。这就要求研究人员既能从应用的角度熟悉各种遥感器对地物特征的不同反映，又要具有相当的数据处理能力，能够通过不同的算法从复杂的数据中提取出所需要的信息，这种要求是相当高的。图像融合的关键技术问题包括：数据配准、模型的建立与优化，以及融合方法的选择。221数据配准空间配准。各类不同来源的遥感图像数据，因为平台、轨道、成像机理、观察角度的不同，其几何特征相差很大，在图像数据融合之前必须首先进行空问配准，即解决各类遥感图像的几何畸变，实现以几何纠正为基础的空间配准，以达到同一区域不同遥感图像数据地理坐标的统一。它涉及到几何纠正模型、重采样方法、投影变换、变形误差分析等问题。数据关联。这罩指各类数据变换成同一的数据表达形式，以保证融合数据的一致性，从而比较客观地表达同一目标、同一现象。222融合模型的建立与优化在确定融合模型时，首先必须叫答融合的目的是什么，融合数据集的选择，取决于应用目标。它包含3方面的内容。首先，要充分认识研究对象的地学规律和信息特征。例如地质找矿需要确定与找矿有关的地质体；找地下水需要寻找古河道、断层破碎带等赋水条件好的地段等，以及充分认识研究对象的地学属性等。其次，要充分了解每种融合数据的特性、适用性及局限性，通过多源数据的相互补充，以提供更好的数据源。再次，要充分考虑到不同遥感数据的相关性以及数据融合中所引起的噪声误差的增加，确定融合模型以提取有用信息，消除没有用的信息，实现融合后数据的互补性与信息的富集。223融合方法的选择根据融合目的、数据源类型、特点，选择合适的融合方法。遥感图像数据融合的技术方法多种多样，大致可归结为彩色相关技术和数学方法。前者包括彩色合成、彩色空间变换等；后者包括加减乘除的算术运算、基于统计的分析方法以及小波分析等方法。不同类型的遥感图像数据间差异很大、空间频率差异、波段相关性差异等。因而，可以通过对不同类型、不同波段数据的多种形式的数学组合，来提取有用信息、抑制噪声。23本文实验数据介绍本文采用ALOS多光谱和全色影像以及SPOT多光谱和全色影像进行融合试验，并且与传统的融合算法比较，从定性和定量两个方面对结果进行分析。本文实验所用数据是分别裁取10241024像素大小的ALOS和SPOT的多光谱利全色影像，进行融合试验，灰度级均为256。第三章遥感图像预处理31几何纠正遥感图像的几何处理就足解决遥感图像的几何变形的问题，对遥感图像进行几何纠正。其重要性体现在以下三个方面：第一，对遥感原始图像进行几何变形改正后，才能对图像信息进行各种分析，制作满足量测和定位要求的各类地球资源及环境的遥感专题图。第二，当应用不同传感方式、不同光谱范围以及不同成像时问的各种同一地域复合图像数据来进行计算机自动分类、地物特征的变化监测或其它应用处理时，必须进行几何纠正，保证各不同图像问的几何一致性。第三，利用遥感图像进行地形图测图或更新对遥感图像的几何纠正提出了更严格的要求。311几何纠正的过程遥感数字图像的几何纠lF的目的就是要改正原始影像的几何变形，生成一幅符合某种地图投影或图形表达要求的新的图像，几何纠讵的一般步骤见图31。(1)准备工作。包括影像数据、地形图、GPS等测量仪器所测得的控制点数据。(2)原始数字图像输入。按规定的格式将遥感数字影像用专门的程序读入计算机。(3)建立纠正变换函数。纠正变换函数用来建立影像坐标和地面坐标间的数学关系，即输入影像与输出影像问的坐标变换关系。纠正的方法按照采用的数学模型而不同，一般有多项式法、共线方程法、随机场内的插值法等。纠正变换函数中有关的系数，可以利用控制点数据解算。(4)确定输出影像范围。输出影像范围定义不恰当，会造成纠正后的图像未被该范围全部包括，而且还造成输出影像空白过多。(5)象元几何位置变换。象元几何位置变换是按选定的纠正变换函数把原始的数字图像逐个象元地变换到输出影像相应的位置上去。(6)象元的灰度重采样。重新定位后的像元在原图像中分布是不均匀的，即输出图像像元点在输入图像中的行列号不是或不全是整数关系。因此需要根据输出图像中的各像元在输入图像中的位置，对原始图像按一定规则重新采用，进行亮度值的差值计算，建立新的图像矩阵。常用的内插方法包括最邻近法、双线性内插法以及较为复杂的三次卷积内插法。(7)输出纠讵数字影像。经过逐个像元的几何位置变换和灰度重采样得到的输出影像数据按需要的格式写入纠正后的输出影像文件。312试验数据的几何纠正使用Erdas Image 92软件的几何纠正模块，结合地形图资料和GPS控制点数据分别对SPOT和ALOS全色和多光谱图像进行几何纠正，采用北京54坐标系和高斯-克吕格投影，保证图像具有统一的地理编码，纠正采用三次多项式纠正模型，把纠正的误差控制在0.5个像元之内，纠正结果如图3-2所示。影像上红色和绿色点为野外调查的GPS点。影像均采用4、3、2波段合成。3 2遥感图像配准遥感图像配准是将不同传感器、不同时间或小刷视角获取的同一目标或景物的炳幅或多幅图像进行匹配的过程，将两幅图像中对应于空间位置的点联系起来。图像配准是遥感图像融合的关键，配准的精度直接影响到融合的效果。3 21圈像配准的原理图像配准的关键问题是图像之间的空间变换或是几何变换。设有两幅二维图像I1和l2。I1 (x，y)和l2 (x，y)分别代表各自对应点的灰度值，则映射过程可以用下面的公式表示：这里代表一个二维空间坐标变换，即g是一个一维强度变换。强度变换g一般是不必要的，通常寻找两幅图之间的空间变换或者说几何变换是配准的关键问题，因而更多的是将映射函数表达为两个单值函数fx和fy，。如果f(X，y)可表示为f(X，Y)=f(x)f(x)，即可将二维操作转化为两个连续的一维操作，可以大大提高效率。322试验数据的空间配准采用ERDAS IMAGINE9.2的IMAGINE AuotoSync进行空间配准，用该模块进行配准的第一个流程是导入要融合的多光谱和全色光影像，例如ALOS的多光谱和全色光谱，这种方法可以使基于同一地理坐标和投影的影像快速的进行空问配准。运用ERDAS IMAGINE9.2的IMAGINE AuotoSync进行空间配准。将整幅图像匹配的效果对比发现匹配后的影像地物特征能与全色光影像相重合。影像在匹配前，地物位置错位，如图3-4，例如道路。33直方图匹配为了使传感器获得的不同的遥感图像融合后能达到很好的效果，在进行完几何校准和配准后往往还需要对待融台的多光谱和全色影像进行直方图匹配。直方图匹配主要是对高分辨率全色光遥感影像和多光谱影像的灰度值进行匹配，由于不同遥感影像的光谱特征不一样，如果不经过直方图匹配就直接进行融合。会丢失原始图像的一部分光谱信息直方图的调整分为两步，即首先是直方图均衡化，然后是直方图匹配。直方图是指遥感图像中所有出度值的概率分布。对于数字图像来说，就是指图像灰度值的概率密度函数的离散化图形。数字图像直方图的横坐标表示图像的灰度数变换，纵坐标表示图像中各个灰度级象元数占整幅图像像元的个数。3 3 1直方图均衡化直方图均衡化其实质是对图像进行非线性拉伸。重新分配图像像元值使一定灰度范围内像元的数量大致相等。这样，原来直方图中叫的顶峰部分对比度得到增强而两侧的符底部分对比度降低，输出的直方图是一个较平坦的分段直方图。图3-5是全色影像直方图均衡化前后的对比。33 2直方图匹配直方图匹配是对图像查找表进行数学变换，使一副图像的波段直方图与一幅图像的波段类似，或者使一幅图像的所有波段的直方图与另一幅图像所有对应波段类似。通过直方图匹配可以部分消除由于太阳高度角或大气影像造成的相邻图像的效果差异。全色与多光谱直方图匹配的直方图结果如图3-6和：3-7所示。第四章 结果分析随着遥感技术的迅猛发展，多传感器之I日J的影像融合技术研究越来越受到国内外学者的重视，但是高分辨率遥感影像的融合研究还相对较少，本文以ALOS多光谱和全色以及SPOT多光谱和全色为实验数据，在基于像素级融合的基础上，探讨了高分辨率遥感影像的融合技术和方法，并对融合结果进行评价。本文的作业主要包括以下几方面：(1)回顾了遥感图像融合的发展过程，对现有的遥感图像融合的基本理论进行了总结，并且对遥感图像融合步骤进行了说明，对遥感影像融合层次进行了阐述，并且就每种融合层次的基本特征和原理进行了研究，描述了每个层次的融合算法。（2）介绍了多种图像预处理技术，并对其每种进行了较为详细的过程分析和结果分析，并给出了在何种情况下选择何种处理方法。