图像融合及应用ppt课件

电子科技大学电子科技大学 光电信息学院光电信息学院 二一年二一年5月月6日日彭真明彭真明Email:pengzm_为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益主要内容u信息融合概述信息融合概述u图像融合简介图像融合简介u图像配准方法图像配准方法u图像融合方法图像融合方法u融合效果评价融合效果评价为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益主要内容u信息融合概述信息融合概述u图像融合简介图像融合简介u图像配准方法图像配准方法u图像融合方法图像融合方法u融合效果评价融合效果评价为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益1.什么是信息融合什么是信息融合(information Fusion)？数据数据融合技术是随雷达信息处理及融合技术是随雷达信息处理及C C3 3I I系统的发展而发展起来的。它系统的发展而发展起来的。它对各种数据源进行综合、过滤、相关、识别和融合，得出战场态势图、进对各种数据源进行综合、过滤、相关、识别和融合，得出战场态势图、进行态势威胁与判别，制定出作战行动方案，供指挥员决策参考。数据融合行态势威胁与判别，制定出作战行动方案，供指挥员决策参考。数据融合的过程就是各种信息源处理、控制及决策的一体化过程。的过程就是各种信息源处理、控制及决策的一体化过程。C3I Command（指挥），（指挥），Control（控制）、（控制）、Communication（通信），（通信），intelligence（情报）。（情报）。3I系统，系统，1953年首先在美国研制和建立，由于其对提高年首先在美国研制和建立，由于其对提高军队指挥效能和作战能力具有重要作用，因而受到世界各国高度重视军队指挥效能和作战能力具有重要作用，因而受到世界各国高度重视。C4IC3I+Computers一、信息融合概述为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益2.什么是图像融合？什么是图像融合？图像融合图像融合(Image Fusion)是用特定的算法将两幅是用特定的算法将两幅或多幅图像综合成一幅新的图像。融合结果由于能利或多幅图像综合成一幅新的图像。融合结果由于能利用两幅用两幅(或多幅或多幅)图像在时空上的图像在时空上的相关相关性及信息上的性及信息上的互互补补性，并使得融合后得到的图像对场景有更全面、清性，并使得融合后得到的图像对场景有更全面、清晰的描述，从而更有利于人眼的识别和机器的自动探晰的描述，从而更有利于人眼的识别和机器的自动探测。测。图像传感器图像传感器A图像传感器图像传感器B冗余信息冗余信息互补信息互补信息一、信息融合概述为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益起源：20世纪70年代初3.图像融合技术的研究现状及发展图像融合技术的研究现状及发展一、信息融合概述20世纪70年代初，美国研究机构发现，利用计算机技术对多个独立的连续声纳信号进行融合声纳信号进行融合后，可以自动检测出敌方潜艇的位置。这一尝试使得信息融合作为一门独立的技术首先在军事应用中得到青睐。为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益发展：20世纪80年代20世纪末3.图像融合技术的研究现状及发展图像融合技术的研究现状及发展一、信息融合概述20世纪80年代后，对信息融合技术的研究更加活跃；国际上，关于信息融合的专著论文等数量可观；图像融合在军事和民用等诸多领域得到广泛的应用。为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益完善：20世纪末今3.图像融合技术的研究现状及发展图像融合技术的研究现状及发展一、信息融合概述由于其研究领域覆盖范围的广泛性、多传感器数据形式的多样性以及融合处理的多样性和复杂性，信息融合理论至今尚未形成系统的理论框架和有效的通用融合模型和算法。大部分研究工作都是针对特定应用领域的问题来展开的。为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益国内出版物国内出版物为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益参考书参考书为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益国内出版物国内出版物1覃征等覃征等,数字图像融合数字图像融合,西安交通大学出版社西安交通大学出版社,2005年年2张永生等张永生等,天基多源遥感信息融合天基多源遥感信息融合理论算法与应用系统理论算法与应用系统,科学出版科学出版社社,20053韩崇昭等韩崇昭等,多源信息融合多源信息融合,清华大学出版社清华大学出版社,20064那彦那彦,焦李成等焦李成等,基于多分辨分析理论的图像融合方法基于多分辨分析理论的图像融合方法(研究生系列教研究生系列教材材),西安电子科技大学出版社西安电子科技大学出版社,20075李振华等李振华等,图像融合图像融合理论与应用理论与应用,高等教育出版社高等教育出版社,20076 胡良梅等胡良梅等,基于信息融合的图像理解方法研究基于信息融合的图像理解方法研究,合肥工业大学合肥工业大学 出版出版社社,2007.7郭雷郭雷,李晖晖等李晖晖等,图像融合图像融合,电子工业出版社电子工业出版社,20088 刘卫光等刘卫光等,图像信息融合与识别图像信息融合与识别,电子工业出版社电子工业出版社,2008为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益4.图像融合的应用领域图像融合的应用领域一、信息融合概述 近年来，图像融合(Image Fusion)技术得到迅猛发展，在遥感探测、安全导航、医学图像分析、反恐检查、环境保护、交通监测、清晰图像重建、灾情检测与预报等领域都有着重大的应用价值。为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益 医学图像分析：医学图像分析：一、信息融合概述为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益一、信息融合概述 医学图像分析：医学图像分析：PETCTFused image为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益 遥感遥测：遥感遥测：一、信息融合概述SpatialSpectral+panchromatic&high geometric resolutionmulti-/hyperspectral image&low geometric resolutionmulti-/hyperspectral&high geometric resolution 遥感遥测遥感遥测为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益Surveillance and TargetingNavigationSatellitesGuidance/Detection Systems一、信息融合概述为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益主要内容u信息融合概述信息融合概述u图像融合简介图像融合简介u图像配准方法图像配准方法u图像融合方法图像融合方法u融合效果评价融合效果评价为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益1 1、不同成像传感器图像的融合、不同成像传感器图像的融合电视图像(TV/Visible Image)红外/紫外图像(Infrared/UV Image)合成孔径雷达(Synthetic Aperture Radar，SAR)超声图像(Ultrasonic Image)X-RAY,CT,PET核磁共振(Magnetic resonance imaging,MRI)二、图像融合简介因此，红外图像融合包括与不同成像传感器图像的融因此，红外图像融合包括与不同成像传感器图像的融合，及不同波段的红外图像的融合。合，及不同波段的红外图像的融合。为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益2、图像融合的层次（或级）、图像融合的层次（或级）像素（像素（pixels)pixels)级融合级融合 对应像素的融合。对应像素的融合。特征特征(Feature)(Feature)级融合级融合 对应特征的融合对应特征的融合 决策决策(decision-making)(decision-making)级融合级融合 在、在、级基础上，通过分类、识别和综合级基础上，通过分类、识别和综合评价，进行的最后决策。评价，进行的最后决策。二、图像融合简介为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益图像1图像配准图像n图像2融合评价结果特征提取图像1图像配准图像n图像2融合评价结果图像1特征识别图像n图像2融合评价结果特征提取像素级融合决策级融合特征级融合二、图像融合简介为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益可见光图像可见光图像远红外图像远红外图像融合结果一融合结果一融合结果二融合结果二二、图像融合简介为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益可见光图像可见光图像红外图像红外图像融合结果一融合结果一融合结果二融合结果二二、图像融合简介为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益Focus on right partFocus on left partImage taken using auto focus functionImage taken using auto focus functionFused imageFused image二、图像融合简介为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益3、图像融合的基本流程图像1图像配准图像n图像2融合评价结果特征提取图像预处理二、图像融合简介为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益主要内容u信息融合概述信息融合概述u图像融合简介图像融合简介u图像配准方法图像配准方法u图像融合方法图像融合方法u融合效果评价融合效果评价为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益IRMMWRADARSATIRSMR T2CTPETMR T1Multi-modality Registration Examples为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益n2 图像配准简介 图像配准是是像素级图像融合的先决条件，从不同探测器、不同时间、不同角度所获得的两幅或多幅图像在空间上的最佳匹配。其中一幅是参考图像数据，其它图像作为待配准图像与之匹配。图1 待配准图像图2 参考图像三、图像配准(Image Registration)为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益21(,)(,)fxyg fh x y 三、图像配准n配准原理图1与图2之间存在一个缩放、旋转、平移的关系，图像配准的目标就是找到这三种变换的对应关系。即：其中g表示二维空间坐标变换。配准的目的就是要找出最佳坐标，灰度变换参数。为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益n配准步骤 图像配准的过程也就是“确定空间变换模型求解变换模型参数”的过程。1.搜索空间2.特征空间 3.搜索策略 4.相似性度量 搜索空间是待配准的图像坐标之间所有可能的变换关系。例如：刚体变换仿射变换投影变换非线性变换等三、图像配准为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益n配准步骤 图像配准的过程也就是“确定空间变换模型求解变换模型参数”的过程。1.搜索空间2.特征空间 3.搜索策略 4.相似性度量 三、图像配准 从待配准的图像中提取出来用于匹配的特征，包括边缘、轮廓、面目标拐角、曲线上的交叉点和高曲率的点等地物特征以及人工选取的配准控制点等外部特征。为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益n配准步骤 图像配准的过程也就是“确定空间变换模型求解变换模型参数”的过程。1.搜索空间2.特征空间 3.搜索策略 4.相似性度量 在搜索空间寻找最佳的变换模型参数的过程中所采用的方法。三、图像配准为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益n配准步骤 图像配准的过程也就是“确定空间变换模型求解变换模型参数”的过程。1.搜索空间2.特征空间 3.搜索策略 4.相似性度量 衡量搜索空间中不同的参数变换模型的优异程度。三、图像配准为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益n图像几何变换 对图像进行重新采样和插值 n配准实例待匹配图像 参考图像匹配图像 与参考图像的叠加效果三、图像配准为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益n通过相关判据求出匹配点通过相关判据求出匹配点n求解仿射变换参数求解仿射变换参数 11122122xytaaxxtaayy 特征点特征点匹配点匹配点三、图像配准为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益50100150200250501001502002505010015020025050100150(c)0.40,0,62.5,12.550100150200250501001502002500.41436,-3.1482,64.1023,14.21385010015020025050100150200250Original imagesResultsExample 1为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益0.36289,-4.5404,53.8153,-6.29465010015020025050100150200250501001502002505010015020025050100150200250501001500.36,0,61.5,-5.55010015020025050100150200250Original imagesResultsExample 2为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益主要内容u信息融合概述信息融合概述u图像融合简介图像融合简介u图像配准方法图像配准方法u图像融合方法图像融合方法u融合效果评价融合效果评价为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益简单组合式图像融合方法逻辑滤波器法数学形态法图像代数法空间域融合方法HIS变换PCA变换高通滤波法(HPF)塔式分解法变换域融合方法小波变换法四、图像融合方法n常用的融合方法为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益四、图像融合方法1、空间域融合方法常见的融合规则：常见的融合规则：为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益简单组合融合（取小）融合实例为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益对应像素取平均融合实例为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益对应像素加权平均融合实例为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益p RGB-IHS变换法。p Brovery 变换法。四、图像融合方法2、颜色空间变换法 IHS(Intensity，Hue，Saturation)为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益四、图像融合方法(1)RGB-IHS变换法 IRBG0120024000 IHS柱形空间对任何3个0,1范围内的R、G、B值都可以用下面的公式转换到对应IHS模型中的I、H、S分量：1()3IRGB3min(,)()SIR G BRGB1/22()/2arccos()()()RGRBHRGRB GB为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益（5 5）RGB-IHSRGB-IHS变换法变换法 R R G G B B R R G G B B H H I Ip p S S 彩彩 色色 合合 成成 H H I I S SIHSIHS变换变换 I Ip p代替代替I I IHSIHS逆变换逆变换 高空间分辨率全色影像 P代替I分量。逆变换过程中可有不同的变换模式,HIS变换过程也有多种模式,因此该方法有多种模型。四、图像融合方法(1)RGB-IHS变换法 为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益(2)Brovery(2)Brovery 变换法变换法 Brovery Brovery 变换是一种颜色归一化变换方法，它将变换是一种颜色归一化变换方法，它将RGBRGB影影像进行多光谱波段颜色归一化，并将高分辨率全色影像像进行多光谱波段颜色归一化，并将高分辨率全色影像与各个波段灰度值分别相乘得到融合影像。与各个波段灰度值分别相乘得到融合影像。PifiDDDDDD321融合后的第融合后的第 i i个波段影像个波段影像的灰度值的灰度值原波段影像的灰度值原波段影像的灰度值高分辨率影像的高分辨率影像的灰度值灰度值四、图像融合方法为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益 四、图像融合方法3、小波变换法 首先，将已经配准后的两幅（或多幅）图像分别进首先，将已经配准后的两幅（或多幅）图像分别进行小波变换，行小波变换，分解分解为小波系数；然后，将其对应的小为小波系数；然后，将其对应的小波系数依据一定的准则进行波系数依据一定的准则进行融合融合，最后，将融合的系，最后，将融合的系数进行逆变换，进行图像数进行逆变换，进行图像重构重构，即可获得融合后的图，即可获得融合后的图像。像。该方法充分利用了小波分解的多尺度、多分辨特性。该方法充分利用了小波分解的多尺度、多分辨特性。为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益低频低频四、图像融合方法n 小波变换示意图为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益Wavelet TransformWavelet Transformn 小波变换示意图为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益四、图像融合方法n 小波1级及2级分解图示为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益图像B图像A一层小波分解小波系数矩阵一层小波分解小波系数矩阵融合决策融合规则融合后的小波 系数矩阵矩阵恢复融合后的图像LLLHHLHHn 小波变换图像融合流程四、图像融合方法为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益n 融合规则 多数融合算法都是基于这样的假设，即图像中的特征都表现在小波系数绝对值大的地方，因此出现了一些基本规则：四、图像融合方法取最大值取最大值加权平均法加权平均法 方差协方差准则方差协方差准则 梯度准则梯度准则局部能量法局部能量法为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益n 小波变换图像融合Malab 代码四、图像融合方法X,map=imread(E:Fusion_imgTV_002.bmp);X1=X;map1=map;subplot(2,2,1);image(X1);colormap(map1);title(电视图像电视图像);X,map=imread(E:Fusion_imgIR_002.bmp);X2=X;map2=map;subplot(2,2,2);image(X2);colormap(map2);title(红外图像红外图像);c1,l1=wavedec2(X1,1,sym4);c2,l2=wavedec2(X2,1,sym4);c=0.5*(1.2*c1+0.8*c2);XX=waverec2(c,l1,sym4);subplot(2,2,3);image(XX);title(融合结果一融合结果一);Csize1=size(c1);for i=1:Csize1 c1(i)=0.8*c1(i);endCsize2=size(c2);for j=1:Csize2 c2(j)=1.2*c2(j);end c=0.6*(c1+c2);XXX=waverec2(c,l2,sym4);subplot(2,2,4);image(XXX);title(融合结果二融合结果二);为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益小波单尺度分解融合举例四、图像融合方法为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益Panchromatic ImageMultispectral ImageRGBBasis:IHS transform and filtering in the Fourier domain.FFTFourierSpectrumFFTFourierSpectrumHPFPanHPLPFILPIHSRGBIHS-1ILP+PanHPHSFFT-14、Ehlers Fusion四、图像融合方法为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益Original panchromatic imagePanchromatic Spectrum四、图像融合方法4、Ehlers Fusion为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益|F(u)|Cut-off FrequencyfnFiltered Panchromatic SpectrumFiltersetting effects为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益Filtered panchromatic imageFused imageEffects in the spatial domain为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益Filtered Panchromatic Spectrum|F(u)|Cut-off FrequencyfnFiltersetting effects为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益Filtered panchromatic imageFused imageEffects in the spatial domain为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益Filtered Panchromatic Spectrum|F(u)|Cut-off FrequencyfnFiltersetting effects为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益Filtered panchromatic imageFused imageEffects in the spatial domain为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益主要内容u信息融合概述信息融合概述u图像融合简介图像融合简介u图像配准方法图像配准方法u图像融合方法图像融合方法u融合效果评价融合效果评价为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益五、融合效果评价 经过各种方法融合后的图像质量，需要客观的评价，评价方法大致可以分为：主观评价定量评价 依靠人的主观感觉对融合图像效果进行评价。由于受到人的视觉特性、心理状态、感兴趣目标不同等因素的影响，采用主观评价方法对图像融合效果进行客观的评价十分困难。为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益五、融合效果评价 经过各种方法融合后的图像质量，需要客观的评价，评价方法大致可以分为：主观评价定量评价 定量评价可以对图像融合质量进行客观定量的分析，通过不同的评价指标来区分融合结果的优劣。为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益NiiippH1lnNiiiifppfpD1ln),(nkiabfabinjniqkjpkjippBAFS111),(),(ln),(22CFRFSF。；2111121110),1(),(1)1,(),(1jiFjiFMNCFjiFjiFMNRFNiMjNjMi其中：五、融合效果评价n 一般定量评价采用的指标：一般定量评价采用的指标：1、熵：2、交叉熵：3、交互信息量：4、空间频率：为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益n图像融合实例 不同小波，采用能量法：(a)可见光图像 (b)红外图像 五、融合效果评价为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益(c)Haar小波 (d)W5/3小波(e)Daubechies9/7小波 图(a)为一幅花丛可见光图像，没有目标；图(b)是该场景的红外图像，一支隐藏的手枪(目标)清晰可见，融合的目的是提高图像的信息量。从图(c)，(d)，(e)可以看到，融合后，目标和目标的背景都得到了很好的保留。五、融合效果评价为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益小波滤波器熵(信息量)交叉熵(相关性)交互信息量空间频率Haar7.4965109.49349.49106.3215W53小波7.4858108.626010.05736.9452Daubechies9/77.6847105.079415.34037.1245从表中可以看到，采用Daubechies9/7小波进行融合实验得到的融合图像，具有更多的信息量，与源图像对应像素的差异最小，相关性更强，细节更丰富，因此综合指标是最佳的。五、融合效果评价n 定量评价指标：定量评价指标：为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益附：图像融合的发展方向附：图像融合的发展方向 1、配准方法的研究 2、融合方法的研究3、快速并行算法的研究如新的相似准则(Hausdorff距离)，弹性配准方法等。如脉冲耦合神经网络(PCNN)法，Kalman滤波，第二、三代小波变换法及新的特征融合技术等。多传感器信息融合的快速并行算法等。为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益Edge Detection-附：图像融合的发展方向附：图像融合的发展方向为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益Highpass FilteringCorrelation附：图像融合的发展方向附：图像融合的发展方向为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益主要内容u信息融合概述信息融合概述u图像融合简介图像融合简介u图像配准方法图像配准方法u图像融合方法图像融合方法u融合效果评价融合效果评价为了规范事业单位聘用关系，建立和完善适应社会主义市场经济体制的事业单位工作人员聘用制度，保障用人单位和职工的合法权益