智能信息处理课件

多多传感器信息融合感器信息融合主讲人：王涛组员 ：韩雪诗 桂澄 寇鹏鲲多传感器信息融合主讲人：王涛1大纲大纲信息融合研究背景及现状信息融合研究背景及现状1信息融合基本简介信息融合基本简介2信息融合分类及实现方法信息融合分类及实现方法3信息融合现缺陷及未来展望信息融合现缺陷及未来展望大纲信息融合研究背景及现状1信息融合基本简介2信息融合分类及21991198819801973信息融合(information fusion)起初被称为数据融合(data fusion)，起源于1973年美国国防部资助开发的声纳信号处理系统数据融合MSDFC3IC4I研究背景研究背景信息融合起源1991198819801973信息融合(informat3199119881980197320世纪80年代，为了满足军事领域中作战的需要，多传感器数据融合MSDF(Multi-sensor Data Fusion)技术应运而生。数据融合MSDFC3IC4I研究背景研究背景信息融合起源199119881980197320世纪80年代，为了满足军419911988198019731988年，美国将C3I(Command，Control，Commication and Intelligence)系统中的数据融合技术列为国防部重点开发的二十项关键技术之一。数据融合MSDFC3IC4I研究背景研究背景信息融合起源19911988198019731988年，美国将C3I(C519911988198019731991年美国已有54个数据融合系统引入到军用电子系统中去，其中87%已有试验样机、试验床或已被应用。由于信息融合技术在海湾战争中表现出的巨大潜力，在战争结束后,美国国防部又在C3I系统中加入计算机(computer)，开发了以信息融合为中心的C4I系统。数据融合MSDFC3IC4I研究背景研究背景信息融合起源19911988198019731991年美国已有54个数据6研究现状研究现状当前，信息融合技术在军事中的应用研究己当前，信息融合技术在军事中的应用研究己经从低层的目标检测、识别和跟踪转向了态经从低层的目标检测、识别和跟踪转向了态势评估和威胁估计等高层应用。势评估和威胁估计等高层应用。目前，信息融合技术己在许多民用领域取得目前，信息融合技术己在许多民用领域取得成效。这些领域主要包括成效。这些领域主要包括:机器人和智能仪机器人和智能仪器系统、智能制造系统、战场任务与无人驾器系统、智能制造系统、战场任务与无人驾驶飞机、航天应用、目标检测与跟踪、图像驶飞机、航天应用、目标检测与跟踪、图像分析与理解、惯性导航、模式识别等领域。分析与理解、惯性导航、模式识别等领域。研究现状当前，信息融合技术在军事中的应用研究己经从低层的目标7信息融合定义信息融合定义信息融合是一种多层次、多方面的处理过程,包括对多源数据进行自动化的检测、互联、相关、估计和组合处理，从而提高状态和身份估计的精度，以及对战场态势和威胁的重要程度进行有效的评价。-美国国防部定美国国防部定义义：1991 利用计算机技术对按时序获得的若干传感器的观测信息在一定准则下加以自动分析，优化综合以完成所需的决策和估计任务而进行的信息处理过程。-最新定义信息融合定义信息融合是一种多层次、多方面的处理过程,包括对8信息融合的基本原理左耳和右耳的听觉传感器分别获取一维声音信息，经大脑融合后产生立体声音信息；左目和右目的视觉传感器分别获取二维图象信息，经大脑融合后产生立体图象信息；自然界同类多传感信息融合信息融合的基本原理左耳和右耳的听觉传感器分别获取一维声音信息9信息融合的基本原理信息融合的基本原理自然界异类多传感信息融合信息融合的基本原理自然界异类多传感信息融合www.theme10信息融合优势优势改改进进探探测测性能性能扩扩展空展空间间和和时间时间覆盖范覆盖范围围提高可信度提高可信度提高空提高空间间分辨率分辨率增增强强系系统统的生存能力的生存能力降低信息的模糊度降低信息的模糊度信息融合优势优势改进探测性能扩展空间和时间覆盖范围提高可信度11信息融合模型与结构美国三军组织实验室理事联合会（JDL）数据融合模型(Joint Directors of Laboratories)信息融合模型与结构美国三军组织实验室理事联合会（JDL）数12评估是指评价实体之间的相互关系，包括敌我双方兵力结构和使用特点，是对战场上战斗力量分配情况的评价过程。主要功能包括数据对准、数据关联、目标运动学参数估计（跟踪），以及身份估计等，其结果为更高级别的融合过程提供辅助决策信息。它将当前态势映射到未来。在军事领域即指威胁估计用以对作战事件出现的程度和可能性进行估计，并对敌方作战企图给出指示和告警。信息融合处理过程一级处理目标评估二级处理态势评估三级处理影响评估四级处理过程评估它是一个更高级的处理阶段。通过建立一定的优化指标，对整个融合过程进行实时监控与评价，从而实现多传感器自适应信息获取和处理，以支持特定的任务目标，并最终提高整个系统的性能评估是指评价实体之间的相互关系，包括敌我双方兵力结构和使用特13信息融合层次的划分主要有两种方法。u第一种方法是按照融合对象的层次不同，将信息融合划分为低层（数据级或像素级）、中层（特征级）和高层（决策级）。u另一种方法将是将传感器集成和数据融合划分为信号级、证据级和动态级。信息融合的分类信息融合的分类信息融合层次的划分主要有两种方法。信息融合的分类www.th14数据级融合(或像素级融合)对传感器的原始数据及预处理各阶段上产生的信息分别进行融合处理。尽可能多地保持了原始信息，能够提供其它两个层次融合所不具有的细微信息。局限性：(1)由于所要处理的传感器信息量大，故处理代价高；(2)融合是在信息最低层进行的，由于传感器的原始数据的不确定性、不完全性和不稳定性，要求在融合时有较高的纠错能力；(3)由于要求各传感器信息之间具有精确到一个像素的配准精度，故要求传感器信息来自同质传感器；(4)通信量大。数据级融合(或像素级融合)对传感器的原始数据及预处理各阶段15数据级融合(或像素级融合)监测对象传感器1特征提取传感器2传感器N数据融合识别决策数据级融合(或像素级融合)监测对象传感器1特征传感器2传感器16特征级融合 利用从各个传感器原始数据中提取的特征信息，进行综合分析和处理的中间层次过程。通常所提取的特征信息应是数据信息的充分表示量或统计量，据此对多传感器信息进行分类、汇集和综合。特征级融合分类：目标状态信息融合目标特性融合。监测对象特征融合传感器1传感器2传感器N识别决策特征提取特征提取特征提取特征级融合 利用从各个传感器原始数据中提取的特征信息，进17决策级融合 在信息表示的最高层次上进行的融合处理。不同类型的传感器观测同一个目标，每个传感器在本地完成预处理、特征抽取、识别或判断，以建立对所观察目标的初步结论，然后通过相关处理、决策级融合判决，最终获得联合推断结果，从而直接为决策提供依据。因此，决策级融合是直接针对具体决策目标，充分利用特征级融合所得出的目标各类特征信息，并给出简明而直观的结果。决策级融合优点：实时性最好在一个或几个传感器失效时仍能给出最终决策，因此具有良好的容错性。决策级融合 在信息表示的最高层次上进行的融18决策级融合监测对象决策融合传感器1传感器2传感器N决策特征提取特征提取特征提取识别识别识别决策级融合监测对象决策融合传感器1传感器2传感器N决策特征19信息融合方法嵌入约束法证据组合法人工神经网络法信息融合信息融合方法方法信息融合方法嵌入约束法证据组合法人工神经网络法信息融合方法w20嵌入约束法由多种传感器所获得的客观环境(即被测对象)的多组数据就是客观环境按照某种映射关系映射关系形成的像像，信息融合就是通过像求解原像像求解原像，即对客观环境加以了解。用数学语言描述就是，所有传感器的全部信息，也只能描述环境的某些方面的特征，而具有这些特征的环境却有很多，要使一组数据对应惟一的环境(即上述映射为一一映射)，就必须对映射的原像和映射本身加约束条件，使问题能有惟一的解。嵌入约束法最基本的方法：Bayes估估计计和卡卡尔尔曼曼滤滤波波嵌入约束法由多种传感器所获得的客观环境(即被测对象)的多组数21证据组合法证据组合法是对完成某一任务的需要而处理多种证据组合法是对完成某一任务的需要而处理多种传感器的数据信息，完成某项智能任务，实际是传感器的数据信息，完成某项智能任务，实际是做出某项行动决策。它先对单个传感器数据信做出某项行动决策。它先对单个传感器数据信息每种可能决策的支持程度给出度量息每种可能决策的支持程度给出度量(即数据信息即数据信息作为证据对决策的支持程度作为证据对决策的支持程度)，再寻找一种证据组，再寻找一种证据组合方法或规则，在已知两个不同传感器数据合方法或规则，在已知两个不同传感器数据(即证即证据据)对决策的分别支持程度时，通过反复运用组合对决策的分别支持程度时，通过反复运用组合规则，最终得出全体数据信息的联合体对某决策规则，最终得出全体数据信息的联合体对某决策总的支持程度。得到最大证据支持决策，即信息总的支持程度。得到最大证据支持决策，即信息融合的结果。融合的结果。证据组合法证据组合法是对完成某一任务的需要而处理多种www.22人工神经网络法 通过模仿人脑的结构和工作原理，设计和建立相应通过模仿人脑的结构和工作原理，设计和建立相应的机器和模型并完成一定的的机器和模型并完成一定的智能任务智能任务。神经网络根据当前系统所接收到的样本的相似性，神经网络根据当前系统所接收到的样本的相似性，确定分类标准。这种确定方法主要表现在确定分类标准。这种确定方法主要表现在网络权值网络权值分布上，同时可采用神经网络特定的分布上，同时可采用神经网络特定的学习算法学习算法来获来获取知识，得到不确定性推理机制。取知识，得到不确定性推理机制。人工神经网络法 通过模仿人脑的结构和工作原理，设计和建立相23人工神经网络法 神经网络多传感器信息融合的实现，分三个重要步骤：神经网络多传感器信息融合的实现，分三个重要步骤：根据智能系统要求及传感器信息融合的形式，选择其拓扑根据智能系统要求及传感器信息融合的形式，选择其拓扑结构；结构；各传感器的输入信息综合处理为一总体输入函数，并将此各传感器的输入信息综合处理为一总体输入函数，并将此函数映射定义为相关单元的映射函数函数映射定义为相关单元的映射函数,通过神经网络与环通过神经网络与环境的交互作用把环境的统计规律反映网络本身结构；境的交互作用把环境的统计规律反映网络本身结构；对传感器输出信息进行学习、理解，确定权值的分配，完对传感器输出信息进行学习、理解，确定权值的分配，完成知识获取信息融合，进而对输入模式做出解释，将输入成知识获取信息融合，进而对输入模式做出解释，将输入数据向量转换成高层逻辑数据向量转换成高层逻辑(符号符号)概念。概念。人工神经网络法 神经网络多传感器信息融合的24基于神经网络的传感器信息融合特点u具有统一的内部知识表示形式，通过学习算法可具有统一的内部知识表示形式，通过学习算法可将网络获得的传感器信息进行融合，获得相应网将网络获得的传感器信息进行融合，获得相应网络的参数，并且可将知识规则转换成数字形式，络的参数，并且可将知识规则转换成数字形式，便于建立知识库；便于建立知识库；u利用外部环境的信息，便于实现利用外部环境的信息，便于实现知识自动获取知识自动获取及及并行联想推理并行联想推理；u能够将不确定环境的复杂关系，经过能够将不确定环境的复杂关系，经过学习推理学习推理，融合为系统能理解的准确信号；融合为系统能理解的准确信号；u由于神经网络具有大规模并行处理信息能力，使由于神经网络具有大规模并行处理信息能力，使得系统信息处理速度很快。得系统信息处理速度很快。基于神经网络的传感器信息融合特点具有统一的内部知识表示形式，25应用领域应用领域应用领域工业过程监视及工业机器人遥感与金融系统空中交通管制与病人照顾系统船舶避碰与交通管制系统生物特征的身份识别采用多传感器的自主式武器系统和自备式运载器情报收集系统采用多传感器进行截获、跟踪和指挥制导的火控系统军事力量的指挥和控制站敌情指示和预警系统Text民用军用应用领域应用工业过程监视及采用多传感器的自主式武器系统Tex26机器人中的机器人中的传感器信息融合感器信息融合控制和信控制和信息融合计息融合计算机算机自主移动装配机器人自主移动装配机器人装配机械手装配机械手力觉传感器力觉传感器触觉传感器触觉传感器视觉传感器视觉传感器超声波传感器超声波传感器激光测距传感器激光测距传感器多传感器信息融合自主移动装配机器人多传感器信息融合自主移动装配机器人机器人中的传感器信息融合控制和信自主移动装配机器人装配机械手27多传感器在移动机器人中的应用外界环境外界环境视觉视觉视觉视觉超声波传感器超声波传感器红外接近觉红外接近觉立体视觉立体视觉地标识别地标识别障碍探测障碍探测目标物探测目标物探测景物识别景物识别内部传内部传感器感器融合融合力觉力觉触觉触觉环境模型定位避障操作规划学习路径规划任务规划：执行机构控制指令感觉感觉功能功能多传感器在移动机器人中的应用外界环境视觉28舰船上的船上的传感器信息融合感器信息融合行扫描处理器红外探测器 直流偏压AGC搜索器万向支架惯性导航系统图像摄像机万向支架图像处理共享存储器数据融合处理器环境控制显示记录人机界面图像摄像机传感器海军舰船传感器信息融合系统舰船上的传感器信息融合行扫描红外探测器 直流偏搜索器万向支架29目标识别与身份认证基于音频和视频信息融合的身份识别 （现代战争、现代身份验证）目标识别与身份认证基于音频和视频信息融合的身份识别www.t30机器人机器人机器人作为人类20世纪最伟大的发明之一，在短短的40年内发生了日新月异的变化。机器人已经不仅成为先进制造业不可缺少的自动化装备，而且正以惊人的速度向海洋、航空、航天、军事、农业、服务、娱乐等各个领域渗透。信息融合是机器人的现代支撑技术之一，它为多传感器的综合利用提供了最有效的技术手段。搬运和装配工业机器人机器人搬运和装配工业机器人www.themegallery.31图像融合图像融合在机器视觉监视系统中的应用图像融合可以增强影像中的信息透明度，改善解释的精度，提高可靠性及使用率。图像融合图像融合在机器视觉监视系统中的应用图像融合可以增强影32医学图像融合医学图像融合33身边的应用身边的应用u刑侦多传感器数据融合技术在刑侦中的应用，主要是利用红外、微波等传感设备进行隐匿武器检查、毒品检查等。另外，将人体的各种生物特征如人脸、指纹、声音、虹膜等进行适当的融合，能大幅度提高对人的身份识别与认证能力，这对提高安全保卫能力是非常重要的。u故障诊断在工业监控应用中，每个传感器基于自身的检测统计量，可以提炼出有关系统故障的特征信息（故障表征）。在局部故障诊断处理单元，利用这些故障特征信息，并按照多种故障诊断方法对被诊断的对象做出是否有故障发生的推断。而融合中心则基于一定的准则进行融合处理，最终得出对象是否存在故障的决策。身边的应用34信息融合研究领域目前存在的问题23未形成基本的理论框架和有效广义模型及算法关联的二义性是信息融合中的主要障碍14融合系统的容错性和稳健型没有得到很好的解决。信息融合系统的设计还存在许多的实际问题。其绝大部分工作都是针对特定应用领域内的问题来开展研究，也就是说目前对信息融合问题的研究都是根据问题的种类，各自建立直观模型，并在此基础上给出所谓的最佳融合方案。由于理论欠缺现象阻碍了研究者对信息融合本身的深入认识，也使得信息融合在某种程度上仅被看成是一种多传感器信息处理概念；人们无法对面向对象的融合系统作出综合分析和评估，使得融合系统的设计常有一定的盲目性。信息融合研究领域目前存在的问题23未形成基本的理论框架和有效35信息融合研究领域目前存在的问题23未形成基本的理论框架和有效广义模型及算法关联的二义性是信息融合中的主要障碍14融合系统的容错性和稳健型没有得到很好的解决。信息融合系统的设计还存在许多的实际问题。在进行融合处理前，必须对信息进行关联，以保证融合的信息是来自同一目标或事件。如果对不同目标或事件的信息进行融合，将难以使系统得出正确的结论。这一问题称为关联的二义性，是信息融合中主要的障碍，怎样确立信息可融性的判别准则，如何进一步降低关联的二义性已成为如何研究领域亟待解决的问题。信息融合研究领域目前存在的问题23未形成基本的理论框架和有效36信息融合研究领域目前存在的问题23未形成基本的理论框架和有效广义模型及算法关联的二义性是信息融合中的主要障碍14融合系统的容错性和稳健型没有得到很好的解决。信息融合系统的设计还存在许多的实际问题。冲突信息或传感器故障产生的错误信息等的有效处理，即融合系统的容错性和稳健型是必须考虑的问题。信息融合研究领域目前存在的问题23未形成基本的理论框架和有效37信息融合研究领域目前存在的问题23未形成基本的理论框架和有效广义模型及算法关联的二义性是信息融合中的主要障碍14融合系统的容错性和稳健型没有得到很好的解决。信息融合系统的设计还存在许多的实际问题。信息融合系统的设计还存在许多的实际问题，如严格的系统设计工程和规范，传感器测量误差模型的建立，复杂环境下的系统实时响应，大知识库的建立以及管理等。信息融合研究领域目前存在的问题23未形成基本的理论框架和有效38未来展望未来展望通过对国内外相关研究的分析和总结可以看出，尽管许多比较成熟的信息处理方法，如卡尔曼滤波、Bayes 估计理论等通过适当的变换和改进，已经作为信息融合方法应用于模式识别领域中，也显著提高了识别的性能，但是这些经典的方法约束条件多对对象的形式和特性要求比较高，难以解决带有不确定性和对象特性比较复杂的识别问题。因此，具有鲁棒性、自适应性和自学习能力的智能化信息处理方法逐渐成为构建信息融合新方法的主要途径。未来展望通过对国内外相关研究的分析和总结可以看出，www.t39Thank You!40