现代检测技术多传感器数据融合

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,第11章多传感器信息融合技术,概述,传感器信息融合的分类和结构,传感器信息融合的一般方法,传感器信息融合的实例,第一节 概 述,传感器信息融合技术是从多信息的视角进行处理及综合，得到各种信息的内在联系和规律，从而剔除无用的和错误的信息，保留正确的和有用的成分，最终实现信息的优化。为智能信息处理技术的研究提供了新的观念。,一、概念,定义：将经过集成处理的多传感器信息进行合成，形成一种对外部环境或被测对象某一特征的表达方式。,单一传感器只能获得环境或被测对象的部分信息段，而多传感器信息经过融合后能够完善地、准确地反映环境的特征。经过融合后的传感器信息具有以下特征：,信息冗余性、信息互补性、信息实时性、信息获取的低成本性。,多传感器信息融合是人类和其它生物系统中普遍存在的一种基本功能，,人类有将身体上的各种功能器官（眼、耳、鼻、四肢）所探测的信息(景物、声音、气味和触觉)与先验知识进行综合的能力，以便对其周围的环境和正在发生的事件做出估计。,多传感器信息融合实际上是人对人脑综合处理复杂问题的一种功能模拟。,在多传感器系统中，各种传感器提供的信息可能具有不同的特点：时变的或者非时变的，实时的或者非实时的，模糊的或者确定的，精确的或者不完整的，相互支持的或者互补的。,信息融合的目标是基于各种传感器分离观测信息，通过对信息的优化组合导出更多的有效信息。这是最佳协同作用的效果，它的最终目的是利用多个传感器共同或联合操作的优势来提高整个系统的有效性。,数学基础的支持：概率论、随机过程、数理统计、,参数估计、滤波理论；分形、混沌、模糊推理、,人工神经网络等,二、意义及应用,主要作用及意义可归纳为以下几点：,（1）提高信息的准确性和全面性。与一个传感器相比，多传感器数据融合处理可以获得有关周围环境更准确、全面的信息；,（2）降低信息的不确定性。一组相似的传感器采集的信息存在明显的互补性，这种互补性经过适当处理后，可以对单一传感器的不确定性和测量范围的局限性进行补偿；,（4）提高系统的可靠性。某个或某几个传感器失效时，系统仍能正常运行；,（5）增加系统的实时性。,应用领域：机动目标跟踪、分布监测融合、多传感器跟踪与定位、分布信息融合、目标识别与决策信息融合、态势评估与威胁估计等领域的理论及应用研究,（1）信息融合系统采用多种传感器收集信息，包括声、光、电、运动、视觉、触觉、力觉以及语言文字。（2）信息融合技术中的分布式信息处理结构通过无线网络、有线网络，智能网络，宽带智能综合数字网络等汇集信息，传给融合中心进行融合。除了自然(物理)信息外，信息融合技术还融合社会类信息。,（3)信息融合采用分形、混沌、模糊推理、人工神经网络等数学和物理的理论及方法。,(4)它的发展方向是对非线性、复杂环境因素的不同性质的信息进行综合、相关，从各个不同的角度去观察、探测世界。,1、在信息电子学领域,2、在计算机科学领域,在计算机科学中，目前正开展着并行数据库、主动数据库、多数据库的研究。信息融合要求系统能适应变化的外部世界，因此，空间、时间数据库的概念应运而生，为数据融合提供了保障。,信息融合处理过程要求有相应的数据库原理和结构，以便融合随时间、空间变化的数据。在信息融合的思想下，提出的空间、时间数据库，是计算机科学的一个重要的研究方向。,3、在自动化领域,以各种控制理论为基础，信息融合技术采用模糊控制、智能控制、进化计算等系统理论，结合生物、经济、社会、军事等领域的知识，进行定性、定量分析。,目前的控制技术，已从程序控制进入了建立在信息融合基础上的智能控制。智能控制系统不仅用于军事，还应用于工厂企业的生产过程控制和产供销管理、城市建设规划、道路交通管理、商业管理、金融管理与预测、地质矿产资源管理、环境监测与保护、粮食作物生长监测、灾害性天气预报及防治等涉及宏观、微观和社会的各行各业。,多传感器数据融合技术可以对不同类型的数据和信息在不同层次上进行综合，它处理的不仅仅是数据，还可以是证据和属性等。,第二节 传感器信息融合功能和结构,数据融合层次的划分主要有两种方法。,第一种方法是将数据融合划分为低层（数据级或像素级）、中层（特征级）和高层（决策级）。,另一种方法将是将传感器集成和数据融合划分为信号级、证据级和动态级。,一、传感器信息融合的级别,基于像素层融合的面部表情识别,基于特征层融合的面部表情识别,基于决策层融合的面部表情识别,以基于信息融合的面部表情分析与识别为例,基于像素层融合的面部表情识别,这种方法对每幅图像预处理之前进行像素层融合后, 得到一个融合的人脸图像数据,并在此基础上再进行特征提取和面部表情识别。,基于特征层融合的面部表情识别,这种方法对每个传感器的观测数据进行特征的抽取以得到一个特征向量, 然后把这些特征向量融合起来并根据融合后得到的特征向量进行面部表情识别及判定。,基于决策层融合的面部表情识别,这种方法对每个传感器都执行面部表情特征提取和面部表情识别，然后对多个识别结果进行信息融合从而得出一个面部表情判决结果,再融合来自每个传感器的面部表情判决。,二、信息融合的结构,信息融合的结构分为串联和并联两种,Sn,S2,S1,Y1,Y2,Yn,C1,C2,Cn,Y,S,C1,C2,Cn,(a) 串联,(b) 并联,C1，C2，Cn表示n个传感器,S1,S2,，Sn表示来自各个传感器信息融合中心的数据,y1，y2，yn表示融合中心。,组合：由多个传感器组合成平行或互补方式来获得多组数据输出的一种处理方法，是一种最基本的方式，涉及的问题有输出方式的协调、综合以及传感器的选择。在硬件这一级上应用。,综合：信息优化处理中的一种获得明确信息的有效方法。,例：在虚拟现实技术中，使用两个分开设置的摄像机同时拍摄到一个物体的不同侧面的两幅图像，综合这两幅图像可以复原出一个准确的有立体感的物体的图像。,融合：当将传感器数据组之间进行相关或将传感器数据与系统内部的知识模型进行相关，而产生信息的一个新的表达式。,相关：通过处理传感器信息获得某些结果，不仅需要单项信息处理，而且需要通过相关来进行处理，获悉传感器数据组之间的关系，从而得到正确信息，剔除无用和错误的信息。,相关处理的目的：对识别、预测、学习和记忆等过程的信息进行综合和优化。,传感器信息融合分类,第三节 传感器信息融合的一般方法,第三节 传感器信息融合的一般方法,由多种传感器所获得的客观环境(即被测对象)的多组数据就是客观环境按照某种映射关系形成的像，信息融合就是通过像求解原像，即对客观环境加以了解。用数学语言描述就是，所有传感器的全部信息，也只能描述环境的某些方面的特征，而具有这些特征的环境却有很多，要使一组数据对应惟一的环境(即上述映射为一一映射)，就必须对映射的原像和映射本身加约束条件，使问题能有惟一的解。,嵌入约束法最基本的方法：Bayes估计和卡尔曼滤波,嵌入约束法、证据组合法、人工神经网络法,一、嵌入约束法,1.Bayes估计,事件,Ai,先验概率,P(Ai),条件概率,（似然性）,P(B/Ai),联合概率,P(Ai) P(B/Ai),修正概率,（后验概率）P(Ai/B),(1),(2),(3),(4),(5),A1:有病,A2:无病,0.01,0.99,0.97,0.05,0.0097,0.0495,0.0097/0.0592=0.16,0.0495/0.0592=0.84,合计,1.00,P(B)=0.0592,边际概率,1.00,P(A1)=P(有此病),P(A2)=P(无此病),B 表示“试验表明有此病”的事件,P(B/A1)表示在某人有此病时“试验表明有此病”的条件概率,P(B/A2)表示在某人无此病时“试验表明有此病”的条件概率,P(A1/B)表示在“试验表明有此病”时，有此病的概率,1.Bayes估计,是融合静态环境中多传感器低层数据的一种常用方法。其信息描述为概率分布，适用于具有可加高斯噪声的不确定性信息。假定完成任务所需的有关环境的特征物用向量f表示，通过传感器获得的数据信息用向量d来表示，d和f都可看作是随机向量。信息融合的任务就是由数据d推导和估计环境f。假设p(f，d)为随机向量f和d的联合概率分布密度函数，则,p(f|d)表示在已知d的条件下，f关于d的条件概率密度函数,p(d|f)表示在已知f 的条件下，d关于f的条件概率密度函数,p(d)和p(f)分别表示d和f的边缘分布密度函数,已知d时，要推断f，只须掌握p(f|d)即可，即,上式为概率论中的Bayes公式，是嵌入约束法的核心。,信息融合通过数据信息d做出对环境f的推断，即求解p(f|d)。由Bayes公式知，只须知道p(f|d)和p(f)即可。,p(d|f)是在已知客观环境变量f的情况下，传感器得到的d关于f的条件密度。,当环境情况和传感器性能已知时，p(f|d)由决定环境和传感器原理的物理规律完全确定。,p(f)可通过先验知识的获取和积累，逐步渐近准确地得到，因此，一般总能对p(f)有较好的近似描述。,在嵌入约束法中，反映客观环境和传感器性能与原理的各种约束条件主要体现在p(f|d) 中，而反映主观经验知识的各种约束条件主要体现在p(f)中。,*系统辨识及其MATLAB仿真 侯媛彬等,在已具备先验概率情况下，贝叶斯决策过程包括以下几个步骤：,进行预后验分析(pre-posterior analysis)，决定是否值得搜集补充资料以及从补充资料可能得到的结果和如何决定最优对策；,搜集补充资料，取得条件概率，包括历史概率和逻辑概率，对历史概率要加以检验，辨明其是否适合计算后验概率；,用概率的乘法定理计算联合概率，用概率的加法定理计算边际概率(marginal probability)，用贝叶斯定理计算后验概率；,用后验概率进行决策分析。,贝叶斯决策的优点表现在：,贝叶斯决策对不完备的信息提供了一个进一步研究的科学方法。也就是说，它能对信息的价值以及是否需要采集新的信息做出科学的判断。,它能对调查结果的可靠性加以数量化的评价，而不是像一般的决策方法那样，对调查结果或是完全相信，或是完全不相信。,如果说任何调查结果都不可能是完全准确的，而先验知识或主观概率也不是完全可以相信的，那么贝叶斯决策则巧妙地将这两种信息有机地结合起来了。,它可以在决策过程中根据具体情况不断地使用，使决策逐步完善和更加科学。,贝叶斯决策方法的局限性表现在：,它所需要的数据多，分析计算比较复杂，特别在解决复杂问题时，这个矛盾就更为突出。,有些数据必须使用主观概率，而一些人并不相信主观概率，这就妨碍了贝叶斯决策方法的推广使用。,2.卡尔曼滤波(KF),用于实时融合动态的低层次冗余传感器数据，该方法用测量模型的统计特性，递推决定统计意义下最优融合数据估计。如果系统具有线性动力学模型，且系统噪声和传感器噪声可用高斯分布的白噪声模型来表示，KF为融合数据提供惟一的统计意义下的最优估计，KF的递推特性使系统数据处理不需大量的数据存储和计算。,KF分为分散卡尔曼滤波(DKF)和扩展卡尔曼滤波(EKF)。DKF可实现多传感器数据融合完全分散化，其优点：每个传感器节点失效不会导致整个系统失效。而EKF的优点：可有效克服数据处理不稳定性或系统模型线性程度的误差对融合过程产生的影响。,嵌入约束法传感器信息融合的最基本方法之一，,最优状态估计,量测,预测状态向量,常规卡尔曼滤波主要包含时间更新和量测更新两部分。,由上图可见，卡尔曼滤波器具有预测修正结构，滤波的方程组是时间域内的递推形式，易于在计算机上实现，很适合于实时处理。,二、证据组合法,证据组合法认为完成某项智能任务是依据有关环境某方面的信息做出几种可能的决策，而多传感器数据信息在一定程度上反映环境这方面的情况。因此，分析每一数据作为支持某种决策证据的支持程度，并将不同传感器数据的支持程度进行组合，即证据组合，分析得出现有组合证据支持程度最大的决策作为信息融合的结果。,它先对单个传感器数据信息每种可能决策的支持程度给出度量(即数据信息作为证据对决策的支持程度)，再寻找一种证据组合方法或规则，在已知两个不同传感器数据(即证据)对决策的分别支持程度时，通过反复运用组合规则，最终得出全体数据信息的联合体对某决策总的支持程度。得到最大证据支持决策，即信息融合的结果。,证据组合法较嵌入约束法优点：(1)对多种传感器数据间的物理关系不必准确了解，即无须准确地建立多种传感器数据体的模型；(2)通用性好，可以建立一种独立于各类具体信息融合问题背景形式的证据组合方法，有利于设计通用的信息融合软、硬件产品；(3)人为的先验知识可以视同数据信息一样，赋予对决策的支持程度，参与证据组合运算。,常用证据组合方法：,概率统计方法,Dempster-Shafer证据推理,利用证据组合进行数据融合的关键在于：,选择合适的数学方法描述证据、决策和支持程度等概念,建立快速、可靠并且便于实现的通用证据组合算法结构,Dempster-Shafer证据推理法,由Dempster首先提出，由Shafer发展,一种不精确推理理论，贝叶斯方法的扩展。,贝叶斯方法必须给出先验概率，,证据理论则能够处理这种由不知道引起的不确定性。,在多传感器数据融合系统中，每个信息源提供了一组证据和命题，并且建立了一个相应的质量分布函数。因此，每一个信息源就相当于一个证据体。,在同一个鉴别框架下， 将不同的证据体通过Dempster合并规则并成一个新的证据体，并计算证据体的似真度，最后用某一决策选择规则，获得最后的结果。,三、人工神经网络法,神经网络根据当前系统所接收到的样本的相似性，确定分类标准。这种确定方法主要表现在网络权值分布上，同时可采用神经网络特定的学习算法来获取知识，得到不确定性推理机制。,基于神经网络的传感器信息融合特点：,具有统一的内部知识表示形式，通过学习算法可将网络获得的传感器信息进行融合，获得相应网络的参数，并且可将知识规则转换成数字形式，便于建立知识库；,能够将不确定环境的复杂关系，经过学习推理，融合为系统能理解的准确信号；,由于神经网络具有大规模并行处理信息能力，使得系统信息处理速度很快。,处理过程如下：,(l)用选定的N个传感器检测系统状态；,(2)采集N个传感器的测量信号并进行预处理；,(3)对预处理后的N个传感器信号进行特征选择；,(4)对特征信号进行归一化处理，为神经网络的输入提供标准形式；,(5)将归一化的特征信息与已知的系统状态信息作为训练样本，送神经网络进行训练，直到满足要求为止。该训练好的网络作为已知网络，只要将归一化的多传感器特征信息作为输入送人该网络，则网络输出就是被测系统的状态。,小波变换是一种新的时频分析方法，它在多信息融合中主要用于图像融合，即是把多个不同模式的图像传感器得到的同一场景的多幅图像，或同一传感器在不同时刻得到的同一场景的多幅图像，合成为一幅图像的过程。经图像融合技术得到的合成图像可以更全面、精确地描述所研究的对象。,基于小波变换的图像融合算法为：首先用小波变换将各幅原图像分解，然后基于一定的选择规则，得到各幅图像在各个频率段的决策表，对决策表进行一致性验证得到最终的决策表，在最终决策表的基础上经过一定的融合过程，得到融合后的多分辨表达式，最后经过小波逆变换得到融合图像。,四、小波变换法,第四节 传感器信息融合的其它实例,一. 信息融合的民事应用领域,工业过程监视及工业机器人,遥感与金融系统,空中交通管制与病人照顾系统,船舶避碰与交通管制系统,生物特征的身份识别,二. 信息融合技术军事上的应用,采用多传感器的自主式武器系统和自备式运载器,情报收集系统,采用多传感器进行截获、跟踪和指挥制导的火控系统,军事力量的指挥和控制站,敌情指示和预警系统,1.机器人中的传感器信息融合,控制和信,息融合计,算机,自主移动装配机器人,装配机械手,力觉传感器,触觉传感器,视觉传感器,超声波传感器,激光测距传感器,多传感器信息融合自主移动装配机器人,系统中, 机器人在未知或动态环境中的自主移动建立在视觉(双摄像头)、激光测距和超声波传感器信息融合的基础上; 机械手装配作业的过程则建立在视觉、力觉和触传感器信息融合的基础上,视觉传感器提取的环境特征信息；,自主移动：,激光传感器在较远距离上,获得物体较精确的位置；,超声波传感器用于检测近距离的物体；,信息融合获得机器人位置的精确估计,装配作业的过程：,视觉传感器用于识别具有一定规则和几何形状的零件及零件的定位；,力觉传感器检测机械手末端与环境的接触情况,以及接触力的大小，提供在接触时物体的准确位置；,物体的重量则在物体提升时由力觉测出；,信息融合获得目标的信息,多传感器及信息融合技术在移动机器人中的应用,外界环境,视觉,视觉,超声波传感器,红外接近觉,立体视觉,地标识别,障碍探测,目标物探测,景物识别,内部传感器,融合,力觉,触觉,环境模型,定位,避障,操作规划,学习,路径规划,任务规划：执行机构控制,指令,感觉功能,2.舰船上的传感器信息融合,行扫描,处理器,红外探测器,直流偏,压AGC,搜索器万向支架,惯性导,航系统,图像摄像机万向支架,图像,处理,共享,存储器,数据融合,处理器,环境控制,显示,记录,人机,界面,图像摄像机,传感器,海军舰船传感器信息融合系统,重磁导航（重力导航、磁力导航）,现有导航系统,全球卫星导航定位系统（,GPS,、,GLONASS,、,GALILEO,、,BD,）,惯性导航（包括惯性导航,INS,、航位推算导航,DR,）,天文导航系统（,CNS,）,匹配导航（地形匹配导航、影像匹配导航）,多传感器信息融合技术在舰船组合导航系统中的应用,多传感器信息融合技术在舰船组合导航系统中的应用,可靠性、高精度、容错能力以及实时性都是检验导航系统性能的重要指标,联合卡尔曼滤波器由于采用系统过程信息分配原则,可显著改善系统的容错能力及精度;可克服单纯GPS导航系统易受地形地物遮挡而引起定位中断的现象,并可克服单纯INS导航系统定位误差会随时间不断增长的缺点;采用信息融合算法,可减少计算量,提高效率,从而保证了滤波器的连续性和实时性。,罗兰C定位系统,远程无线电导航系统,惯性导航系统,全球卫星定位系统,基于信息融合的故障诊断方法，是通过多传感器获取设备状态的特征信号，并进行多层关联组合、数据选择，从而获得对诊断对象故障信息更可靠的认识和对潜在故障发展趋势的态势评估。,信息融合技术在故障诊断领域中的应用,遥感图像的信息融合能使各种空间、波谱和时间分辨率的图像纳入统一的时空内，融合构成一种新的图像，增加信息量，实现多种信息的互补，改善了图像的质量和有效性。,信息融合技术在图像处理方面的应用,聚类融合控制不是像常规的控制那样直接利用传感器的检测数据进行操作控制,而是融合传感器数据将生产过程的状态分成有限的类别,根据每一类别所描述的过程行为特点进行相应的操作控制。,基于信息融合的工业控制系统,多信息融合的智能温室控制系统,鉴于温室环境的大惯性,大时滞性和耦合性特点,本测控系统需要综合各种环境信息以便更好的对当前温室环境做出正确评估,进而采取相应的措施对其进行调控,多传感器信息融合技术在智能驾驶系统中的应用,智能驾驶随着传感器技术、信息处理技术、测量技术与计算机技术的发展，智能驾驶系统（辅助驾驶系统无人驾驶系统）也得了飞速的发展。消费者越来越注重驾驶的安全性与舒适性，这就要求传感器能识别在同一车道上前方行驶的汽车，并能在有障碍时提醒驾驶员或者自动改变汽车状态，以避免事故诉发生。国际上各大汽车公司也都致力于这方面的研究，并开发了一系列安全驾驶系统，如碰撞报警系统（CW）、偏向报警系统（LDW）和智能巡游系统（ICC）等。,ICC/CW系统中的误识别问题：ICC/CW系统中经常使用单一波束传感器。这类传感器利用非常狭窄的波束宽度测定前方的车辆，,对于弯曲道路，前后车辆很容易驶出传感器的测量范围，这将引起智能巡游系统误加速。如果前方车辆减速或在拐弯处另一辆汽车驶入本车道，碰撞报警系统将不能在安全停车范围内给出响应而容易产生碰撞。类似地，当弯曲度延伸时，雷达系统易把邻近道路的车辆或路边的防护栏误认为是障碍而给出报警。,当道路不平坦时，雷达传感器前方的道路是斜向上，小丘或小堆也可能被误认为是障碍，这些都降低了系统的稳定性。现在有一些滤波算法可以处理这些问题并取得了一定效果，但不能彻底解决。,LDW系统中存在的场景识别问题：LDW系统中同样存在公共驾驶区场景识别问题。LDW系统依赖于一侧的摄像机（经常仅能测道路上相邻车辆的位置），很难区分弯曲的道路和做到多样的个人驾驶模式。LDW系统利用一个前向摄像机探测车辆前方道路的地理状况，这对于远距离测量存在着精确性的问题，所有这些都影响了测量的准确性。现常用死区识别和驾驶信息修订法进行处理，但并不能给出任何先验知识去识别故障。,多传感器信息融合技术在,ITS,系统中的应用针对以上系统存在的一些问题，研究者们纷纷引入了多传感器信息融合技术，并提出了不同的融合算法。基于视觉系统的传感器可以提供大量的场景信息，其它传感器（如雷达或激光等）可以测定距离、范围等信息，对两方面的信息融合处理后能够给出更可靠的识别信息。融合技术可以采用,Beaurais,等人于,1999,年提出的,CLARK,算法（,Combined Likelihood Adding Radar,）和,Institude Neuroinformatik,提出的,ICDA,（,Integrative Coupling of Different Algorithms,）算法等方法实现。,