多传感器数据融合技术综述

多传感器数据融合技术综述多传感器数据融合技术综述一、多传感器数据融合的定义数据融合技术(Multiple Sensor Information Fusion, MSIF)又 称信息融合技术，它的研究起源于军事指挥智能通讯系统，即C3I (Command, Control，Communication and Intelligence)系统建设 的需求，早期研究也多来自于军事方面的应用。而随着工业系统的复 杂化和智能化，该技术已被推广到民用领域，如医疗诊断、机械故障 诊断、空中交通管制、遥感、智能制造、智能交通、工业智能控制及 刑侦等等。作为前沿领域技术，无论是军用系统还是民用系统，都趋 向于采用数据融合技术来进行信息综合处理。在知识爆炸的信息时 代，数据融合技术就显得尤其重要，它能避免数据富有但信息贫乏的 情况发生。数据融合是关于协同利用多传感器信息，进行多级别、多方面、 多层次信息检测、相关、估计和综合以获得目标的状态和特征估计以 及态势和威胁评估的一种多级信息自动处理过程。它将不同来源、不 同模式、不同时间、不同地点、不同表现形式的信息进行融合，最后 得出被感知对象的精确描述。数据融合其实也就是对数据的提取和处 理,得出最终的有效信息。多传感器数据融合也就是用各种不同的传 感器观测信息,然后将不同来源、不同形式、不同时间、不同地点的 信息通过计算机技术,对按时间顺序获得的若干传感器的观测信息,用某种方法自动分析、综合，得到更加有效的信息。美国国防部 JDL (Joint Directors of Laboratories)从军事应用 的角度将数据融合定义为一种多层次、多方面的处理过程，即把来此 许多传感器和信息源的数据和信息加以联合(Association)、相关(Correlation)和组合(Combination)，以获得精确的位置估计 (Position Estimation)和身份估计(Identity Estimation)，以及对 战情况和威胁及其重要程度进行了适时的完整评价。数据融合近三十年来取得了迅速发展，如今美国、英国、德国、 法国、加拿大、俄罗斯、日本、印度等国都有学者和技术人员在开展 数据融合技术的研究，这一领域的研究内容和成果已大量出现在各种 学术会议和公开的学术期刊上，例如美国三军数据融合年会、SPIE 国际年会、IEEE Trans on AES IEEE Trans on IT，IEEE Trans on AC，IEEE Trans on SMC, IEEE Trans on IP,以及 IEEE 其他相关 的会议和期刊中。当前，美国等军事强国的各类作战指挥自动化系统 (C3I，C4ISRT)和战争情报收集系统中都有较强的数据融合功能。此外，美国三军、某些大公司、大学均建立了专门的实验系统，以开 发、评估各种数据融合算法系统。为了进行广泛的国际交流，1998 年美国成立了国际数据融合年会(International Society of Information Fusion，简称ISIF)，每年举行一次数据融合国际学术会 议。从已发表的公开文献来看，我国 1998 年开始有关数据融合的文献才陆续多起来。随着国外数据融合技术研究的发展和计算机存贮能 力的大幅度提高，近几年我国对数据融合方面的研究日益重视。已有 一批高等院校和研究所展开了研究，比如四川大学研制的多航管雷达 数据融合系统，该系统性能达到了世界领先水平，且已经实地运行于 广州白云、深圳、成都双流等多家航空港。中科院遥感所开发的图像 数据融合软件，已成功地应用在卫星地面站的图像分类与识别中。由 于大批院校和研究所的技术投入,国内有关数据融合的研究取得了许 多成果并已投入到应用当中，出现了许多热门研究方向，如多目标跟 踪系统、有初步综合能力的多传感器数据融合系统等。目前新一代舰 载、机载、弹载和各种C3I系统正在向多传感器数据融合方向发展， 并将会有更多的多传感器数据融合系统投入到军事民用的各个方面 中去。三、多传感器数据融合的基本原理多传感器数据融合的基本原理就像人脑综合处理信息的过程一 样，它充分利用多个传感器资源，通过对这些传感器及其观测信息的 合理支配和使用，把多个传感器在时间和空间上的冗余或者互补信息 依据某种准则来进行组合，以获得被测对象的一致性解释或描述，使 该信息系统由此而获得比它的各组成部分的子集所构成的系统更优 越的性能。传感器之间的冗余数据增强了系统的可靠性，传感器之间 的互补数据扩展了单个的性能。多传感器数据融合与经典信号处理方 法之间存在本质的区别，其关键在于数据融合所处理的多传感器信息 具有更为复杂的形式，而且可以在不同的信息层次上出现。四、数据融合的过程多传感器数据融合的过程主要包括多传感器、数据预处理、数据融合中心和结果输出等环节，其过程如图1所示。图1 多传感器数据融合过程由于被测对象多半为具有不同特征的非电量，如压力、温度、色 彩和灰度等，因此首先要将它们转换成电信号，然后经过A/D转换 将它们转换为能由计算机处理的数字量。数字化后的电信号由于环境 等因素的随机影响，不可避免的存在一些干扰和噪音信号，通过预处 理滤除数据采集过程中的干扰和噪音，以便得到有用信号。预处理后 的有用信号经过特征提取，并对某一特征量进行数据融合计算，最后 输入融合结果。1、信号的获取多传感器信号获取的方法很多，可根据具体情况采取不同的传感 器获取被测对象的信号。图形影响的获取一般可利用电视摄像系统或 电荷耦合器件，将外界的图形景象信息进入电视摄像系统或电荷耦合 器件变化的光通量传换成变化的电信号，再经 A/D 转换后进入计算机系统。2、信号预处理在信号获取过程中，一方面由于各种客观因素的影响，在检测到 的信号中常常混有噪音。另一方面，经过A/D转换后的离散时间信 号除含有原来的噪音外，又增加了 A/D转换器的量化噪音。因此， 在对多传感器信号融合处理前，常对传感器输出信号进行预处理，尽 可能的去除这些噪音，提高信号的信噪比。信号预处理的方法主要有 去均值、滤波、消除趋势项等。3、特征提取对来自传感器的原始信息进行特征提取，特征可以是被测对象的4、融合计算数据融合计算方法较多，主要有数据相关计算、估计理论和识别 计算等。五、多传感器数据融合的层次在多传感器数据融合中，由于数据的多样化就需要按照数据的类 型、采集的方式等特点或工程的需要有层次分步骤的进行融合，这就 需要引入数据融合的级别问题。根据数据融合功能的抽象层次和数据 流通方式及传输形式，把数据融合分为高层次和低层次处理。低层次 处理包括数据的预处理，目标的检测、分类和辨识，目标跟踪。高层 次处理包括态势和威胁估计以及对整个融合过程的提取。一般来说目标识别（属性）级融合有三个基本结构：即数据级融合、特征级融合和决策级融合结构。1、数据级融合(pixel based fusion)数据级融合也称象素级融合，就是直接到采集的原始数据层上进 行融合，在多源数据未经预处理之前就进行数据综合和分析，这是最 底层的融合。这种融合的主要优点是原始信息丰富，并且能提供另外 俩个融合层次所不能提供的详细信息，因此精度最高。但丰富的原始 信息也意味着数据级融合所要处理的传感器数据量巨大，处理代价 高，耗时长，实时性差。数据级融合通常用于：多源图像复合、图像 分析和理解，以及同类(同质)雷达波形的直接合成。数据级融合的 主要方法有：HIS变换、PCA变换、小波变换等。由于这种融合是 在信息的最底层进行的，传感器原始信息的不确定性、不完全性和不 稳定性在融合时有较高的纠错能力。2、特征级融合(feature based fusion)特征级融合属于中间层次，它首先对来自传感器的原始信息进行 特征提取，然后对特征信息进行分析和处理。一般地，提取的特征信 息应是原始数据信息的充分表示量或统计量。其优点在于实现了可观 的信息压缩，有利于实时处理，并且由于所提取的特征直接与决策分 析有关，所以结果能最大限度地给出决策分析所需要的特征信息。特 征级融合的方法有：Dempster-Shafer推理法(D-S方法)、表决法、 神经网络法。这种方法对通信带宽的要求较低。但由于数据的丢失使 其准确性有所下降。3、决策级融合( decision-level based fusion)决策级融合是一种高层次的融合，其结果可为指挥控制与决策提 供依据。因此，决策融合常常从具体决策问题的需求出发，充分利用 特征级融合所提取的测量对象的各类特征信息，采用适当的融合技术 来实现。决策级融合是三级融合的最终结果，是直接针对具体决策目 标的，融合结果直接影响决策水平。目前，决策级融合方法主要有： 贝叶斯估计法、专家系统、神经网络法、模糊集理法、可靠性理论以 及逻辑模板法。由于对传感器的数据进行了浓缩，这种方法产生的结 果相对而言最不准确，但它对通信带宽的要求最低。六、三中融合层次的比较数据级融合是最底层融合，是在对传感器原始信息未经过或经过 很小处理的基础上进行的,它要求各个融合的传感器信息源具有精确 到一个象素的配准精度的任何抽象层次的融合。其优点是能够提供其 他两种层次的融合所不具有的细节信息,但也具有下述几个方面的局 限性。1、由于它所要处理的传感器信息量大，故处理代价较大。2、由于传感器信息稳定性差，特别是在目标检测与分类时， 故在融合时要求有较高的纠错处理能力。3、由于在该层次上的信息要求各传感器信息之间具有象素级 的配准关系，故要求各传感器信息来自同质传感器。4、由于其通信量较大，故抗干扰能力较差。决策级融合的优缺点正好与数据级融合相反。其传感器可以是异 质传感器，预处理代价较高，而融合中心处理代价小，整个系统的通信量小，抗干扰能力强。由于处理效果很大程度取决于各个传感器预 处理的性能，而传感器预处理一般是简单的处理，其性能一般不太高， 故融合中心的性能要比数据级融合性能差些。特征级融合是上述两种 信息融合的这种形式，兼容了两者的优缺点。各层次融合的优缺点可 用表1说明。数据层融合通信量聂大信息损失最小容错性最差抗干扰性最差对传感器依赖性毘大融合方法最难预处理最小分类性能最好特征层融合决策层融合中等最小中等最大中等最好中等最好中等最小中等最易中等最大中等最差表1 融合层次比较一个系统采用哪个层次上的数据融合方法，要有该系统的具体要 求来决定，不存在能够适用于所有情况或应用的普遍结构。对于多传 感器数据融合系统的特定的工程应用，应综合考虑系统的性能、系统 的计算能力、通信带宽、期望的准确率以及资金能力等因素，以确定 哪种层次是最优的。另外，在一个系统中，也可能在不同的融合层次 上进行融合，一个实际的融合系统是上诉三种融合的组合，融合的级 别越高则处理的速度也越快，信息的压缩量越大损失也越大。在数据融合处理过程中，根据对原始数据处理方法的不同，数据融合系统的体系结构主要有两种：集中式体系结构和分布是体系结构。1、 集中式：集中式将各传感器获得的原始数据直接送至中央 处理器进行融合处理。可以实现实时融合，其数据处理的精度 高，解法灵活，缺点是对处理器要求高，可靠性较低，数据量 大，故难以实现。2、分布式：每个传感器对获得的原始数据先进行局部处理，包括对原始数据的预处理、分类及提取特征信息，并通过各自 的决策准则分别作出决策，然后将结果送人融合中心进行融合 以获得做种的决策。分布式对通信带宽要求低、计算速度快、 可靠性和延续性好，但跟踪精度没有集中式高。大多数情况是把二者进行不同组合，形成一种混合式组合。七、数据融合的算法介绍1、HIS变换HIS变换是应用比较广泛的数据级融合方法，相对于RGB颜色 空间来说，它是一个对物体颜色属性的描述系统，其中的I代表地物 的亮度(intensity)、H代表色度(hue)、S代表饱和度(saturation)， 三者分别代表三个波段的平均辐射强度、数据向量和等量的数据大 小。HIS变换方法的一般做法是：将已经配准的TM标准假色图像 经HIS变换得到I、H、S分量，然后用SAR图像代替其中的I值， 再变换到RGB颜色空间，形成新的图像。这种新图像既保留了 SAR 数据的亮度指标，又保留了 TM 数据的色度和饱和度指标，这样就 能充分展示空间特征，显著的丰富图像的信息量。2、D-S证据推理D-S 证据理论由 Dempster 于 1967 年提出，其学生 Shafer 将其 发展并整理成一套完整的数学推理理论。D-S证据理论可以看作是有 限域上对经典概率推理理论的一般化扩展，其主要特性是支持描述不 同等级的精确到和直接引入了对未知不确定性的描述。该算法具有很 强的处理不确定信息的能力。它不需要先验信息，对不确定信息的描 述采用“区间估计”而不是“点估计”的方法，解决了关于“未知” 即不确定性的表示方法，在区分不知道与不确定方面以及精确反映证 据收集方面显示出很大的灵活性。当不同传感器所提供的测量数据对 结论的支持发生冲突时，D-S算法可以通过“悬挂”在所有目标集上 共有的概率是的发生的冲突获得解决。它用集合表示事件，用D-S 组合规律代替Bayes推理法来实现信任函数的更新。3、专家系统专家系统是具有解决特定问题所需专门领域知识的计算机程序 系统，也称基于知识的系统。主要用于模仿人类专家的思维活动，通 过推理与判断求解问题。一个专家系统主要由两部分组成：一个成为 知识库的知识集合，它包含待处理问题领域的知识，通常由数据库管 理系统来组织和实现；另一个称为处理机的程序模块，它包含一般问 题求解过程所用的推理方法和控制策略的知识,通常由具体的程序来 实现。专家系统适用于缺乏合适算法求解问题而往往又能采用领域专 家经验来求解问题的场合。专家系统在工程应用上经过二十多年的发展，就其理论基础、系统设计和开发工具而言，已取得了较为全面而丰硕的成果，正因为如此，应用专家系统来求解数据融合领域中的态势估计和威胁估计问题是非适宜的。八、数据融合的发展趋势数据融合不是一门单一的技术，而是跨学科的综合理论和方法,尚处在不断地变化和发展中。从现有资料看，数据融合的发展趋势如 下：1、建立统一的融合理论和广义融合模型；2、解决数据配准、数据预处理、数据库构建、数据库管理、人机接口、通用软件包开发问题，利用成熟的辅助技术，建立面向具体应用需求的数据融合系统；3、将人工智能技术，如神经网络、遗传算法、模糊理论、专家理论、粗糙集理论等，引入到数据融合领域利用集成的计算 智能方法，提高多传感器融合的性能;4、 解决不确定性因素的表达和推理演算；5、 利用有关的先验数据提高数据融合的性能，研究更加先进复杂的融合算法；6、 在多平台/但平台、异类/同类多传感器的应用背景下，建立计算复杂程度低，同时又能满足任务要求的数据处理模型和算 法；7、构建数据融合测试评估平台和多传感器管理体系；8、将已有的融合方法工程化与商品化，开发能够提供多种复杂融合算法的处理硬件，以便在数据获取的同时就实时地完成 融合。九、结束语关于数据融合的定义丰富多样，一直没有统一。可以认为，数据 融合就是对来自多个传感器的多样信息（甚至是海量信息），通过有 效的方式方法进行传输、分析、处理和合成，从而得到更多、等准确、 更可靠的信息。在此有效的方式方法现在更多的是依赖计算机模拟技 术。所以更严格的定义应该是：利用计算机技术，对多个信息源提供 的有用数据进行采集、传输、分析、处理和合成，以提高信息处理的 可靠性和精确性，形成符合实际需要的更多有效信息。将这些概念普 适化，即数据融合更是一个形式的映射，海量数据通过这种映射得到 一个有效、可靠、准确的结果。绝大部分数据融合研究都是针对特定应用领域的问题开展的，即 根据问题的种类，各自建立准则，在直观的融合准则基础上形成最佳 融合方案，并给出相应算法。但是这些最佳只反映在固定的某些种类 中。就数据融合这个独立学科的理论体系而言，某些特定应用领域的 完整理论还没有被普适化，不能够代表整个学科的完整理论体系。并 且理论的短缺也阻碍了人们对数据融合本身的深入理解和认识，也使 得数据融合在概念上仅仅被看做一种多传感器信息处理；另一方面， 由于概念的偏差，人们无法对融合系统作出综合分析和评估，使得融 合系统的设计带有一定的盲目性。因此建立普适性的数据融合基本理论和广义融合算法是必要的。数据融合作为一门新兴的学科，在几十年的发展中，取得了突破 性的进展，并且仍然处于不断的变换和发展之中；数据融合不是单一 的技术，而是包含了大量综合理论方法的学科。随着计算机水平的不 断提高，融合算法的不断改进，以及融合理论普适化程度的不断推进, 在这个信息爆炸的时代，有信息、有数据的地方，就会存在数据融 合，融合系统将在更多的行业领域得到实际应用，创造更高的社会经 济效益。参考文献1康中尉，罗飞路基于信息融合技术的多传感器系统J传感器世界，2002 ,(1)： 1-6.2曲晓慧，安钢数据融合方法综述及展望J舰船电子工程，2003 ( 2 ):2-4.3 Edward L Waltz, James Linas. Multisensor Data Fusion M ArtechHouse pulish , 1990.4 Hall D L , Linas J. An introduction to multisensor data fusion. J.Proceeding of the IEEE , 1997,85(1): 6-23.5 Linas J , Hall D L. An introduction to multisensor data fusion. AProceeding of the 1998 IEEE International Symposium onC1998,537-5406 Yang Dongyong Yuzo Y. Multisensor data fusion and itsapplication to industrial control. SICE 2000 A. Proceeding of the39th SICE Annual Conference C. 2000.7王建海，方振，李英，等多传感器数据融合浅析J 上海大学学报，1997,3(4)：454-461.8王耀南，李树涛多传感器信息融合及其应用综述.J控制与决策，2001,16(9): 528-522.9张保梅数据级与特征级的数据融合方法研究D兰州兰州理工大学2005.10KokarM , Kim K H Review of multisensor data fusionarchitectures and techniquesA Proceeding of the 1993 IEEEInternational Symposium on Intelligence Control. C1993,25-27.11刘同明，夏祖勋，谢洪成数据融合技术及其应用M：|北京：国防工业出版社，2000.12蒋万录，李冲祥，刘继刚多传感器数据融合技术的现状及展望J机床与液压，2003 f(3): 16-18.13胡嗣，肖书明，王燕清，高庆吉基于多传感器的数据融合技术J东I北电力学院学报，2004 f(1)： 62-67.14Dempster A. Upper and lower probabilities induced bymultivalued mapping Annals of Mathematical Statistics. 1967, 38(2): 325-339.15何树权，钱健民.专家系统在数据融合技术中的应用研究J火控雷达技术，2003 , (3):67-74.16李静，贾利民数据融合综述J交通标准化，2007 ,(9): 192-195.17 杨万海.多传感器数据融合及其应用.西安:西安电子科技大学出版社,2004.18 何友,王国宏，彭应宁，等多传感器信息融合及其应用斗北京：电子工业岀版社，2000.19 王琳.多传感器信息技术及其应用.华北电力大学硕士学位论文，2002.20 康耀红.数据融合理论应用.西安电子科技大学出版社， 2006( 5) .21 黄慧宁，刘源璋，梁昭阳多传感器数据融合技术概述J科技信息，2010,(15): 72-73.22李圣怡，吴学忠，范大鹏多传感器数据融合理论及在智能制造系统中的应用M长沙：国防科技大学出版社，1998.23栾亚丽，季兵兵无线传感器网络中数据融合算法研究J传感器世界，2010,(2): 26-30.24黄漫国，樊尚春，郑德智，邢维巍多传感器数据融合技术研究进展J传感器与微系统，2010,(3) :5-8 25唐义平，罗正发多传感器系统的数据融合技术J 上海航天.1997,14( 4 ):39-44.