信息融合课件

传感器数据融合的概念传感器数据融合的概念p传感器数据融合又称数据融合，是对多种信息的获取、表示传感器数据融合又称数据融合，是对多种信息的获取、表示及其内在联系进行综合处理和优化的技术。及其内在联系进行综合处理和优化的技术。传感器数据融合技术从多信息的视角进行处理及综合，得到各传感器数据融合技术从多信息的视角进行处理及综合，得到各种信息的内在联系和规律，从而剔除无用的和错误的信息，保种信息的内在联系和规律，从而剔除无用的和错误的信息，保留正确的和有用的成分，最终实现信息的优化。它为智能信息留正确的和有用的成分，最终实现信息的优化。它为智能信息处理技术的研究提供了新的观念。处理技术的研究提供了新的观念。p定义：将经过集成处理的多传感器信息进行合成，形成一种定义：将经过集成处理的多传感器信息进行合成，形成一种对外部环境或被测对象某一特征的表达方式。对外部环境或被测对象某一特征的表达方式。多传感器数据融合技术是通过对这些传感器及其观测信息的合多传感器数据融合技术是通过对这些传感器及其观测信息的合理支配和使用，把多个传感器在时间和空间上的冗余或互补信理支配和使用，把多个传感器在时间和空间上的冗余或互补信息依据某种准则进行组合，以获取被观测对象的一致性解释或息依据某种准则进行组合，以获取被观测对象的一致性解释或描述。描述。单一传感器只能获得环境或被测对象的部分信息段，而多传感单一传感器只能获得环境或被测对象的部分信息段，而多传感器信息经过融合后能够完善地、准确地反映环境的特征。器信息经过融合后能够完善地、准确地反映环境的特征。定义三个要点：（1）数据融合是多信源、多层次的处理过程，每个层次代）数据融合是多信源、多层次的处理过程，每个层次代表信息的不同抽象程度；表信息的不同抽象程度；（2）数据融合过程包括数据的检测、关联、估计与合并；）数据融合过程包括数据的检测、关联、估计与合并；（3）数据融合的输出包括低层次上的状态身份估计和高层）数据融合的输出包括低层次上的状态身份估计和高层次上的总战术态势的评估。次上的总战术态势的评估。多传感器数据融合包包括括：多多传传感感器器的的目目标标探探测测、数数据据关关联联、跟跟踪踪与与识识别别、情情况况评评估估和和预测。预测。基基本本目目的的：通通过过融融合合得得到到比比单单独独的的各各个个输输入入数数据据更更多多的的信信息息。这这一一点点是是协协同同作作用用的的结结果果，即即由由于于多多传传感感器器的的共共同同作作用用，使使系系统统的的有有效效性得以增强。性得以增强。多多传传感感器器数数据据融融合合系系统统可可更更大大程程度度获获取取被被探探测测目目标标和和环环境境的的信信息息量量。单单传传感感器器信信号号处处理理或或低低层层次次的的数数据据处处理理方方式式只只是是对对人人脑脑信信息息处理的一种低水平模仿。处理的一种低水平模仿。实实质质：一一种种多多源源信信息息的的综综合合技技术术，通通过过对对来来自自不不同同传传感感器器的的数数据据进进行分析和综合，可以获得被测对象及其性质的最佳一致估计。行分析和综合，可以获得被测对象及其性质的最佳一致估计。多多传传感感器器数数据据融融合合：将将经经过过集集成成处处理理的的多多种种传传感感器器信信息息进进行行合合成成，形成对外部环境某一特征的一种表达方式。形成对外部环境某一特征的一种表达方式。数据融合的优点数据融合的优点p增加了系统的生存能力增加了系统的生存能力p扩展了空间覆盖范围扩展了空间覆盖范围p扩展了时间覆盖范围扩展了时间覆盖范围p提高了可信度提高了可信度p降低了信息的模糊度降低了信息的模糊度p改善了探测性能改善了探测性能p提高了空间分辨率提高了空间分辨率p增加了测量空间的维数增加了测量空间的维数信息融合信息融合p组合：组合：由多个传感器组合成平行或互补方式来获得多组数据由多个传感器组合成平行或互补方式来获得多组数据输出的一种处理方法，是一种最基本的方式，涉及的问题有输输出的一种处理方法，是一种最基本的方式，涉及的问题有输出方式的协调、综合以及传感器的选择。在硬件这一级上应用。出方式的协调、综合以及传感器的选择。在硬件这一级上应用。p综合综合：信息优化处理中的一种获得明确信息的有效方法。：信息优化处理中的一种获得明确信息的有效方法。例：在虚拟现实技术中，使用两个分开设置的摄像机同时拍摄到例：在虚拟现实技术中，使用两个分开设置的摄像机同时拍摄到一个物体的不同侧面的两幅图像，综合这两幅图像可以复原出一一个物体的不同侧面的两幅图像，综合这两幅图像可以复原出一个准确的有立体感的物体的图像。个准确的有立体感的物体的图像。p融合融合：当将传感器数据组之间进行相关或将传感器数据与系：当将传感器数据组之间进行相关或将传感器数据与系统内部的知识模型进行相关，而产生信息的一个新的表达式。统内部的知识模型进行相关，而产生信息的一个新的表达式。p相关相关：通过处理传感器信息获得某些结果，不仅需要单项信：通过处理传感器信息获得某些结果，不仅需要单项信息处理，而且需要通过相关来进行处理，获悉传感器数据组之息处理，而且需要通过相关来进行处理，获悉传感器数据组之间的关系，从而得到正确信息，剔除无用和错误的信息。间的关系，从而得到正确信息，剔除无用和错误的信息。相关处理的目的：对识别、预测、学习和记忆等过程的信息进行相关处理的目的：对识别、预测、学习和记忆等过程的信息进行综合和优化。综合和优化。信息融合在信息电子学的应用信息融合在信息电子学的应用p信息融合技术的实现和发展以信息电子学的原理、方法、技信息融合技术的实现和发展以信息电子学的原理、方法、技术为基础。术为基础。信息融合系统要采用多种传感器收集各种信息，包括声、光、电、运信息融合系统要采用多种传感器收集各种信息，包括声、光、电、运动、视觉、触觉、力觉以及语言文字等。信息融合技术中的分布式信动、视觉、触觉、力觉以及语言文字等。信息融合技术中的分布式信息处理结构通过无线网络、有线网络，智能网络，宽带智能综合数字息处理结构通过无线网络、有线网络，智能网络，宽带智能综合数字网络等汇集信息，传给融合中心进行融合。除了自然网络等汇集信息，传给融合中心进行融合。除了自然(物理物理)信息外，信信息外，信息融合技术还融合社会类信息，以语言文字为代表，涉及到大规模汉息融合技术还融合社会类信息，以语言文字为代表，涉及到大规模汉语资料库、语言知识的获取理论与方法、机器翻译、自然语言解释与语资料库、语言知识的获取理论与方法、机器翻译、自然语言解释与处理技术等，信息融合采用分形、混沌、模糊推理、人工神经网络等处理技术等，信息融合采用分形、混沌、模糊推理、人工神经网络等数学和物理的理论及方法。它的发展方向是对非线性、复杂环境因素数学和物理的理论及方法。它的发展方向是对非线性、复杂环境因素的不同性质的信息进行综合、相关，从各个不同的角度去观察、探测的不同性质的信息进行综合、相关，从各个不同的角度去观察、探测世界。世界。信息融合在计算机科学的应用信息融合在计算机科学的应用p在计算机科学中，目前正开展着并行数据库、主动数据库、在计算机科学中，目前正开展着并行数据库、主动数据库、多数据库的研究。多数据库的研究。信息融合要求系统能适应变化的外部世界，因此，空间、时间数据库信息融合要求系统能适应变化的外部世界，因此，空间、时间数据库的概念应运而生，为数据融合提供了保障。空间意味着不同种类的数的概念应运而生，为数据融合提供了保障。空间意味着不同种类的数据来自于不同的空间地点，时间意味着数据库能随时间的变化适应客据来自于不同的空间地点，时间意味着数据库能随时间的变化适应客观环境的相应变化。信息融合处理过程要求有相应的数据库原理和结观环境的相应变化。信息融合处理过程要求有相应的数据库原理和结构，以便融合随时间、空间变化了的数据。在信息融合的思想下，提构，以便融合随时间、空间变化了的数据。在信息融合的思想下，提出的空间、时间数据库，是计算机科学的一个重要的研究方向。出的空间、时间数据库，是计算机科学的一个重要的研究方向。信息融合在自动化的应用信息融合在自动化的应用p以各种控制理论为基础，信息融合技术采用模糊控制、智能以各种控制理论为基础，信息融合技术采用模糊控制、智能控制、进化计算等系统理论，结合生物、经济、社会、军事等控制、进化计算等系统理论，结合生物、经济、社会、军事等领域的知识，进行定性、定量分析。领域的知识，进行定性、定量分析。按照人脑的功能和原理进行视觉、听觉、触觉、力觉、知觉、注意、按照人脑的功能和原理进行视觉、听觉、触觉、力觉、知觉、注意、记忆、学习和更高级的认识过程，将空间、时间的信息进行融合，对记忆、学习和更高级的认识过程，将空间、时间的信息进行融合，对数据和信息进行自动解释，对环境和态势给予判定。目前的控制技术，数据和信息进行自动解释，对环境和态势给予判定。目前的控制技术，已从程序控制进入了建立在信息融合基础上的智能控制。智能控制系已从程序控制进入了建立在信息融合基础上的智能控制。智能控制系统不仅用于军事，还应用于工厂企业的生产过程控制和产供销管理、统不仅用于军事，还应用于工厂企业的生产过程控制和产供销管理、城市建设规划、道路交通管理、商业管理、金融管理与预测、地质矿城市建设规划、道路交通管理、商业管理、金融管理与预测、地质矿产资源管理、环境监测与保护、粮食作物生长监测、灾害性天气预报产资源管理、环境监测与保护、粮食作物生长监测、灾害性天气预报及防治等涉及宏观、微观和社会的各行各业。及防治等涉及宏观、微观和社会的各行各业。信息融合层次的划分主要有两种方法。信息融合层次的划分主要有两种方法。第一种方法是按照融合对象的层次不同，将信息第一种方法是按照融合对象的层次不同，将信息融合划分为低层（数据级或像素级）、中层（特融合划分为低层（数据级或像素级）、中层（特征级）和高层（决策级）。征级）和高层（决策级）。另一种方法将是将传感器集成和数据融合划分为另一种方法将是将传感器集成和数据融合划分为信号级、证据级和动态级。信号级、证据级和动态级。信息融合的分类信息融合的分类数据级融合(或像素级融合)p对对传传感感器器的的原原始始数数据据及及预预处处理理各各阶阶段段上上产产生生的的信信息息分分别别进进行行融融合合处处理理。尽尽可可能能多多地地保保持持了了原原始始信信息息，能能够够提提供供其其它它两两个个层层次次融融合合所所不不具有的细微信息。具有的细微信息。p局限性：局限性：(1)由于所要处理的传感器信息量大，故处理代价高；由于所要处理的传感器信息量大，故处理代价高；(2)融融合合是是在在信信息息最最低低层层进进行行的的，由由于于传传感感器器的的原原始始数数据据的的不不确确定性、不完全性和不稳定性，要求在融合时有较高的纠错能力；定性、不完全性和不稳定性，要求在融合时有较高的纠错能力；(3)由由于于要要求求各各传传感感器器信信息息之之间间具具有有精精确确到到一一个个像像素素的的配配准准精精度度，故要求传感器信息来自同质传感器；故要求传感器信息来自同质传感器；(4)通信量大。通信量大。监监测测对对象象传感器传感器1 1特征特征提取提取传感器传感器2 2传感器传感器N N数数据据融融合合识别识别决策决策数据级融合(或像素级融合)特征级融合 利利用用从从各各个个传传感感器器原原始始数数据据中中提提取取的的特特征征信信息息，进进行行综综合合分析和处理的中间层次过程。分析和处理的中间层次过程。通通常常所所提提取取的的特特征征信信息息应应是是数数据据信信息息的的充充分分表表示示量量或或统统计计量，据此对多传感器信息进行分类、汇集和综合。量，据此对多传感器信息进行分类、汇集和综合。特征级融合分类：特征级融合分类：目标状态信息融合目标状态信息融合目标特性融合。目标特性融合。监监测测对对象象特特征征融融合合传感器传感器1 1传感器传感器2 2传感器传感器N N识别识别决策决策特征提取特征提取特征提取特征提取特征提取特征提取特征级融合分类 目标状态信息融合目标状态信息融合主主要要应应用用于于多多传传感感器器目目标标跟跟踪踪领领域域。融融合合系系统统首首先先对对传传感感器器数数据据进进行行预预处处理理以以完完成成数数据据配配准准。数数据据配配准准后后，融融合合处处理理主主要实现参数相关和状态矢量估计。要实现参数相关和状态矢量估计。目标特性融合目标特性融合特特征征层层联联合合识识别别，具具体体的的融融合合方方法法仍仍是是模模式式识识别别的的相相应应技技术术，只只是是在在融融合合前前必必须须先先对对特特征征进进行行相相关关处处理理，对对特特征征矢矢量量进进行行分分类类组组合合。在在模模式式识识别别、图图像像处处理理和和计计算算机机视视觉觉等等领领域域，已已经经对对特特征征提提取取和和基基于于特特征征的的分分类类问问题题进进行行了了深深入入的的研研究究，有有许多方法可以借用。许多方法可以借用。决策级融合 在在信信息息表表示示的的最最高高层层次次上上进进行行的的融融合合处处理理。不不同同类类型型的的传传感感器器观观测测同同一一个个目目标标，每每个个传传感感器器在在本本地地完完成成预预处处理理、特特征征抽抽取取、识识别别或或判判断断，以以建建立立对对所所观观察察目目标标的的初初步步结结论论，然然后后通通过过相相关关处处理理、决决策级融合判决，最终获得联合推断结果，从而直接为决策提供依据。策级融合判决，最终获得联合推断结果，从而直接为决策提供依据。因因此此，决决策策级级融融合合是是直直接接针针对对具具体体决决策策目目标标，充充分分利利用用特特征征级级融合所得出的目标各类特征信息，并给出简明而直观的结果。融合所得出的目标各类特征信息，并给出简明而直观的结果。决策级融合优点：决策级融合优点：实时性最好实时性最好在在一一个个或或几几个个传传感感器器失失效效时时仍仍能能给给出出最最终终决决策策，因因此此具具有有良良好好的的容错性。容错性。监监测测对对象象决决策策融融合合传感器传感器1 1传感器传感器2 2传感器传感器N N决策决策特征提取特征提取特征提取特征提取特征提取特征提取识别识别识别识别识别识别决策级融合信息融合过程 首首先先将将被被测测对对象象它它们们转转换换为为电电信信号号，然然后后经经过过AD变变换换将将它它们们转转换换为为数数字字量量。数数字字化化后后电电信信号号需需经经过过预预处处理理，以以滤滤除除数数据据采采集集过过程程中中的的干干扰扰和和噪噪声声。对对经经处处理理后后的的有有用用信信号号作作特特征征抽抽取取，再再进进行行数数据据融融合合；或或者者直直接接对对信信号号进进行行数数据据融融合合。最后，输出融合的结果。最后，输出融合的结果。信息融合结构形式信息融合结构形式p三种结构形式：串联、并联和混合融合形式。三种结构形式：串联、并联和混合融合形式。1.1.加权平均加权平均 2.2.嵌入约束法：嵌入约束法：卡尔曼滤波、贝叶斯估计卡尔曼滤波、贝叶斯估计 3.3.多贝叶斯方法多贝叶斯方法 4.4.统计决策理论统计决策理论 5.5.证据组合法：概率统计方法、证据组合法：概率统计方法、Dempster-Shafer证据推理法证据推理法 6.6.模糊逻辑法模糊逻辑法 7.7.产生式规则法产生式规则法 8.8.神经网络方法神经网络方法 信息融合的一般方法信息融合的一般方法1.加权平均 加权平均是最简单、最直观的数据融合方法。加权平均是最简单、最直观的数据融合方法。该方法将一组传感器提供的冗余信息进行加权平均，结该方法将一组传感器提供的冗余信息进行加权平均，结果作为融合值。果作为融合值。由多种传感器所获得的客观环境由多种传感器所获得的客观环境(即被测对象即被测对象)的多组数据，就是的多组数据，就是客观环境按照某种客观环境按照某种映射关系形成的形成的像，信息融合就是通过，信息融合就是通过像求解原像，即对客观环境加以了解。即对客观环境加以了解。用数学语言描述就是，所有传感器的全部信息，也只能描述环境用数学语言描述就是，所有传感器的全部信息，也只能描述环境的某些方面的特征，而具有这些特征的环境却有很多，要使一组数据的某些方面的特征，而具有这些特征的环境却有很多，要使一组数据对应惟一的环境对应惟一的环境(即上述映射为一一映射即上述映射为一一映射)，就必须对映射的原像和映，就必须对映射的原像和映射本身加约束条件，使问题能有惟一的解。射本身加约束条件，使问题能有惟一的解。嵌入约束法最基本的方法：嵌入约束法最基本的方法：Bayes估计和和卡尔曼滤波2.嵌入约束法BayesBayes估计估计是融合静态环境中多传感器低层数据的一种常用方法。其信息描述为概率分布，适用于具有可加高斯噪声的不确定性信息。假定完成任务所需的有关环境的特征物用向量f表示，通过传感器获得的数据信息用向量d来表示，d和f都可看作是随机向量。信息融合的任务就是由数据d推导和估计环境f。假设p(f，d)为随机向量f和d的联合概率分布密度函数，则，则上式为概率论中的Bayes公式，是嵌入约束法的核心。信息融合通过信息融合通过数据信息数据信息d做出对环境做出对环境f的推断，即求解的推断，即求解p(f|d)。由。由Bayes公式公式知，只须知道知，只须知道p(d|f)和和p(f)即可。因为即可。因为p(d)可看作是使可看作是使p(f|d)p(f)成为概率密度函成为概率密度函数的归一化常数，数的归一化常数，p(d|f)是在已知是在已知客观环境变量客观环境变量f的情况下，传感器得到的的情况下，传感器得到的d关于关于f的条件密度。当环境情况和传感器性能已知时，的条件密度。当环境情况和传感器性能已知时，p(f|d)由决定环境和传感器原由决定环境和传感器原理的物理规律完全确定。而理的物理规律完全确定。而p(f)可通过可通过先验知识先验知识的获取和积累，逐步渐近准确的获取和积累，逐步渐近准确地得到，因此，一般总能对地得到，因此，一般总能对p(f)有较好的近似描述。有较好的近似描述。在嵌入约束法中，反映客观环境和传感器性能与原理的各种约束条件主要在嵌入约束法中，反映客观环境和传感器性能与原理的各种约束条件主要体现在体现在p(f|d)中，而反映主观经验知识的各种约束条件主要体现在中，而反映主观经验知识的各种约束条件主要体现在p(f)中。中。在传感器信息融合的实际应用过程中，通常的情况是在某一时刻从多种传在传感器信息融合的实际应用过程中，通常的情况是在某一时刻从多种传感器得到一组数据信息感器得到一组数据信息d，由这一组数据给出当前环境的一个估计，由这一组数据给出当前环境的一个估计f。因此。因此,实际实际中应用较多的方法是寻找最大后验估计中应用较多的方法是寻找最大后验估计g，即，即即最大后验估计是在即最大后验估计是在已知数据为已知数据为d的条件下，使后验概率密度的条件下，使后验概率密度p(f)取得最大值得取得最大值得点点g，根据概率论，最大后验估计，根据概率论，最大后验估计g满足满足当当p(f)为均匀分布时，最大后验估计为均匀分布时，最大后验估计g满足满足 此时，最大后验概率也称为极大似然估计。此时，最大后验概率也称为极大似然估计。当传感器组的观测坐标一致时，可以用直接法对传感器测量数据进行融合。在当传感器组的观测坐标一致时，可以用直接法对传感器测量数据进行融合。在大多数情况下，多传感器从不同的坐标框架对环境中同一物体进行描述，这时大多数情况下，多传感器从不同的坐标框架对环境中同一物体进行描述，这时传感器测量数据要以间接的方式采用传感器测量数据要以间接的方式采用Bayes估计进行数据融合。间接法要解决估计进行数据融合。间接法要解决的问题是求出与多个传感器读数相一致的旋转矩阵的问题是求出与多个传感器读数相一致的旋转矩阵R和平移矢量和平移矢量H。在传感器数据进行融合之前，必须确保测量数据代表同一实物，即要对传在传感器数据进行融合之前，必须确保测量数据代表同一实物，即要对传感器测量进行一致性检验。常用以下距离公式来判断传感器测量信息的一感器测量进行一致性检验。常用以下距离公式来判断传感器测量信息的一致：致：式中式中x1x1和和x2x2为两个传感器测量信号，为两个传感器测量信号，C C为与两个传感器相关联的方差阵，为与两个传感器相关联的方差阵，当距离当距离T T小于某个阈值时，两个传感器测量值具有一致性。这种方法的实小于某个阈值时，两个传感器测量值具有一致性。这种方法的实质是剔除处于误差状态的传感器信息而保留质是剔除处于误差状态的传感器信息而保留“一致传感器一致传感器”数据计算融合值数据计算融合值。卡尔曼滤波卡尔曼滤波(KF)(KF)用于用于实时融合动态的低层次冗余传感器数据，该方法用测量模型的，该方法用测量模型的统计特性，递推决定统计意义下最优融合数据合计。如果系统具有线性统计特性，递推决定统计意义下最优融合数据合计。如果系统具有线性动力学模型，且系统噪声和传感器噪声可用高斯分布的白噪声模型来表动力学模型，且系统噪声和传感器噪声可用高斯分布的白噪声模型来表示，示，KF为融合数据提供惟一的统计意义下的最优估计，为融合数据提供惟一的统计意义下的最优估计，KF的递推特性的递推特性使系统数据处理不需大量的数据存储和计算。使系统数据处理不需大量的数据存储和计算。KF分为分分为分散卡尔曼滤波(DKF)和和扩展卡尔曼滤波(EKF)。DKF可实现多传感器数据融合完全分散化，其可实现多传感器数据融合完全分散化，其优点：每个传感器：每个传感器节点失效不会导致整个系统失效。而节点失效不会导致整个系统失效。而EKF的的优点：可有效克服数据处理：可有效克服数据处理不稳定性或系统模型线性程度的误差对融合过程产生的影响。不稳定性或系统模型线性程度的误差对融合过程产生的影响。应用卡尔曼滤波器对应用卡尔曼滤波器对n个传感器的测量数据进行融合后，既可以个传感器的测量数据进行融合后，既可以获得系统的当前状态估计，又可以预报系统的未来状态。获得系统的当前状态估计，又可以预报系统的未来状态。应用领域：应用领域：目标识别、机器人导航、多目标跟踪、惯性导航和遥目标识别、机器人导航、多目标跟踪、惯性导航和遥感等。感等。嵌入约束法传感器信息融合的最基本方法之一。嵌入约束法传感器信息融合的最基本方法之一。其其缺点：需要对多源数据的整体物理规律有较好的了解，才能准确地：需要对多源数据的整体物理规律有较好的了解，才能准确地获得获得p(d|f)，但需要预知先验分布，但需要预知先验分布p(f)。3.多贝叶斯方法 pDurrantWhyte将任务环境表示为不确定几何物体集将任务环境表示为不确定几何物体集合的多传感器模型，提出了传感器信息融合的多贝叶斯合的多传感器模型，提出了传感器信息融合的多贝叶斯估计方法。估计方法。p多贝叶斯估计多贝叶斯估计把每个传感器作为一个贝叶斯估计，将各把每个传感器作为一个贝叶斯估计，将各单独物体的关联概率分布组合成一个联合后验概率分布单独物体的关联概率分布组合成一个联合后验概率分布函数，通过使联合分布函数的似然函数最小，可以得到函数，通过使联合分布函数的似然函数最小，可以得到多传感器信息的最终融合值。多传感器信息的最终融合值。4.统计决策理论 p与多贝叶斯估计不同，统计决策理论中的不确定性为可与多贝叶斯估计不同，统计决策理论中的不确定性为可加噪声，从而不确定性的适应范围更广。加噪声，从而不确定性的适应范围更广。p不同传感器观测到的数据必须经过一个鲁棒综合测试以不同传感器观测到的数据必须经过一个鲁棒综合测试以检验它的一致性，经过一致性检验的数据用鲁棒极值决检验它的一致性，经过一致性检验的数据用鲁棒极值决策规则融合。策规则融合。5.证据组合法p由由Dempster首先提出，由首先提出，由Shafer发展。发展。一种不精确推理理论，贝叶斯方法的扩展。一种不精确推理理论，贝叶斯方法的扩展。p贝叶斯方法必须给出先验概率，贝叶斯方法必须给出先验概率，证据理论则能够处理这种由不知道引起的不确定性。证据理论则能够处理这种由不知道引起的不确定性。p在在多多传传感感器器数数据据融融合合系系统统中中，每每个个信信息息源源提提供供了了一一组组证证据据和和命命题题，并并且且建建立立了了一一个个相相应应的的质质量量分分布布函函数数。因因此此，每每一一个个信信息息源源就就相相当当于一个证据体。于一个证据体。p在在同同一一个个鉴鉴别别框框架架下下，将将不不同同的的证证据据体体通通过过Dempster合合并并规规则则并并成成一一个个新新的的证证据据体体，并并计计算算证证据据体体的的似似真真度度，最最后后用用某某一一决决策策选选择择规则，获得最后的结果。规则，获得最后的结果。证据组合法认为完成某项智能任务是依据有关环境某方面证据组合法认为完成某项智能任务是依据有关环境某方面的信息做出几种可能的决策，而多传感器数据信息在一定程度的信息做出几种可能的决策，而多传感器数据信息在一定程度上反映环境这方面的情况。因此，分析每一数据作为支持某种上反映环境这方面的情况。因此，分析每一数据作为支持某种决策证据的支持程度，并将不同传感器数据的支持程度进行组决策证据的支持程度，并将不同传感器数据的支持程度进行组合，即证据组合，分析得出现有组合证据支持程度最大的决策合，即证据组合，分析得出现有组合证据支持程度最大的决策作为信息融合的结果。作为信息融合的结果。证据组合法是对完成某一任务的需要而处理多种传感器的证据组合法是对完成某一任务的需要而处理多种传感器的数据信息，完成某项智能任务，实际是做出某项行动决策。它数据信息，完成某项智能任务，实际是做出某项行动决策。它先对单个传感器数据信息每种可能决策的支持程度给出度量先对单个传感器数据信息每种可能决策的支持程度给出度量(即即数据信息作为证据对决策的支持程度数据信息作为证据对决策的支持程度)，再寻找一种证据组合方，再寻找一种证据组合方法或规则，在已知两个不同传感器数据法或规则，在已知两个不同传感器数据(即证据即证据)对决策的分别支对决策的分别支持程度时，通过反复运用组合规则，最终得出全体数据信息的持程度时，通过反复运用组合规则，最终得出全体数据信息的联合体对某决策总的支持程度。得到最大证据支持决策，即信联合体对某决策总的支持程度。得到最大证据支持决策，即信息融合的结果。息融合的结果。证据组合法较嵌入约束法优点：证据组合法较嵌入约束法优点：证据组合法较嵌入约束法优点：证据组合法较嵌入约束法优点：(1)(1)对多种传感器数据间的物理关系不必准确了解，即无须准确地建立对多种传感器数据间的物理关系不必准确了解，即无须准确地建立对多种传感器数据间的物理关系不必准确了解，即无须准确地建立对多种传感器数据间的物理关系不必准确了解，即无须准确地建立多种传感器数据体的模型；多种传感器数据体的模型；多种传感器数据体的模型；多种传感器数据体的模型；(2)(2)通用性好，可以建立一种独立于各类具体信息融合问题背景形式的通用性好，可以建立一种独立于各类具体信息融合问题背景形式的通用性好，可以建立一种独立于各类具体信息融合问题背景形式的通用性好，可以建立一种独立于各类具体信息融合问题背景形式的证据组合方法，有利于设计通用的信息融合软、硬件产品；证据组合方法，有利于设计通用的信息融合软、硬件产品；证据组合方法，有利于设计通用的信息融合软、硬件产品；证据组合方法，有利于设计通用的信息融合软、硬件产品；(3)(3)人为的先验知识可以视同数据信息一样，赋予对决策的支持程度，人为的先验知识可以视同数据信息一样，赋予对决策的支持程度，人为的先验知识可以视同数据信息一样，赋予对决策的支持程度，人为的先验知识可以视同数据信息一样，赋予对决策的支持程度，参与证据组合运算。参与证据组合运算。参与证据组合运算。参与证据组合运算。常用证据组合方法：常用证据组合方法：概率统计方法、概率统计方法、Dempster-Shafer证据推理证据推理利用证据组合进行数据融合的利用证据组合进行数据融合的关键关键在于：在于：u选择合适的数学方法描述选择合适的数学方法描述证据证据、决策决策和和支持程度支持程度等概念等概念u建立快速、可靠并且便于实现的通用证据组合建立快速、可靠并且便于实现的通用证据组合算法结构算法结构概率统计方法概率统计方法假设一组随机向量假设一组随机向量x1，x2，xn分别表示分别表示n个不同传感器得到的数个不同传感器得到的数据信息，根据每一个数据据信息，根据每一个数据xi可对所完成的任务做出一决策可对所完成的任务做出一决策di。xi的概的概率分布为率分布为pai(xi)，ai为该分布函数中的未知参数，若参数已知时，则为该分布函数中的未知参数，若参数已知时，则xi的概率分布就完全确定了。用非负函数的概率分布就完全确定了。用非负函数L(ai，di)表示当分布参数确定表示当分布参数确定为为ai时，第时，第i个信息源采取决策个信息源采取决策dj时所造成的损失函数。在实际问题中，时所造成的损失函数。在实际问题中，ai是未知的，因此，当得到是未知的，因此，当得到xi时，并不能直接从损失函数中定出最优时，并不能直接从损失函数中定出最优决策。决策。先由先由xi做出做出ai的一个估计，记为的一个估计，记为ai(xi)，再由损失函数，再由损失函数L ai(xi),di决定出决定出损失最小的决策。其中利用损失最小的决策。其中利用xi估计估计ai的估计量的估计量ai(xi)有很多种方法。有很多种方法。概率统计方法适用于概率统计方法适用于分布式传感器目标识别和和跟踪信息融合问题Dempster-ShaferDempster-Shafer证据推理证据推理(简称简称D-SD-S推理推理)假设假设F为所有可能证据所构成的有限集，为集合为所有可能证据所构成的有限集，为集合F中的某个元素中的某个元素即某个证据，首先引入信任函数即某个证据，首先引入信任函数B(f)0，1表示每个证据的信表示每个证据的信任程度：任程度：从上式可知，信任函数是概率概念的推广，因为从概率论的知识出发，上式应取等号。引入基础概率分配函数m(f)0，1 由基础概率分配函数定义与之相对应的信任函数：当利用当利用N个传感器检测环境个传感器检测环境M个特征时，每一个特征为个特征时，每一个特征为F中的中的个个元素。第元素。第i个传感器在第个传感器在第k-1时刻所获得的包括时刻所获得的包括k1时刻前关于第时刻前关于第j个特个特征的所有证据，用基础概率分配函数表示，其中征的所有证据，用基础概率分配函数表示，其中i=1，2，m。第。第i个传感器在第个传感器在第k时刻所获得的关于第时刻所获得的关于第j个特征的新证据用基础概率分配个特征的新证据用基础概率分配函数表示。由和可获得第函数表示。由和可获得第i个传感器在第个传感器在第k时刻关于第时刻关于第j个特征的联合证个特征的联合证据。类似地，利用证据组合算法，由和可获得在据。类似地，利用证据组合算法，由和可获得在k时刻关于第时刻关于第j个特征个特征的第的第i个传感器和第个传感器和第i+1个传感器的联合证据。如此递推下去，可获得所个传感器的联合证据。如此递推下去，可获得所有有N个传感器在个传感器在k时刻对时刻对j特征的信任函数，信任度最大的即为信息融合特征的信任函数，信任度最大的即为信息融合过程最终判定的环境特征。过程最终判定的环境特征。D-S证据推理优点：算法确定后，无论是静态还是时变的动态证据证据推理优点：算法确定后，无论是静态还是时变的动态证据组合，其具体的证据组合算法都有一共同的算法结构。但其缺点：当组合，其具体的证据组合算法都有一共同的算法结构。但其缺点：当对象或环境的识别特征数增加时，证据组合的计算量会以指数速度增对象或环境的识别特征数增加时，证据组合的计算量会以指数速度增长。长。6.模糊逻辑法 模模糊糊逻逻辑辑实实质质上上是是一一种种多多值值逻逻辑辑，在在多多传传感感器器数数据据融融合合中中，将将每每个个命命题题及及推推理理算算子子赋赋予予0到到1间间的的实实数数值值，以以表表示示其其在在登登记记处处融融合合过过程程中中的的可可信信程程度度，又又被被称称为为确确定定性性因因子子，然然后后使使用用多多值值逻逻辑辑推推理理法法，利利用用各各种种算算子子对对各各种种命命题题（即即各各传传感感源源提提供供的的信息）进行合并运算，从而实现信息的融合。信息）进行合并运算，从而实现信息的融合。7.产生式规则法 p人工智能中常用的控制方法。人工智能中常用的控制方法。p产生式规则法中的规则一般要通过对具体使用的传感器的特产生式规则法中的规则一般要通过对具体使用的传感器的特性及环境特性进行分析后归纳出来的，不具有一般性，即系统性及环境特性进行分析后归纳出来的，不具有一般性，即系统改换或增减传感器时，其规则要重新产生。改换或增减传感器时，其规则要重新产生。p特点：特点：系统扩展性较差，但推理较明了，易于系统解释，所系统扩展性较差，但推理较明了，易于系统解释，所以也有广泛的应用范围。以也有广泛的应用范围。8.人工神经网络法通过模仿人脑的结构和工作原理，设计和建立相应的机器和模型并完成通过模仿人脑的结构和工作原理，设计和建立相应的机器和模型并完成一定的一定的智能任务。神经网络根据当前系统所接收到的样本的相似性，确定分类标准。这种神经网络根据当前系统所接收到的样本的相似性，确定分类标准。这种确定方法主要表现在确定方法主要表现在网络权值分布上，同时可采用神经网络特定的分布上，同时可采用神经网络特定的学习算法来获取知识，得到不确定性推理机制。神经网络多传感器信息融合来获取知识，得到不确定性推理机制。神经网络多传感器信息融合的实现，分三个重要步骤：的实现，分三个重要步骤：n根据智能系统要求及传感器信息融合的形式，选择其拓扑结构；根据智能系统要求及传感器信息融合的形式，选择其拓扑结构；n各传感器的输入信息综合处理为一总体输入函数，并将此函数映射定各传感器的输入信息综合处理为一总体输入函数，并将此函数映射定义为相关单元的映射函数义为相关单元的映射函数,通过神经网络与环境的交互作用把环境的统计通过神经网络与环境的交互作用把环境的统计规律反映网络本身结构；规律反映网络本身结构；n对传感器输出信息进行学习、理解，确定权值的分配，完成知识获取对传感器输出信息进行学习、理解，确定权值的分配，完成知识获取信息融合，进而对输入模式做出解释，将输入数据向量转换成高层逻辑信息融合，进而对输入模式做出解释，将输入数据向量转换成高层逻辑(符号符号)概念。概念。基于神经网络的传感器信息融合特点：基于神经网络的传感器信息融合特点：u具有统一的内部知识表示形式，通过学习算法可将网络获得的传感器具有统一的内部知识表示形式，通过学习算法可将网络获得的传感器信息进行融合，获得相应网络的参数，并且可将知识规则转换成数字信息进行融合，获得相应网络的参数，并且可将知识规则转换成数字形式，便于建立知识库；形式，便于建立知识库；u利用外部环境的信息，便于实现利用外部环境的信息，便于实现知识自动获取及及并行联想推理；u能够将不确定环境的复杂关系，经过能够将不确定环境的复杂关系，经过学习推理，融合为系统能理解的，融合为系统能理解的准确信号；准确信号；u由于神经网络具有大规模并行处理信息能力，使得系统信息处理速度由于神经网络具有大规模并行处理信息能力，使得系统信息处理速度很快。很快。u神经网络的优越性和强大的非线性处理能力，能够很好的满足多传感神经网络的优越性和强大的非线性处理能力，能够很好的满足多传感器数据融合技术的要求。器数据融合技术的要求。u神经网络具有较强的容错性和自组织、自学习、自适应能力，能够实神经网络具有较强的容错性和自组织、自学习、自适应能力，能够实现复杂的映射。现复杂的映射。基于神经网络的多传感器信息融合 处理过程(l)用选定的用选定的N个传感器检测系统状态；个传感器检测系统状态；(2)采集采集N个传感器的测量信号并进行预处理；个传感器的测量信号并进行预处理；(3)对预处理后的对预处理后的N个传感器信号进行特征选择；个传感器信号进行特征选择；(4)对特征信号进行归一化处理，为神经网络的输入提供标准形式；对特征信号进行归一化处理，为神经网络的输入提供标准形式；(5)将将归归一一化化的的特特征征信信息息与与已已知知的的系系统统状状态态信信息息作作为为训训练练样样本本，送送神神经经网网络络进进行行训训练练，直直到到满满足足要要求求为为止止。该该训训练练好好的的网网络络作作为为已已知知网网络络，只只要要将将归归一一化化的的多多传传感感器器特特征征信信息息作作为为输输入入送送人人该该网络，则网络输出就是被测系统的状态。网络，则网络输出就是被测系统的状态。一一.信息融合的民事应用领域信息融合的民事应用领域u工业过程监视及工业机器人工业过程监视及工业机器人u遥感与金融系统遥感与金融系统u空中交通管制与病人照顾系统空中交通管制与病人照顾系统u船舶避碰与交通管制系统船舶避碰与交通管制系统u生物特征的身份识别生物特征的身份识别二二.信息融合技术军事上的应用信息融合技术军事上的应用u采用多传感器的自主式武器系统和自备式运载器采用多传感器的自主式武器系统和自备式运载器u情报收集系统情报收集系统u采用多传感器进行截获、跟踪和指挥制导的火控系统采用多传感器进行截获、跟踪和指挥制导的火控系统u军事力量的指挥和控制站军事力量的指挥和控制站u敌情指示和预警系统敌情指示和预警系统传感器信息融合的实例一种雷达测量的信息融合结构一种雷达测量的信息融合结构传感器故障检测系统信息融合系统结构的实例信息融合系统结构的实例局部处理器局部处理器 外部逻辑中央处理器传感器信号传感器信号先验信息修正信息先验信息修正信息控制和信息融合计算机自主移动装配机器人装配机械手力觉传感器触觉传感器视觉传感器超声波传感器激光测距传感器多传感器信息融合自主移动装配机器人机器人中的传感器信息融合机器人中的传感器信息融合多传感器在移动机器人中的应用多传感器在移动机器人中的应用外界环境外界环境视觉视觉视觉视觉超声波传感器超声波传感器红外接近觉红外接近觉立体视觉立体视觉地标识别地标识别障碍探测障碍探测目标物探测目标物探测景物识别景物识别内部传内部传感器感器融合融合力觉力觉触觉触觉环境模型环境模型定位定位避障避障操作规划操作规划学习学习路径规划路径规划任务规划：执任务规划：执行机构控制行机构控制指令指令感觉感觉功能功能海军舰船传感器信息融合系统海军舰船传感器信息融合系统行扫描行扫描处理器处理器红外探测器红外探测器 直流偏直流偏压压AGCAGC搜索器万向支架搜索器万向支架惯性导惯性导航系统航系统图像摄像机图像摄像机万向支架万向支架图像图像处理处理共享共享存储器存储器数据融合数据融合处理器处理器环境控制环境控制显示显示记录记录人机人机界面界面图像摄像机图像摄像机传感器传感器舰船上的传感器信息融合舰船上的传感器信息融合传感器信号处理ADC单片机显示翻译翻译1 Ren C.Luo,Michael G.Kay.Multisensor Integration and Fusion in Intelligent Systems.IEEE Transactions on Systems,Man,and Cybernetics,1989,19(5):901-931.2 P.K.Varshney.Multisensor Data Fusion.Electronics&Communication Engineering Journal,1997,12:245-253.3 M.Kokar,K.Kim.Review of Multisensor Data Fusion Architectures and Techniques.In:Proceedings of the 1993 International Symposium on Intelligent Control.Chicago:1993,261-266.4 Ren C.Luo.Chih-Chen Yih.Kuo Lan Su.Multisensor Fusion and Integration:Approaches,Applications,and Future Research Directions.IEEE Sensors Journal.2002,2(2):107-119.5 Dale Umbach,Kerry N.Jones.A Few Methods for Fitting Cireles to Data.IEEE Transactions on Instrumentation and Measurement,2003,52(6):1881-1885.Syllabusp传感器网络概述传感器网络概述p无线传感器网络应用无线传感器网络应用p信息融合技术信息融合技术信息获取的意义信息获取的意义p信息处理流程信息处理流程信息获取信息获取信息传递信息处理信息认知信息传递信息处理信息认知信息再生信息执行信息再生信息执行(全信息角度全信息角度)信息获取信息获取传递计算传递计算/处理智能处理智能/控制（利用角度）控制（利用角度）p信息的来源信息的来源直接信息：人获取信息是靠器官完成，获取的信息量直接信息：人获取信息是靠器官完成，获取的信息量受限受限间接信息：科学技术的发展，获取信息的渠道增多间接信息：科学技术的发展，获取信息的渠道增多n语言信息、文字信息、照像、摄像等，声光电的转换语言信息、文字信息、照像、摄像等，声光电的转换n成为信息获取的主体，如网络、电视、广播、杂志等成为信息获取的主体，如网络、电视、广播、杂志等信息获取的方式信息获取的方式p传感器感知传感器感知实现信息采集，通过网络通信的方式，将信息传递出实现信息采集，通过网络通信的方式，将信息传递出去，进而实现信息的认知与利用去，进而实现信息的认知与利用p网络信息检索网络信息检索通过搜索引擎进行操作通过搜索引擎进行操作数据采集系统数据采集系统传感器传感器信号处理信号处理ADCADC计算机计算机/单片机单片机显显示示信号处理信号处理DACDAC非非电电量量传感器介绍传感器介绍p在机电一体化系统中有各种不同的物理量在机电一体化系统中有各种不同的物理量(如位移、如位移、压力、速度等压力、速度等)需要测量与控制，如果没有传感器对需要测量与控制，如果没有传感器对原始的各种参数进行精确而可靠的检测，那么对机电原始的各种参数进行精确而可靠的检测，那么对机电产品的各种控制是无法实现的。因此能把各种不同的产品的各种控制是无法实现的。因此能把各种不同的非电量转换成电量的传感器便成为机电一体化系统中非电量转换成电量的传感器便成为机电一体化系统中不可缺少的组成部分。不可缺少的组成部分。p作为一个独立器件，传感器的发展正进入集成化、作为一个独立器件，传感器的发展正进入集成化、智能化研究阶段。把传感器件与信号处理电路集成在智能化研究阶段。把传感器件与信号处理电路集成在一个芯片上，就形成了信息型传感器；若再把微处理一个芯片上，就形成了信息型传感器；若再把微处理器集成到信息型传感器的芯片上，就是所谓的智能型器集成到信息型传感器的芯片上，就是所谓的智能型传感器。传感器。传感器的定义传感器的定义p传感器传感器传感器是一种以一定的精确度将被测量传感器是一种以一定的精确度将被测量(如位移、力、如位移、力、加速度等加速度等)转换为与之有确定对应关系的、易于精确处转换为与之有确定对应关系的、易于精确处理和测量的某种物理量理和测量的某种物理量(如电量如电量)的测量部件或装置。的测量部件或装置。传感器的组成传感器的组成p传感器由敏感元件、转换元件、电子线路等组成。传感器由敏感元件、转换元件、电子线路等组成。敏感元件：直接感受被测量、并以确定关系输出物理敏感元件：直接感受被测量、并以确定关系输出物理量。如弹性敏元件将力转换为位移或应变输出。量。如弹性敏元件将力转换为位移或应变输出。转换元件：将敏感元件输出的非电物理量转换元件：将敏感元件输出的非电物理量(如位移、应如位移、应变、光强变、光强)转换成电量参数转换成电量参数(如电阻、电感、电容如电阻、电感、电容)等。等。基本转换电路：将电路参数量转换成便于测量的电量，基本转换电路：将电路参数量转换成便于测量的电量，如电压、电流、频率等。如电压、电流、频率等。n直接转换与间接转换直接转换与间接转换敏感元件敏感元件转换元件转换元件电子线路电子线路电量电量被测量被测量传感器的分类传感器的分类p传感器的分类方法有多种传感器的分类方法有多种按被测物理量的性质分按被测物理量的性质分n位移传感器、温度传感器、压力传感器等位移传感器、温度传感器、压力传感器等按工作机理分按工作机理分n电阻式、电感式、电容式、光电式电阻式、电感式、电容式、光电式按输出信号的性质分类按输出信号的性质分类n可分为开关型可分为开关型(二值型二值型)、数字型和模拟型、数字型和模拟型按信息的传递方式按信息的传递方式n有线传感器有线传感器n无线传感器，无线传感器，研究热点研究热点传感器的分类传感器的分类传感器网络基本概念传感器网络基本概念p计算设备：越来越小型化，高效低能计算设备：越来越小型化，高效低能巨型机巨型机-小型机小型机-工作站工作站-PC-PDA-WSN节点节点-生物芯片生物芯片p网络设施：连网和数据交换需求越来强网络设施：连网和数据交换需求越来强计算设备无处不在、联网无处不在计算设备无处不在、联网无处不在;设备之间数据传输量越来越大设备之间数据传输量越来越大p信息处理：内容主导信息处理：内容主导由数据为中心由数据为中心-内容为中心内容为中心传感器网络传感器网络p一组传感器节点，自组织方式一组传感器节点，自组织方式,协作协作地感知、采集和处理感知对象的信息地感知、采集和处理感知对象的信息,并汇聚给观察者并汇聚给观察者.p造价低、能量敏感、通信能力有限、造价低、能量敏感、通信能力有限、计算能力弱、动态变化计算能力弱、动态变化Mica2dotMica2dotMica2Mica2p配置较低：如配置较低：如Mica2CPU Atmel128(8MHz,8bit)存储存储128KFlash,4KRAM,4KEEPROM通信能力通信能力:n范围范围:500feetn数据速率数据速率:38.4Kbaudp局限于标量信息局限于标量信息压力、湿度、温度、光、震动压力、湿度、温度、光、震动,等等.节点能力有限节点能力有限无线传感器网络概述无线传感器网络概述p无线网络的分类无线网络的分类WSN概述概述p无线传感器网络（无线传感器网络（wirelesssensornetwork,WSN）系统是当前在国际上备受关注的、涉及多学）系统是当前在国际上备受关注的、涉及多学科高度交叉、知识高度集成的前沿热点研究领域。它科高度交叉、知识高度集成的前沿热点研究领域。它综合了传感器技术、嵌入式计算技术、现代网络及无综合了传感器技术、嵌入式计算技术、现代网络及无线通信技术、分布式信息处理技术等。线通信技术、分布式信息处理技术等。WSN概述（续）概述（续）p无线传感器网络（无线传感器网络（wirelesssensornetwork,WSN）就是由部署在检测区域内大量的廉价卫星）就是由部署在检测区域内大量的廉价卫星传传感器感器节点组成，通过无线通信方式形成的一个多跳的节点组成，通过无线通信方式形成的一个多跳的自组织的网络系统，目的是协作地感知、采集和处理自组织的网络系统，目的是协作地感知、采集和处理网络覆盖区域中网络覆盖区域中感知感知的的对象对象信息，并发送给信息，并发送给观察者观察者。互联网和卫星任务管理节点用户汇聚节点监测区域传感器节点BACWSN概述（续）概述（续）p影响力影响力美国商业周刊和美国商业周刊和MIT技术评论在预测未来技术发展报技术评论在预测未来技术发展报告中将无线传感器网络列为告中将无线传感器网络列为21世纪最有影响的世纪最有影响的21项技项技术和改变世界的术和改变世界的10大技术之一。大技术之一。传感器网络被列为未来传感器网络被列为未来3大高科技产业一。大高科技产业一。美国的技术评论将无线传感器网络列为第一项未美国的技术评论将无线传感器网络列为第一项未来新兴技术。来新兴技术。商业周刊商业周刊预测的未来预测的未来4大新技术中，无线传感器大新技术中，无线传