多传感器数据融合技术课件

,单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,多 传 感 器数 据 融 合 技 术,引言,基本原理、融合过程及关键技术,数据融合系统的结构及功能模型,数据融合方法,应用,研究方向和存在问题,1,多 传 感 器数 据 融 合 技 术引言1,1,、引 言,1.1,国内外研究现状,数据融合从,20,世纪,70,年代末被提出， “数据融合”出现于,20,世纪,70,年代，源于军事领域的,C3I( command,，,control,，,communication and intelligence),系统的需要，当时称为多源相关、多传感器混合数据融合，并于,80,年代建立其技术。 美国是数据融合技术起步最早的国家，,1983,年，美国国防高级研究计划局,(DARPA),推出的战略计算机计划中，将多传感器数据融合列为重大研究课题。,1984,年，美国国防部,(DOD),成立了数据融合专家组,(DFSData Fusion Subana1),，负责指导、组织并协调有关这一国防关键技术的系统研究，,1988,年又将其列入国防部,22,项关键技术之一。,2,1、引 言1.1国内外研究现状2,同时其它西方发达国家和国际组织,(,如英、日、德、法及欧共体等,),也积极开展了数据融合技术研究工作。,1986,年开始，每年,IEEE,主办的,“,机器人与自动化,”,(Robotics and Automation),学术会议上都有专门关于数据融合的专题。 各种学术刊物也纷纷开辟专栏和出版专集，交流和探讨数据融合的有关问题。,1987,年欧洲共同体开始为期,5,年的,SKIDS,( Signal and Knowledge Integration with Decisional Control for Multisensory System),计划，主要目标是研究多传感器数据融合的通用结构及实时信息融合技术等。,1998,年成立了国际信息融合学会,( ISIF),，每年举行一次信息融合国际学术会议。促进了信息融合技术的交流与发展，相继取得了一些有重要影响的研究成果。,3,同时其它西方发达国家和国际组织(如英、日、,和国外相比，我国在数据融合领域的研究起步较晚。,1991,年海湾战争结束以后，数据融合技术引起国内有关单位和专家的高度重视。 一些高校和科研院所相继对数据融合的理论、系统框架和融合算法开展了大量研究，但基本上处于理论研究的层次上，在工程化、实用化方面尚未取得有成效的突破，有许多关键技术问题尚待解决，在工程应用领域，需要开发出有重要应用价值的实用系统。 近年来数据融合技术已形成研究热点，国家自然科学基金和国家,863,计划已将其列入重点支持项目。,4,和国外相比，我国在数据融合领域的研究起步较,1.2,定义,数据融合，是多元信息综合处理的一项新技术,它有多种译名,如多传感器相关、多源相关、多传感器融合、信息融合等。,数据融合比较确切的定义可概括为,:,充分利用不同的时间和空间的多传感器信息资源,采用计算机技术对按时序获得的多传感器观测信息在一定的准则下加以自动分析、综合、支配和使用,获得被测对象的一致性解释与描述,以完成所需的决策和估计任务,使系统获得比它的各个组成部分更优越的性能。,5,1.2 定义5,1.3,内容,数据关联,:,确定从多传感器来的数据是否反映同一个目标。,多传感器,ID/,轨迹估计,:,假设从多源来的报告反映的是同一目标,对这些数据进行综合以改进对该目标的估计,或是改进对整个当前,/,未来情况的估计。,采集管理,:,给定传感器环境的一种认识状态,通过分配多个信息捕获和处理源,以最大限度地发挥其性能,从而使其操作成本降到最低。,简言之,传感器的数据融合功能主要包括,多传感器的目标探测、数据关联、跟踪与识别、情况评估和预测,。,6,1.3 内容6,1.4,特点,生存能力强；,扩展了空间覆盖范围；,扩展了时间的覆盖范围；,提高了可信度；,降低了信息的模糊度；,改进了探测性能；,提高了空间分辨率；,增加了测量维数；,7,1.4 特点7,2,、基本原理、融合过程及关键技术,2.1,基本原理,多传感器数据融合就像人脑综合处理信息一样,其基本原理就是充分利用多传感器资源，通过对这些传感器及观测信息的合理支配和使用，把多传感器在空间或时间上的冗余或互补信息依据某种准则进行组合，以获得被测对象的一致性解释或描述。,数据融合的目的是通过数据信息组合而不是出现在输入数据中的任何个别信息，推导出更多的信息，得到最佳协同作用的结果。也就是利用多个传感器共同或联合操作的优势，提高传感器系统的有效性，消除单个或少量传感器的局限性。,在多传感器数据融合系统中，各种传感器的数据可以具有不同的特征，可能是实时的或非实时的、模糊的或确定的、互相支持的或互补的，也可能是互相矛盾或竞争的。,8,2、基本原理、融合过程及关键技术2.1 基本原理8,2.2,融合过程,数据融合过程主要包括多传感器,(,信号获取,),、数据预处理、数据融合中心,(,特征提取、数据融合计算,),和结果输出等环节,其过程如下图 所示。,9,2.2 融合过程9,2.3,关键技术,数据融合的关键技术主要是数据转换、数据相关、态势数据库和融合计算等,其中,融合计算,是多传感器数据融合系统的核心技术。,对多传感器的相关观测结果进行验证、分析、补充、取舍、修改和状态跟踪估计。,对新发现的不相关观测结果进行分析和综合。,生成综合态势,并实时地根据多传感器观测结果通过数据融合计算,对综合态势进行修改。,10,2.3 关键技术10,3,、数据融合系统的结构及功能模型,3.1,结构,11,3、数据融合系统的结构及功能模型3.1 结构11,12,12,3.2,功能模型,13,3.2 功能模型13,4,、数据融合方法,表,1,各种融合方法的比较,融合方法,运行环境,信息类型,信息表示,不确定性,融合技术,适用范围,加权平均,动态,冗余,原始读数值,加权平均,低层数据融合,卡尔曼滤波,动态,冗余,概率分布,高斯噪声,系统模型滤波,低层数据融合,贝叶斯估计,静态,冗余,概率分布,高斯噪声,贝叶斯估计,高层数据融合,统计决策理论,静态,冗余,概率分布,累加噪声,极值决策,高层数据融合,证据推理,静态,冗余互补,命题,逻辑推理,高层数据融合,模糊推理,静态,冗余互补,命题,隶属度,逻辑推理,高层数据融合,神经元网络,动、静态,冗余互补,神经元输入,学习误差,神经元网络,低,P,高层,产生式规则,静态,冗余互补,命题,置信因子,逻辑推理,高层数据融合,14,4、数据融合方法表1 各种融合方法的比较融合方法运行环境信息,4.1,综合平均法,该方法是把来自多个传感器的众多数据进行综合平均。它适宜于用同样的传感器检测同一个检测目标。如果对一个检测目标进行了,k,次检测,其平均值,W,i,为分配给第,i,次检测的权数。,15,4.1 综合平均法15,4.2,贝叶斯估计法,贝叶斯推理技术主要用来进行决策层融合，它是通过先验信息和样本信息合成为后验分布，对检测目标作出推断。,16,4.2 贝叶斯估计法16,4.2 D-S (Dempster-Shafer),证据推理法,是贝叶斯推理的扩充,其,3,个基本要点是,:,基本概率赋值函数,m,i,、信任函数,Bel,i,和似然函数,Pls,i,。,D-S,方法的推理结构是自下而上的,分,3,级,推理结构如图,5,所示,17,4.2 D-S (Dempster-Shafer) 证据推理,4.3,模糊逻辑法,针对数据融合中所检测的目标特征具有某种模糊性的现象,有人利用模糊逻辑方法来对检测目标进行识别和分类。建立标准检测目标和待识别检测目标的模糊子集是此方法的研究基础。但模糊子集的建立,需要有各种各样的标准检测目标,同时又必须建立合适的隶属函数。而确定隶属函数比较麻烦,目前还没有规范的方法可遵循。又由于标准检测目标子集的建立受到各种条件的限制,往往误差较大。,18,4.3 模糊逻辑法18,4.4,神经网络方法,一个人工神经网络,(AN),由多层处理单元或节点组成,可以用各种方法互联，图,6,表示一个具有,3,层节点的,AN ,输入向量是与目标有关的测量参数集,输入的数据向量经过,AN,非线性变换,得到一个输出向量,输出向量可能是目标身份。,这样一种变换能够产生从数据到标识分类的映射,也就把多传感器的数据变换为一个实体的联合标识,这是一种特有的并行学习方式,完全不同于传统的基于统计理论的数据融合法。,19,4.4 神经网络方法19,20,20,5,、应 用,应用领域：随着多传感器数据融合技术的发展,应用的领域也在不断扩大,多传感器融合技术已成功地应用于众多的研究领域。,5.1,、,C,3,I,5.2,、飞行目标跟踪,5.3,、机器人,5.4,、星球车,5.5,、工业过程监控,5.6,、遥感图像融合处理,5.7,、公共安全,5.8,、环境污染监测,5.9,、智能交通,5.10,、 无人驾驶汽车,5.11,、农业,5.12,、物联网,21,5、应 用应用领域：随着多传感器数据融合技术的发展, 应用,22,22,5.1,、多传感器数据融合技术,在“,C,3,I”,系统中的应用,“,C,3,I”,就是指挥自动化技术系统，是用电子计算机将指挥（,command,） 、控制（,control,） 、通信（,communication,）和情报,（,intelligence,）,各分系统紧密联在一起的综合系统。,23,5.1、多传感器数据融合技术23,24,24,25,25,预处理器 ：对同类传感器的数据进行融合；,时间和空间配准：为多传感器提供统一参照；,信息融合处理器：将测量参数进行合并，提高目标的分类及态势估计的准确性；,态势数据库：存储实时或历史态势数据；,控制计算机：对目标分类、进行态势估计，并对信息源的使用进行协调；,显示与控制：显示融合与评估的结果。,26,预处理器 ：对同类传感器的数据进行融合；26,5.2,、,飞行目标跟踪,27,5.2、飞行目标跟踪27,虚拟战场,科索沃虚拟战场,战场,监测,士兵机器人,28,虚拟战场科索沃虚拟战场战场监测28,惯性导航,惯性导航系统是利用,惯性元件,来感测航行体的运动加速度，经过积分计算，从而解算出导航参数来确定航行体的位置。惯性导航系统可以连续给出载体的,航向、姿态、速度、位置,等导航参数。具有隐蔽性好、抗干扰性强、能全天候工作等优点，但其导航需要一段对准时间，存在,“,漂移,”,现象，误差随时间积累，长时间工作会产生较大的积累误差,星图导航,天文导航系统的航向精度在现有导航设备中是最高的，可为武器系统提供精确的位置、航向和姿态信息,29,惯性导航29,5.3,机器人,传感器包括：摄像机、声纳、陀螺仪、激光测距等,pioneer,、月球车、六足机器人（俄罗斯）、火星探测车、制造业机器人、服务机器人、导游机器人、机械手、,Robotcup,、路径规划,30,5.3 机器人传感器包括：摄像机、声纳、陀螺仪、激光测距等p,机器人舞蹈,qiro,机器人,20,个机器人,Nao,在上海世博会法国馆完美演出了长达,10,分钟的全自主集体舞蹈表演，创造了类人机器人历史性一幕，这也是世界上第一次大规模机器人同时跳,“,集体舞,”,。机器人,Nao,的表演分三个音乐片段，其中包括法国作曲家莫里斯拉威尔的著名交响作品,Bolero,，完美展示了,Nao,完成稳定、灵活并有节奏的动作的能力。这也是机器人史上第一次在艺术领域达到饱含情感并与观众产生共鸣的高度。由类人机器人领域的世界顶尖公司,Aldebaran Robotics,研发,31,机器人舞蹈qiro机器人20个机器人Nao在上海世博会法国馆,5.4,、星球车,勇气号火星车,好奇号火星车,32,5.4、星球车勇气号火星车好奇号火星车32,5.5,、工业过程监控,识别引起系统状况超出正常运行范围的故障条件触发报警器,石油勘探,火力发电（发电机组监控）,转炉炼钢（温度和含碳量）,核反应堆,33,5.5、工业过程监控识别引起系统状况超出正常运行范围的故障条,5.6,、遥感图像融合处理,主要对地面目标或实体进行监视、识别与定位，使用的传感器主要为合成孔径雷达，在多源图像进行融合时，要利用像素级配准,通过,高空间分辨率全色图像,和低光谱分辨率图像的融合，得到高空间分辨率和高光谱分辨率的图像，融合多波段和多时段的遥感图像来提高分类的准确性。,采用合成孔径雷达、卫星遥感等对地面进行监视，以识别地貌、气象模式、矿产、植物生长（农作物种植面积和产量预测）、环境条件（省气象局,-,火灾）和威胁状况（原油泄漏、辐射泄漏等）对物理现象、事件进行定位、识别和解释。,34,5.6、遥感图像融合处理主要对地面目标或实体进行监视、识别与,35,35,5.7,、公共安全,毒品检测,气敏、红外、微波,火灾监测,烟雾传感器、二氧化碳传感器,瓦斯监测,远程医疗,X,射线、核磁共振、超声波肿瘤定位,智能材料,飞机机翼（有限元分析表面应力计算）,微机械手（压电陶瓷制备温度发生形变：温度控制）,刹车系统,36,5.7、公共安全毒品检测36,5.8,、环境污染监测,环境污染现状,大气污染监测,环境水污染监测,检测指标,水质建模、水质综合评判,汽车尾气排放检测,37,5.8、环境污染监测环境污染现状37,38,38,5.9,、智能交通,空中交通：空中交通管制系统,在雷达网的监视、引导和管理下进行工作，多雷达融合，通过二次雷达识别各种类型的飞机、确定民航机航班号、飞行状态，且与一次雷达进行配对,导航设备：,监视和控制设备：修正航线偏离、防止飞机相撞，并调度飞机流量；,通信设备、调度人员,城市交通：摄像、航拍、地感线圈、微波、雷达、地磁传感器、视频、,FCD,轨道交通,39,5.9、智能交通空中交通：空中交通管制系统39,40,40,车路协同,车路协同系统,主要,包含智能车辆、车车通信（,Vehicle to Vehicle, V2V,）、车路通信（,Vehicle to Infrastructure, V2I,）、车路协同控制和微观仿真等，它显著提高道路基础设施的使用效率道路，大大降低交通事故、延误和环境污染,CVIS,展望图,41,车路协同车路协同系统主要包含智能车辆、车车通信（Vehicl,42,42,5.10,、 无人驾驶汽车,法国公司,INRIA,花费十年心血，于,2009,年,5,月研制出无人驾驶汽车,Cycab,自动驾驶（,GPS,定位误差小于,1,米）,德国大众,中国自主车大赛,43,5.10、 无人驾驶汽车法国公司INRIA花费十年心血，于2,44,44,通过惯性传感器、数字地图和差分全球定位系统， 确定汽车行使的地理位置和方向。通过立体图像传感器辨识、跟踪汽车行使路面边缘以及路面的几何形状。通过激光探测器和雷达，完成汽车行驶过程中路况和前方障碍物等信息的检测。将各个传感器输出的信号通过卡尔曼滤波进行数据融合，识别汽车行驶路面情况，通过控制机构实现汽车无人驾驶。,45,通过惯性传感器、数字地图和差分全球定位系统， 确,国防科技大学自主研制的红旗,HQ3,无人车,7,月,14,日首次完成了从长沙到武汉,286,公里的高速全程无人驾驶实验，创造了我国自主研制的无人车在复杂交通状况下自主驾驶的新纪录，标志着我国无人车在复杂环境识别、智能行为决策和控制等方面实现了新的技术突破，达到世界先进水平,实验中，无人车自主超车,67,次，途遇复杂天气，部分路段有雾，在咸宁还遭逢降雨,一辆高速行驶的汽车上，,“,司机,”,不扶方向盘还不时扭头跟车上其他人聊天，全然不看前方的路,当这样一辆车从你身边驶过，你肯定会大吃一惊，不敢相信自己眼睛。然而，这一幕,7,月,14,日从长沙到武汉的高速公路上已经真实上演,46,国防科技大学自主研制的红旗HQ3无人车7月14日首次完成了从,47,47,5.11,、农业,食品检测,农作物农药残留量检测,酶抑制法通过光谱分析确定有害物质,水产养殖,分拣系统,48,5.11、农业食品检测48,精准农业,无土栽培,49,精准农业无土栽培49,5.11,、物联网,物联网（,The internet of things,）,物联网是新一代信息技术的重要组成部分,是物物相连的互联网，其含义包括：,1.,物联网的核心和基础仍然是互联网，是,在互联网基础上的延伸和扩展,的网络,2.,其用户端延伸和扩展到了,任何物品与物品之间,，进行信息交换和通信,物联网的定义,是通过射频识别（,RFID,）、红外感应器、,GPS,、激光扫描器等信息传感设备，按约定的协议，把任何物品与互联网相连接，进行信息交换和通信，以实现对物品的智能化识别、定位、跟踪、监控和管理的一种网络,信息融合是物联网的核心技术,50,5.11、物联网物联网（The internet of th,体系结构,51,体系结构51,信息融合是物联网的核心技术之一,52,信息融合是物联网的核心技术之一52,6,、研究方向和存在问题,6.1,研究方向,建立同类型信息融合的数值处理方法和不同类型信息融合的符号处理方法基础理论。,兼有稳健性和准确性的融合算法和模型的研究。,研究数据融合用的数据库和知识库,高速并行检索和推理机制。,开发推理系统,尤其是不确定性推理,以进行融合过程中的状态估计和决策分析。,研究数据融合的分布式数据处理体系结构。,把处理算法分解成适于在并行机上实现的并行处理。,将神经网络用于探测跟踪、分类和估计等问题。,数据融合系统的工程化设计方法和系统评估方法。,53,6、研究方向和存在问题6.1 研究方向53,6.2,存在的问题, 未形成基本的理论框架和有效广义模型及算,法。, 关联的二义性是数据融合中的主要障碍。, 融合系统的容错性或稳健性没有得到很好的,解决。, 对数据融合的具体方法的研究尚处于初步阶,段。, 数据融合系统的设计还存在许多实际问题。,54,6.2 存在的问题54,