多源信息融合理论与技术发展ppt课件

眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观多源信息融合多源信息融合多源信息融合1眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观目录目录一、多源信息融合的一般概念与定义一、多源信息融合的一般概念与定义 二、信息融合的社会需求二、信息融合的社会需求三、信息融合系统的模型和结构三、信息融合系统的模型和结构四、多源信息融合主要技术和方法四、多源信息融合主要技术和方法 五、发展起源、现状与未来五、发展起源、现状与未来 目录一、多源信息融合的一般概念与定义2眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观自然界异类多传感信息融合自然界异类多传感信息融合演绎活动演绎活动大脑大脑记忆记忆先验知识先验知识规则规则推理能力推理能力眼睛眼睛耳朵耳朵舌头舌头鼻子鼻子手手 自然界异类多传感信息融合演绎活动大脑记忆眼睛耳朵舌头鼻子手3眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观自然界同类多传感信息融合自然界同类多传感信息融合u左目和右目的视觉传感器分别获取二维图象信息，经大脑融合后产生立体图象信息u左耳和右耳的听觉传感器分别获取一维声音信息，经大脑融合后产生立体声音信息u大脑对图象信息和声音信息进一步融合后产生新的认知结果自然界同类多传感信息融合左目和右目的视觉传感器分别获取二维图4眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观自然界多传感信息融合的本质自然界多传感信息融合的本质自然界中人和动物感知客观对象，不是单纯依靠一种感自然界中人和动物感知客观对象，不是单纯依靠一种感官，而是多个感官的综合。人类的视觉、听觉、触觉、嗅觉官，而是多个感官的综合。人类的视觉、听觉、触觉、嗅觉和味觉，实际上是通过不同感官获取客观对象的不同信息，和味觉，实际上是通过不同感官获取客观对象的不同信息，然后由大脑对这些信息进行交融，得到一种综合的感知信息。然后由大脑对这些信息进行交融，得到一种综合的感知信息。这种把多个感官信息进行交融的过程就是多源信息融合。千这种把多个感官信息进行交融的过程就是多源信息融合。千古流传的瞎子摸象的故事，就是因为缺少视觉信息，瞎子们古流传的瞎子摸象的故事，就是因为缺少视觉信息，瞎子们的大脑对不完全信息进行融合的结果，难以避免地产生了对的大脑对不完全信息进行融合的结果，难以避免地产生了对大象认知的偏差。大象认知的偏差。自然界多传感信息融合的本质自然界中人和动物感知客观对象，不是5眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观信息融合的定义一信息融合的定义一信息融合就是由多种信息源如传感器、数据库、知识信息融合就是由多种信息源如传感器、数据库、知识库和人类本身获取有关信息，并进行滤波、相关、和集成，库和人类本身获取有关信息，并进行滤波、相关、和集成，从而形成一个表示构架，这种构架适合于获得有关决策，如从而形成一个表示构架，这种构架适合于获得有关决策，如对信息的解释，达到系统目标（例如识别、跟踪或态势评估）对信息的解释，达到系统目标（例如识别、跟踪或态势评估），传感器管理和系统控制等。（，传感器管理和系统控制等。（W.A.Sander）信息融合的定义一信息融合就是由多种信息源如传感器、数据库、知6眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观信息融合的定义二信息融合的定义二信息融合就是一个过程，处理由单个或多个信息源获信息融合就是一个过程，处理由单个或多个信息源获得的数据或信息，进行关联、相关和组合，从而提高位置和得的数据或信息，进行关联、相关和组合，从而提高位置和特性估计的精度，以及完成对态势和威胁及其重要性的适时特性估计的精度，以及完成对态势和威胁及其重要性的适时评估。这种过程是根据对估计和评估的不断精练，对增加信评估。这种过程是根据对估计和评估的不断精练，对增加信息源的评判，以及对过程本身的修正来表征的，从而达到改息源的评判，以及对过程本身的修正来表征的，从而达到改善结果的目的。善结果的目的。信息融合的定义二信息融合就是一个过程，处理由单个或多个信息源7眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观信息融合的定义三信息融合的定义三目前所研究的多传感信息融合，主要是指利用计算机进行目前所研究的多传感信息融合，主要是指利用计算机进行多源信息处理，从而得到可综合利用信息的理论和方法，其中多源信息处理，从而得到可综合利用信息的理论和方法，其中也包含对自然界人和动物大脑进行多传感信息融合机理的探索。也包含对自然界人和动物大脑进行多传感信息融合机理的探索。其关键问题，就是提出一种理论和方法，对具有相似或不同特其关键问题，就是提出一种理论和方法，对具有相似或不同特征模式的多源信息进行处理，以获得具有相关和集成特性的融征模式的多源信息进行处理，以获得具有相关和集成特性的融合信息。研究的重点是特征识别和算法，这些算法导致多传感合信息。研究的重点是特征识别和算法，这些算法导致多传感信息的互补集成，改善不确定环境中的决策过程，解决把数据信息的互补集成，改善不确定环境中的决策过程，解决把数据用于确定共用时间和空间框架的信息理论问题，同时用来解决用于确定共用时间和空间框架的信息理论问题，同时用来解决模糊的和矛盾的问题。模糊的和矛盾的问题。信息融合的定义三目前所研究的多传感信息融合，主要是指利用计算8眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观二、信息融合发展的社会需求二、信息融合发展的社会需求p 空中目标侦察与预警空中目标侦察与预警p 智能交通与智能车辆智能交通与智能车辆p目标识别与身份认证目标识别与身份认证p 机器人机器人p 图像融合与图像重构图像融合与图像重构p 智能传感与智能控制智能传感与智能控制二、信息融合发展的社会需求空中目标侦察与预警9眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观空中目标侦察与预警空中目标侦察与预警促进多传感信息融合理论发展的主要动因之一是现代战促进多传感信息融合理论发展的主要动因之一是现代战争的迫切需要。由于现代武器系统具有机动性高、隐蔽性好、争的迫切需要。由于现代武器系统具有机动性高、隐蔽性好、电子对抗性能强等特征，用于侦察和跟踪敌方目标的预警系电子对抗性能强等特征，用于侦察和跟踪敌方目标的预警系统必须采用雷达、红外、视频、音频等多传感检测，同时联统必须采用雷达、红外、视频、音频等多传感检测，同时联络各个检测点的不同数据进行融合，着重研究的问题包括可络各个检测点的不同数据进行融合，着重研究的问题包括可靠准确的目标获取、跟踪、身份识别、智能处理、后勤计划、靠准确的目标获取、跟踪、身份识别、智能处理、后勤计划、维修计划、指挥与控制等。尤其是针对敌方巡航导弹和飞机维修计划、指挥与控制等。尤其是针对敌方巡航导弹和飞机低空飞行的现代空中预警系统通常由雷达、通信、导航、指低空飞行的现代空中预警系统通常由雷达、通信、导航、指挥控制、敌我识别、数据处理和电子对抗等设备构成，具有挥控制、敌我识别、数据处理和电子对抗等设备构成，具有搜索、监视、跟踪和指挥攻击等多种功能。采用信息融合技搜索、监视、跟踪和指挥攻击等多种功能。采用信息融合技术，以达到精确目标获取、识别和跟踪的目的术，以达到精确目标获取、识别和跟踪的目的。空中目标侦察与预警促进多传感信息融合理论发展的主要动因之一是10眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观空中目标侦察与预警空中目标侦察与预警网络联系的现代战场网络联系的现代战场现代战争提供一切获现代战争提供一切获取信息的手段，包括取信息的手段，包括雷达、红外摄象机、雷达、红外摄象机、光学摄象机、通信设光学摄象机、通信设施、计算机网络等，施、计算机网络等，并对所获取的信息进并对所获取的信息进行融合，以得到最佳行融合，以得到最佳可利用信息。手持式可利用信息。手持式入网计算机是十分理入网计算机是十分理想的工具。想的工具。空中目标侦察与预警网络联系的现代战场11眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观空中目标侦察与预警空中目标侦察与预警全场景预警全场景预警美国国防部的一份研究美国国防部的一份研究报告认为，报告认为，按照现代战按照现代战争的概念，必须在战场争的概念，必须在战场上按正确时间向战士提上按正确时间向战士提供正确信息，包括各种供正确信息，包括各种传感信息和由之产生的传感信息和由之产生的融合信息。融合信息。实时图象微观气象移动目标集成信息物理模型动态数据库微型传感器无线通信下一代因特网空中目标侦察与预警全场景预警实时图象微观气象移动目标12眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观空中目标侦察与预警空中目标侦察与预警现代战争中的现代战争中的机敏传感网络机敏传感网络适应范围适应范围:城市街巷城市街巷,地铁、地铁、下水道下水道,困难的农困难的农村地域村地域,浓雾地区浓雾地区,跟踪慢目标和快跟踪慢目标和快目标目标,快速反应快速反应空中目标侦察与预警现代战争中的机敏传感网络适应范围:13眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观空中目标侦察与预警空中目标侦察与预警1-1-目标跟踪雷达目标跟踪雷达2-2-导弹导引雷达导弹导引雷达3-3-计算机计算机4-4-导弹发射架导弹发射架只有正确估计目标未来的运动轨迹，才有可能正确击中目标；只有正确估计目标未来的运动轨迹，才有可能正确击中目标；过去总是假定目标作匀速直线运动，这对于相对低机动的飞机等目标运动过去总是假定目标作匀速直线运动，这对于相对低机动的飞机等目标运动是正确的，但对于巡航导弹之类的高机动运动目标，这一假设将完全无效；是正确的，但对于巡航导弹之类的高机动运动目标，这一假设将完全无效；目标的运动方程一般太目标的运动方程一般太复杂（用上百个状态变复杂（用上百个状态变量的非线性微分方程描量的非线性微分方程描述），而目标的控制行述），而目标的控制行为不确定，估计难度极为不确定，估计难度极大；大；双方可能有对抗行为，双方可能有对抗行为，相互规避；相互规避；现代战争的群攻群防改现代战争的群攻群防改变了战场以往作战的模变了战场以往作战的模式，使得多目标运动状式，使得多目标运动状态估计成为新的问题。态估计成为新的问题。目标跟踪目标跟踪空中目标侦察与预警1-目标跟踪雷达2-导弹导引雷达3-计算机14眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观空中目标侦察与预警空中目标侦察与预警空中拦截是现代空中拦截是现代战争的又一特点，战争的又一特点，其关键技术是对其关键技术是对敌方目标运动轨敌方目标运动轨迹的精确估计，迹的精确估计，其次才是精确控其次才是精确控制我方攻击武器制我方攻击武器的运动过程，达的运动过程，达到拦截的目的；到拦截的目的；由于敌方目标运动的高速和高度机动性，空中拦截无异于由于敌方目标运动的高速和高度机动性，空中拦截无异于“针尖对麦芒针尖对麦芒”；对于洲际导弹而言，对敌方目标的搜索、发现、识别和跟踪对于洲际导弹而言，对敌方目标的搜索、发现、识别和跟踪具有更大的困难；具有更大的困难；电子对抗的强干扰，使得目标的发现和跟踪变得更加复杂。电子对抗的强干扰，使得目标的发现和跟踪变得更加复杂。空中目标拦截空中目标拦截空中目标侦察与预警空中拦截是现代战争的又一特点，其关键技术是15眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观智能交通与智能车辆智能交通与智能车辆车辆自动导航车辆自动导航促进信息融合理论发展的另一个重要因素是现代民促进信息融合理论发展的另一个重要因素是现代民用高科技发展的需求。繁忙复杂的现代城市交通和用高科技发展的需求。繁忙复杂的现代城市交通和快速便捷的高速公路，以及未来将要出现的自动车快速便捷的高速公路，以及未来将要出现的自动车辆系统（辆系统（AVS），均要求建立智能交通系统），均要求建立智能交通系统（ATS）进行智能监测和控制，同样要求对车辆运）进行智能监测和控制，同样要求对车辆运行进行交通监视和跟踪，更需要多传感信息融合。行进行交通监视和跟踪，更需要多传感信息融合。未来自动车辆系统异类传感器包括视频传感器、激未来自动车辆系统异类传感器包括视频传感器、激光扫描仪和雷达传感器等，融合的目的在于把目标光扫描仪和雷达传感器等，融合的目的在于把目标输入到路径规划与制导系统中去。输入到路径规划与制导系统中去。智能交通与智能车辆车辆自动导航16眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观智能交通与智能车辆智能交通与智能车辆日本的车辆驾驶支持系统日本的车辆驾驶支持系统智能交通与智能车辆日本的车辆驾驶支持系统17眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观智能交通与智能车辆智能交通与智能车辆智能交通系统中的多传感智能交通系统中的多传感智能交通与智能车辆智能交通系统中的多传感18眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观智能交通与智能车辆智能交通与智能车辆未来的智能交通系统未来的智能交通系统智能交通与智能车辆未来的智能交通系统19眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观智能交通与智能车辆智能交通与智能车辆DEMO 无人驾无人驾驶车辆驶车辆的多传感信的多传感信息融合，传感器包息融合，传感器包括：括：p声音传感器声音传感器p立体摄像机立体摄像机p彩色彩色CCD摄像机摄像机p背部摄像机背部摄像机p激光雷达激光雷达p检测雷达检测雷达智能交通与智能车辆DEMO无人驾驶车辆的多传感信息融合，20眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观智能交通与智能车辆智能交通与智能车辆自动车辆自动车辆前激光扫描仪前激光扫描仪三光束激光扫描仪三光束激光扫描仪车辆制导系统的信息融合车辆制导系统的信息融合智能交通与智能车辆自动车辆前激光扫描仪三光束激光扫描仪车辆制21眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观智能交通与智能车辆智能交通与智能车辆碰撞报警与规避系统碰撞报警与规避系统该系统的多传感包括：该系统的多传感包括：l计算机视觉计算机视觉l声纳声纳IR扫描仪扫描仪l多多CPU网络网络l音频与视频监测报警音频与视频监测报警器器l节流变形与制动冲击节流变形与制动冲击 l激光雷达与激光雷达与MMW雷雷达达智能交通与智能车辆碰撞报警与规避系统该系统的多传感包括：22眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观目标识别与身份认证目标识别与身份认证现代战争还要求现代战争还要求空中侦察与预警系空中侦察与预警系统能对敌方目标进统能对敌方目标进行识别，以便有针行识别，以便有针对性进行攻防；而对性进行攻防；而现代身份认证系统现代身份认证系统也要求能对人或物也要求能对人或物进行识别和辨认。进行识别和辨认。这些都需要多传感这些都需要多传感信息融合技术的支信息融合技术的支持。持。目标识别与身份认证现代战争还要求空中侦察与预警系统能对敌方目23眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观目标识别与身份认证目标识别与身份认证谱图谱图音频传感音频传感地震传感地震传感热像传感热像传感目标目标视频传感视频传感运动目标识别的多传感信息融合运动目标识别的多传感信息融合目标识别与身份认证谱图音频传感地震传感热像传感目标视频传感24眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观目标识别与身份认证目标识别与身份认证面部认证面部认证声音认证声音认证一般用户界面一般用户界面超级用户访问界面超级用户访问界面身份认证的多源信息融合身份认证的多源信息融合目标识别与身份认证面部认证声音认证一般用户界面超级用户访问界25眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观目标识别与身份认证目标识别与身份认证利用面部识别利用面部识别(面部面部)、语音上下文无关、语音上下文无关(语音语音TI)和语音上下文相关和语音上下文相关(语音语音TD)的几种信息源进行融合的结果比较的几种信息源进行融合的结果比较融合模式融合模式错误接受率错误接受率(%)错误拒绝率错误拒绝率(%)面部面部7.767.25语音语音TI1.605.00语音语音TD0.01.48面部面部,语音语音TI1.180.0面部面部,语音语音TD1.180.0语音语音TI,语音语音TD0.380.5面部面部,语音语音TI,语音语音TD0.780.0身份认证融合结果比较身份认证融合结果比较目标识别与身份认证利用面部识别(面部)、语音上下文无关26眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观目标识别与身份认证目标识别与身份认证音频音频特征特征视频视频特征特征 决策决策 逻辑逻辑 决策决策 逻辑逻辑 融合融合 决策逻辑决策逻辑 认证认证音频模型音频模型视频模型视频模型基于音频和视频信息融合的身份识别基于音频和视频信息融合的身份识别目标识别与身份认证音频视频决策决策融合27眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观机器人机器人机器人作为人类机器人作为人类20世世纪最伟大的发明之一，在短纪最伟大的发明之一，在短短的短的40年内发生了日新月异年内发生了日新月异的变化。机器人已经不仅成的变化。机器人已经不仅成为先进制造业不可缺少的自为先进制造业不可缺少的自动化装备，而且正以惊人的动化装备，而且正以惊人的速度向海洋、航空、航天、速度向海洋、航空、航天、军事、农业、服务、娱乐等军事、农业、服务、娱乐等各个领域渗透。信息融合是各个领域渗透。信息融合是机器人的现代支撑技术之一，机器人的现代支撑技术之一，它为多传感器的综合利用提它为多传感器的综合利用提供了最有效的技术手段。供了最有效的技术手段。火星探测器上的机器人火星探测器上的机器人“漫游者漫游者”机器人机器人作为人类20世纪最伟大的发明之一28眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观机器人机器人军用机器人战车军用机器人战车搬运和装配工业机器人搬运和装配工业机器人机器人军用机器人战车搬运和装配工业机器人29眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观机器人机器人智能机器人智能机器人智能移动机器人是高级机器人。智能移动机器人是高级机器人。智能移动机器人集人工智能、智智能移动机器人集人工智能、智能控制、信息处理、图像处理、能控制、信息处理、图像处理、检测与转换、信息融合等技术为检测与转换、信息融合等技术为一体，跨计算机、自动控制、机一体，跨计算机、自动控制、机械、电子等多学科，成为当前机械、电子等多学科，成为当前机器人研究的热点之一。智能移动器人研究的热点之一。智能移动机器人可分为室外和室内两种。机器人可分为室外和室内两种。室外智能移动机器人又称自主陆室外智能移动机器人又称自主陆地车辆或无人驾驶车辆。地车辆或无人驾驶车辆。多传感信息融合是智能多传感信息融合是智能移动机器人的关键技术之一移动机器人的关键技术之一。图10.4.7AIBO宠物机器人焊焊接接智智能能机机器器人人宠物智能机器人宠物智能机器人机器人图10.4.7AIBO宠物机器人焊接30眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观机器人机器人智能机器人涉及控制工程、计算机、人工智能、传感、新材料、仿生技智能机器人涉及控制工程、计算机、人工智能、传感、新材料、仿生技术等多种学科，主要研究分支有拟人智能技术，未知环境信息获取、理解和术等多种学科，主要研究分支有拟人智能技术，未知环境信息获取、理解和控制的新机制理论，复杂环境中的机器人自主工作新方法，人机接口，机器控制的新机制理论，复杂环境中的机器人自主工作新方法，人机接口，机器人的智能体系结构、多传感器机器人系统、装配机器人、微操作机器人、微人的智能体系结构、多传感器机器人系统、装配机器人、微操作机器人、微机器人，基于网络的机器人遥操作系统等。机器人，基于网络的机器人遥操作系统等。智能机器人智能机器人机器人智能机器人涉及控制工程、计算机、人工智能、传感、新材料31眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观机器人机器人利用高速视利用高速视觉反馈的抓觉反馈的抓取机器人取机器人机器人利用高速视觉反馈的抓取机器人32眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观图像融合与图像重构图像融合与图像重构由原始图像得到更多的图像信息。图像融合是由原始图像得到更多的图像信息。图像融合是遥感地遥感地理分布资源信息提炼、理分布资源信息提炼、战场可视化、预警系统、战场可视化、预警系统、医学三维医学三维图像重构图像重构、机器人视觉等领域非常需要的先进技术、机器人视觉等领域非常需要的先进技术，是一，是一个很有发展前景的方向。个很有发展前景的方向。图像融合在机器视觉监视系统中的应用图像融合在机器视觉监视系统中的应用（a a）可见光图像）可见光图像（b b）热红外图像）热红外图像（c c）融合图像）融合图像图像融合与图像重构由原始图像得到更多的图像信息。图像融合是遥33眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观图像融合与图像重构图像融合与图像重构Reference:S.B.Serpico and F.Roli,“Classification of multisensor remote-sensing images by structured neural networks”,IEEE Trans.Geosci.Remote Sensing,vol.33,pp.562-578,May 1995.使用和不使用多传感信息融合使用和不使用多传感信息融合得到的分类结果比较得到的分类结果比较光学数据集光学数据集(ATM传感器传感器)SAR 数据集数据集传感器传感器总精度（总精度（%）SAR74.0ATM80.0SAR+ATM 89.8图像融合例图像融合例1图像融合与图像重构Reference:S.B.Ser34眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观图像融合与图像重构图像融合与图像重构SAR 图像图像(1994年年4月月)光学与光学与 SAR 图像图像 (1994年年5月月)使用和不使用多时段信息融合使用和不使用多时段信息融合得到的分类平均精度比较得到的分类平均精度比较%Reference:L.Bruzzone,D.F.Prieto and S.B.Serpico,“A neural-statistical approach to multitemporal and multisource remote-sensing image classification”,IEEE Trans.Geosci.Remote Sensing,vol.37,pp.1350-1359,May 1999.有融合有融合 无融合无融合4月图像月图像75.16 92.165月图像月图像89.58 89.43图像融合例图像融合例2图像融合与图像重构SAR图像(1994年4月)光学与S35眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观食道壁超声食道壁超声成象信息融合，成象信息融合，即利用超声传感即利用超声传感形成二维图象，形成二维图象，然后利用融合技然后利用融合技术使之进行三维术使之进行三维重构食道图象，重构食道图象，为医疗诊断和治为医疗诊断和治疗提供了重要技疗提供了重要技术手段术手段图像融合与图像重构图像融合与图像重构三维重构食道图象三维重构食道图象(a)健康切片健康切片 (b)切片轮廓切片轮廓线线(a)非健康切片非健康切片 (b)切片轮廓切片轮廓线线融合融合系统结构图系统结构图 信息获取并进行融合信息获取并进行融合医学图像重构医学图像重构食道壁超声成象信息融合，即利用超声传感形成二维图36眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观三、信息融合系统的模型和结构三、信息融合系统的模型和结构p融合系统模式融合系统模式p 推断技术的递阶结构推断技术的递阶结构p 融合系统的分类融合系统的分类p 集中式融合系统结构集中式融合系统结构p 自主式融合系统结构自主式融合系统结构p 混合式融合系统结构混合式融合系统结构三、信息融合系统的模型和结构融合系统模式37眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观源信息预处理信息源局部信息分布信息国家信息INTEL EW SONAR RADAR.DATA BASES第一级处理 目标识别态势评估 冲突评价过程优化 人机接口信息融合模式 数据库管理系统支持数据库用户融合系统模式融合系统模式融合数据库第二级处理第三级处理第四级处理源信息预处理信息源局部信息分布信息国家信息INTELEW38眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观推断技术的递阶结构推断技术的递阶结构推断类型推断类型应用技术应用技术-威胁分析威胁分析-态势评估态势评估-实体的行为与关系实体的行为与关系-一个实体的身份一个实体的身份,特征与位置特征与位置-一个实体的存在与可量测特征一个实体的存在与可量测特征高高低低-基于知识的技术基于知识的技术 -决策层次的技术决策层次的技术-估计技术估计技术-信号处理技术信号处理技术-专家系统-脚本,框架,模版-基于案例的推理-一般算法-等.-神经网络-集群算法-模糊逻辑-Bayes网络-后验概率最大化(如Kalman滤波,Bayes方法),-证据推理推断层次推断技术的递阶结构推断类型应用技术-威胁分析-态势评估-39眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观融合系统的分类融合系统的分类数据（像素）级融合数据（像素）级融合特征级融合特征级融合决策级融合决策级融合以身份识别系统为例，说以身份识别系统为例，说明不同类别的融合系统。明不同类别的融合系统。融合系统的分类数据（像素）级融合特征级融合决策级融合40眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观集中式融合系统结构集中式融合系统结构在集中式系统结构中，各个传感器录取的检测报告在集中式系统结构中，各个传感器录取的检测报告直接被送到融合中心，在那里进行数据对准，点迹相关，直接被送到融合中心，在那里进行数据对准，点迹相关，数据关联，航迹滤波、预测与综合跟踪。数据关联，航迹滤波、预测与综合跟踪。集中式融合系统结构在集中式系统结构中，各个传感41眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观分布式融合系统结构分布式融合系统结构分布式结构中每个传感器先进行数据处理分布式结构中每个传感器先进行数据处理产生局部航迹，然后把处理后的信息送至融合产生局部航迹，然后把处理后的信息送至融合中心完成航迹关联和融合，形成全局估计。中心完成航迹关联和融合，形成全局估计。分布式融合系统结构分布式结构中每个传感器先进42眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观混合式融合系统结构混合式融合系统结构混合式同时传输探混合式同时传输探测报告和经过局部节点测报告和经过局部节点处理后的航迹信息，它处理后的航迹信息，它保留了上述两类系统的保留了上述两类系统的优点。优点。混合式融合系统结构混合式同时传输探测报告和经过43眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观四、多源信息融合主要技术和方法四、多源信息融合主要技术和方法u信息融合的研究范围信息融合的研究范围u信息融合的主要方法信息融合的主要方法u多源信息融合的主要理论基础多源信息融合的主要理论基础四、多源信息融合主要技术和方法信息融合的研究范围44眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观信息融合的研究范围信息融合的研究范围感知与感觉感知与感觉：把多个感官信息进行交融的过程。：把多个感官信息进行交融的过程。决策决策：包括特征识别和算法，导致多源信息的互补集成，改：包括特征识别和算法，导致多源信息的互补集成，改善不确定环境中的决策过程。善不确定环境中的决策过程。逻辑与推理逻辑与推理：归纳是一个典型的多源信息融合过程。：归纳是一个典型的多源信息融合过程。学习学习：由多个数据或案例中提取模型、模式或关系等，能够：由多个数据或案例中提取模型、模式或关系等，能够用于模式识别、数据挖掘、知识发现等方面。用于模式识别、数据挖掘、知识发现等方面。统计统计：统计学的精髓在于为了某种目的进行数据约简。：统计学的精髓在于为了某种目的进行数据约简。信号与图像处理信号与图像处理：利用多源数据进行信号的检测与估计，包：利用多源数据进行信号的检测与估计，包括图像重构。括图像重构。分布式网络分布式网络：网络中不同层次的融合中心就是对来自网络各：网络中不同层次的融合中心就是对来自网络各个结点的信息进行融合。个结点的信息进行融合。多传感器系统多传感器系统：利用多种传感器采集各种信息，包括同类信：利用多种传感器采集各种信息，包括同类信息和异类信息，并利用计算机对多传感信息进行有效处理，息和异类信息，并利用计算机对多传感信息进行有效处理，以达到某种目的。以达到某种目的。信息融合的研究范围感知与感觉：把多个感官信息进行交融的过程。45眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观信息融合的主要方法信息融合的主要方法信号处理与估计理论方法信号处理与估计理论方法：包括小波变换技术、加权平均、：包括小波变换技术、加权平均、最小二乘、最小二乘、Kalman滤波等线性估计技术，以及扩展滤波等线性估计技术，以及扩展Kalman滤波，滤波，Gauss和滤波等非线性估计技术等。近年来主要研究和滤波等非线性估计技术等。近年来主要研究UKF滤波，粒子滤波，以及期望极大化（滤波，粒子滤波，以及期望极大化（EM）算法等。）算法等。统计推断方法统计推断方法：包括经典推理、：包括经典推理、Bayes推理、证据推理，以及推理、证据推理，以及随机集理论、支持向量机理论等。随机集理论、支持向量机理论等。信息论方法信息论方法：运用优化信息度量的手段融合多源数据，从而：运用优化信息度量的手段融合多源数据，从而获得问题的有效解决。典型算法有熵方法、最小描述长度方获得问题的有效解决。典型算法有熵方法、最小描述长度方法等。法等。决策论方法决策论方法：往往应用于高级别的决策融合。：往往应用于高级别的决策融合。人工智能方法人工智能方法：包括模糊逻辑、神经网络、遗传算法、基于：包括模糊逻辑、神经网络、遗传算法、基于规则的推理以及专家系统、规则的推理以及专家系统、逻辑模板法、品质因数法等。逻辑模板法、品质因数法等。几何方法几何方法：通过充分探讨环境以及传感器模型的几何属性来：通过充分探讨环境以及传感器模型的几何属性来达到多传感信息融合的目的。达到多传感信息融合的目的。信息融合的主要方法信号处理与估计理论方法：包括小波变换技术、46眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观多源信息融合的主要理论基础多源信息融合的主要理论基础信号处理与估计理论信号处理与估计理论：包括：包括不确定、不精确、含糊的数学分不确定、不精确、含糊的数学分支，如概率论、模糊数学、随机集理论、粗糙集理论等；支，如概率论、模糊数学、随机集理论、粗糙集理论等；统计学统计学：包括：包括统计推断和决策理论等统计推断和决策理论等；各种逻辑、推理和证据理论各种逻辑、推理和证据理论：包括证据推理、条件事件代数、：包括证据推理、条件事件代数、不确定性推理、可能性理论，以及近似推理等；不确定性推理、可能性理论，以及近似推理等；认知科学与脑科学认知科学与脑科学：包括认知理论与脑科学等；：包括认知理论与脑科学等；学习理论学习理论：包括统计学习和机器学习等；：包括统计学习和机器学习等；计算机科学计算机科学：包括人工智能和数据库等；：包括人工智能和数据库等；工程工程：特别是机器人、信号与图像处理、传感器和网络等：特别是机器人、信号与图像处理、传感器和网络等；其它其它：如信息论、控制论与系统论、神经元网络等。：如信息论、控制论与系统论、神经元网络等。多源信息融合的主要理论基础信号处理与估计理论：包括不确定、47眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观五、发展起源、现状与未来五、发展起源、现状与未来n发展起源发展起源n现状与未来现状与未来n关键的问题关键的问题n现有的统计推断方法及其缺陷现有的统计推断方法及其缺陷n新的解决思路与发展概况新的解决思路与发展概况五、发展起源、现状与未来发展起源48眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观发展起源发展起源20世纪世纪70年代，美国的研究机构通过对多个独立的连续声纳信号进行融合年代，美国的研究机构通过对多个独立的连续声纳信号进行融合处理，自动检测出敌方潜艇的位置。处理，自动检测出敌方潜艇的位置。1985年，美国三军组织年，美国三军组织实验室理事联合会（实验室理事联合会（JDL）下设的技术委员会成）下设的技术委员会成立了信息融合专家组（立了信息融合专家组（DFS），专门组织和指导相关技术的研究，为统一），专门组织和指导相关技术的研究，为统一数据融合的定义、建立信息融合的公共参考框架做了大量卓有成效的工作。数据融合的定义、建立信息融合的公共参考框架做了大量卓有成效的工作。美国美国1988年起把信息融合列为重点研究和开发的年起把信息融合列为重点研究和开发的20项关键技术之一，且列项关键技术之一，且列为最优先发展的为最优先发展的A类。类。1998年成立的国际信息融合学会（年成立的国际信息融合学会（International Society of Information Fusion，ISIF），总部设在美国，每年都举办一次信息融合国际学术大会，），总部设在美国，每年都举办一次信息融合国际学术大会，系统总结该领域的阶段性研究成果以及介绍该领域最新的进展。系统总结该领域的阶段性研究成果以及介绍该领域最新的进展。20世纪世纪80年代末，国内才开始出现有关多传感信息融合技术的研究报道。年代末，国内才开始出现有关多传感信息融合技术的研究报道。在政府、军方，以及基金机构的资助下，许多高校和科研院所开始着手从在政府、军方，以及基金机构的资助下，许多高校和科研院所开始着手从事这一领域的研究工作事这一领域的研究工作发展起源20世纪70年代，美国的研究机构通过对多个独立的连续49眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观现状与未来现状与未来我国出现了一批专著和译著，如敬忠良的神经网络技术与应用、周宏我国出现了一批专著和译著，如敬忠良的神经网络技术与应用、周宏仁等人的机动目标跟踪、康耀红等人的数据融合理论与应用、刘仁等人的机动目标跟踪、康耀红等人的数据融合理论与应用、刘同明等人的数据融合技术及应用、何友等人的多传感器信息融合及同明等人的数据融合技术及应用、何友等人的多传感器信息融合及应用，以及赵宗贵等人的多传感信息融合、数据融合方法概论应用，以及赵宗贵等人的多传感信息融合、数据融合方法概论等。我们出版了多源信息融合专著。等。我们出版了多源信息融合专著。随着新型传感器的不断涌现，以及现代信号处理技术、计算机技术、网络随着新型传感器的不断涌现，以及现代信号处理技术、计算机技术、网络通讯技术、人工智能技术、并行计算的软件和硬件技术等相关技术的飞速通讯技术、人工智能技术、并行计算的软件和硬件技术等相关技术的飞速发展，多传感信息融合将成为我国未来大量军用和民用高科技系统的重要发展，多传感信息融合将成为我国未来大量军用和民用高科技系统的重要技术手段。技术手段。发展和完善信息融合的基础理论是未来的方向。发展和完善信息融合的基础理论是未来的方向。改进融合算法以提高系统性能是整个研究的核心。改进融合算法以提高系统性能是整个研究的核心。建立测试平台，使信息融合算法和实用化。建立测试平台，使信息融合算法和实用化。建立评价机制，对信息融合系统进行综合分析和评价，以衡量融合算法的建立评价机制，对信息融合系统进行综合分析和评价，以衡量融合算法的性能，也是亟待解决的问题。性能，也是亟待解决的问题。现状与未来我国出现了一批专著和译著，如敬忠良的神经网络技术50眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观附录：选举问题附录：选举问题计分策略：计分策略：得票最多者获胜得票最多者获胜1（每人只能投一张票）（每人只能投一张票）得票最多者获胜得票最多者获胜2（每人能投多张票）（每人能投多张票）次轮决定（第一轮取前次轮决定（第一轮取前2名，重新投票）名，重新投票）加权决定（每人将加权决定（每人将m个候选人排序，排名第一权重为个候选人排序，排名第一权重为m-1，第二为，第二为m-2，)两两比较两两比较败者出局败者出局附录：选举问题计分策略：51眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观例一：例一：2000年奥运会举办城市选举年奥运会举办城市选举第第1轮轮第第2轮轮第三轮第三轮第四轮第四轮北京北京32374043柏林柏林9900伊斯坦布伊斯坦布尔尔7000曼彻斯特曼彻斯特1113130悉尼悉尼30303745败者出局策略：败者出局策略：例一：2000年奥运会举办城市选举第1轮第2轮第三轮第四轮北52眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观例二：人人都可以获胜例二：人人都可以获胜 得票多获胜（单选），得票多获胜（单选），A胜出胜出 次轮决定，次轮决定，B胜出胜出 败者出局，败者出局，C胜出胜出 加权决定，加权决定，D胜出胜出 两两对决，两两对决，E胜出胜出选举者个数选举者个数选择次序选择次序2491012181EEDCBA2CBCBED3DDEEDE4BCBDCC5AAAAAB例二：人人都可以获胜得票多获胜（单选），A胜出选举者个数选53眼睛是心灵的窗户，是人体中最宝贵的感觉器官，可很多孩子对眼睛的重要性不重视。在每学期的视力测查中情况都不容乐观谢谢！多源信息融合理论与技术发展ppt课件54