智能-感知课件

第二章智能感知2.1智能感知简述2.2多传感器数据融合2.3网络化智能协作感知2.4智能感知应用高级人工智能人才培养丛书之一of311习题第二章智能感知2.1智能感知简述2.2多传感器数据融合2.1智能感知简述第二章智能感知of312传感器国家标准GB/T7665-2005对传感器的定义是：能够感受规定的被测量并按照一定规律转换成可用输出信号的器件或装置，通常由敏感元件、转换元件和调节转换电路组成。2.1.1传感器与智能传感器智能传感器它集感知、信息处理与通信于一体；能提供以数字量方式传播具有一定知识级别的信息，是传感器集成化与微处理机相结合的产物。归纳诸多学者的观点，它可以定义为基于人工智能理论，利用微处理器实现智能处理功能的传感器。火灾传感器温湿度智能传感器1.概念2.1智能感知简述第二章智能感知of312传感器国家标2.1智能感知简述第二章智能感知32.智能传感器的功能及应用发展智能传感器的主要智能处理功能如下：（1）自补偿功能（2）自计算和处理功能（3）自学习与自适应功能（4）自诊断功能（5）其它的常用功能包括用于数据交换通信接口功能,数字和模拟输出功能及使用备用电源的断电保护功能等。自动驾驶车辆上，至少安装了三套传感器系统：摄像头、雷达和激光雷达，传感器数量多达上千个，这样才能采集到车辆行驶过程中周遭的环境信息，完成智能行驶。Google无人驾驶汽车2.1智能感知简述第二章智能感知32.智能传感器的功能及应2.1智能感知简述第二章智能感知4感知是人类认识自然世界，掌握自然规律的实践途径之一，人类具备视觉、听觉、嗅觉、触觉等感知能力，能够将看到的、听到的、闻到的以及触摸到的外界信息传入大脑进行处理，通过这种方式来认知世界。装载了智能传感器的机器能够通过各种智能感知能力与自然界进行交互。2.1.2感知智能自动驾驶汽车通过激光雷达等感知设备和人工智能算法，实现这样的感知智能的智能路灯通过感知智能可实现根据移动物体的位置远近调节灯光亮度。“大狗”机器人（BigDog）内部安装的各种传感器不仅可让它根据环境的变化调整行进姿态，还能够保障操作人员实时地跟踪“大狗”的位置并监测其系统状况。“大狗”机器人（BigDog）2.1智能感知简述第二章智能感知42.1.2感知智能自2.1智能感知简述第二章智能感知5智能感知系统是对物质世界的信息进行测量与控制的基础手段和设备。测试技术中的传感器、信号采集系统就是完成信息获取的具体器件。一般而言，智能感知系统由传感器、中间变换装置和显示记录存储装置三部分组成。2.1.3智能感知系统智能感知系统的组成2.1智能感知简述第二章智能感知5智能感知系统是对物质世界第二章智能感知2.1智能感知简述2.3网络化智能协作感知2.4智能感知应用高级人工智能人才培养丛书之一of316习题2.2多传感器数据融合第二章智能感知2.1智能感知简述2.3网络化智能协作感2.2多传感器数据融合第二章智能感知7像人的大脑综合处理信息的过程一样，感知系统综合来自分布在不同位置的各种传感器实时采集的局部、分离、不完整的观察量，通过智能计算方法，提取有效特征信息，最终产生对观测场景的相对完整一致性的解释。在这个过程中要充分利用多源数据进行合理支配与使用，这不仅利用了多个传感器相互协同操作的优势，而且也综合处理了其它信息源的数据来提高整个感知系统的智能化。2.2.1数据融合的概念通过综合不同时间与空间的多传感器观察量，利用其互补、冗余性克服单个传感器的不确定性和局限性，以形成对被测对象的相对完整一致的解释与描述，提高测量的精度和可靠性，从而提高智能系统识别、判断、决策、规划和反应的快速性和准确性。2.2多传感器数据融合第二章智能感知7像人的大脑综合处理信2.2多传感器数据融合第二章智能感知8数据融合过程（1）融合要处理的是复杂的、多源、多维和全时空信息。（2）数据融合的对象不仅包括多传感器得到的数据（自然环境信息），还包括社会信息，融合需要对感知系统动态过程中的所有信息进行有效综合。（3）互补包括信息表达方式、结构、功能等各种不同层次上的互补，通过关联、分类、估值、预测等算法对信息进行互补运算，在不同层次上使信息越来越清晰，越来越丰富，完成信息的再生和升华，达到最优。2.2多传感器数据融合第二章智能感知8数据融合过程（1）融2.2多传感器数据融合第二章智能感知92.2.2数据融合的目标、原理与层次目标数据融合的目的就是通过多传感器进行协作测量并进一步融合数据，全面了解被测对象以获得对其的一致性最优估值和辨识。原理N个不同类型的传感器采集被测目标的观察量，经过特征提取变换处理，得到观察量对应的特征矢量。接着对特征矢量进行模式识别处理得到各传感器关于被测目标的描述说明；然后将这些描述说明数据按同一个被测目标进行分组，最后利用融合方法将每一被测目标述说明数据进行合成，得到该目标的一致性解释描述。数据融合原理示意图2.2多传感器数据融合第二章智能感知92.2.2数据融合的2.2多传感器数据融合第二章智能感知102.2.2数据融合的目标、原理与层次层次数据融合按其在融合系统中信息处理的抽象程度，主要划分为三个层次：数据级融合、特征级融合和决策级融合。（1）数据级融合：也称像素级融合，是对传感器的直接观测数据的融合，然后从融合的数据中提取特征矢量并进行判断识别。（2）特征级融合：特征级融合属于中间层次，先从每种传感器提供的原始观测数据中提取有代表性的特征，这些特征融合成单一的特征矢量，然后运用模式识别的方法进行处理作为进一步决策的依据。（3）决策级融合：决策级融合属于高层次的融合，首先每个传感器执行一个对目标的识别决策，然后将来自每个传感器的识别结果进行融合，按照一定的准则作出最优决策。2.2多传感器数据融合第二章智能感知102.2.2 数据融合2.2多传感器数据融合第二章智能感知112.2.3数据融合方法利用多个传感器所获取的关于被测对象和环境全面、完整的信息，主要体现在融合方法上。因此，多传感器系统的核心问题是选择合适的数据融合方法。数据融合常用方法2.2多传感器数据融合第二章智能感知112.2.3 数据融合2.2多传感器数据融合第二章智能感知121.统计方法基于统计学的算法主要运用传统概率统计方法，利用概率分布或者密度函数来描述数据的不确定性。数据融合的目的是从大量冗余、精准性不高的数据中提取所需的特征。（1）Bayes估计（2）最大似然估计（3）卡尔曼滤波（4）D-S证据理论2.信息论方法（1）聚类分析（2）表决法（3）神经网络（4）熵法3.认知模型方法（1）模糊逻辑（2）知识系统（3）逻辑模板2.2多传感器数据融合第二章智能感知121.统计方法（1）第二章智能感知2.1智能感知简述2.2多传感器数据融合2.4智能感知应用高级人工智能人才培养丛书之一of3113习题2.3网络化智能协作感知第二章智能感知2.1智能感知简述2.2多传感器数据融合2.3网络化智能协作感知第二章智能感知141.定义2.3.1传感网络与WSN传感网络由一组空间上散布的集成有传感器、数据处理单元和通信单元的传感节点组成，用于收集所处环境的信息，然后根据融合后的信息对环境进行适当反馈。无线传感网络（WirelessSensorNetwork，简称WSN）。大规模、无线、自组织、多跳、无分区、无基础设施支持的网络。WSN就是由部署在监测区域内大量的廉价微型传感器节点组成，通过无线通信方式形成的一个多跳的自组织网络系统，其目的是协作地感知、采集和处理网络覆盖区域中被感知对象的信息，并发送给观察者。传感器、感知对象和观察者构成了无线传感网络的三个基本要素。2.3网络化智能协作感知第二章智能感知141.定义2.32.3网络化智能协作感知第二章智能感知152.体系结构无线传感网络的体系结构参考了互联网的TCP/IP和OSI/RM的架构。从下至上分别为物理层、数据链路层、网络层、传输层和应用层。此外每层又包含了无线传感网络特有的电源管理、移动管理和任务管理模块。无线传感网络协议体系结构2.3网络化智能协作感知第二章智能感知152.体系结构无2.3网络化智能协作感知第二章智能感知163.数据传输技术无线传感网络的数据传输常采用各种短距离无线通信技术，如ZigBee、Bluetooth、Wi-Fi等。（1）ZigBee（2）6LoWPAN（3）Bluetooth（4）Wi-Fi（5）其他技术与标准2.3网络化智能协作感知第二章智能感知163.数据传输技2.3网络化智能协作感知第二章智能感知174.主要用途无线传感网络应用系统中大量采用具有智能感测和无线传输的微型传感器，它们侦测周围环境，如温度、湿度、压力、光照、气体浓度，电磁辐射、震动强度等物理信息，并由无线网络将收集到的信息传送给监控者。无线传感网络已经成为军事侦测、建筑监测、环境保护、工业控制、交通管理、医疗监护、智能家居等应用中的重要技术手段。2.3网络化智能协作感知第二章智能感知174.主要用途2.3网络化智能协作感知第二章智能感知181.传感网络协作测量由于不同性质、不同类型的感知信息形式内容不统一，传感器采样和量化方式不同造成的信息精度差异，以及传感器知域局限性使得获取信息不全面和具有时空相关性等问题，导致了原始感知数据具有不确定性和高度冗余性。这就需要研究网络化信息协作感知的有效方法。2.3.2协作感知传感网络协作测量涉及到很多方面，如传感网络布置、网络通信、数据融合等。近些年，随着传感网络技术的发展进步降低了传感节点的造价，使得布置大量传感节点以数量换取质量成为可能。如何有效地利用大量节点之间对感知数据的协同处理和控制来完成感知任务是无线传感网络的关键问题，传感节点连接的拓扑结构，网络通信延迟和能耗以及信息融合算法的设计都是需要考虑的。2.3网络化智能协作感知第二章智能感知181.传感网络协2.3网络化智能协作感知第二章智能感知192.协作式信号处理协作信号处理通过协调不同节点的测量、传输时序,根据网络资源分布和测量目标，由传感节点自主协作，降低能耗满足高精度测量需求，实现无线传感网络信息融合。能耗、通信带宽和计算能力是传感网络协作测量感知的三大约束条件，协作式信号处理方法必须同时考虑各传感节点的通信负担、计算能力和剩余能量，使数据融合过程在满足一定精度要求的前提下，实现通信和计算能耗的最小化。2.3网络化智能协作感知第二章智能感知192.协作式信号第二章智能感知2.1智能感知简述2.2多传感器数据融合2.3网络化智能协作感知高级人工智能人才培养丛书之一of3120习题2.4智能感知应用第二章智能感知2.1智能感知简述2.2多传感器数据融合2.4智能感知应用第二章智能感知212.4.1视觉感知人类和高等动物都能通过视觉、触觉、听觉、味觉、嗅觉等丰富的感觉器官来感受外界刺激，获取环境信息。智能系统同样可以通过各种传感器来感知周围的环境信息，目前主流的智能感知应用包括视觉感知、听觉感知、触觉感知和一些其他感知等。视觉传感器以图像的形式呈现环境信息，一般是将监测环境中的景物的光信号转换成电信号。目前，用于图像采集的常见视觉传感器包括红外热像仪、可见光摄像机、TOF（Timeofflight）深度摄像机以及近红外摄像机几类。2.4智能感知应用第二章智能感知212.4.1 视觉感知视2.4智能感知应用第二章智能感知221智能车视觉感知应用智能车视觉感知系统主要检测行驶过程中遇到的人、车、路信息，下面就以交通标志检测为例，说明智能车视觉感知系统如何工作的。1）色彩分割；2）形状检测和象形识别2消防机器人视觉感知应用消防机器人主要采用可见光摄像机和/或红外热像仪构建视觉系统采集环境信息。常见的消防机器人视觉系统主要有单目视觉系统和立体视觉系统两大类型。3空间机械臂在轨作业视觉感知应用随着机器人、遥操作等技术的不断发展，以空间机械臂代替航天员进行空间在轨服务已成为一种必然趋势。视觉作为空间机械臂的“眼睛”在在轨服务操作中具有举足轻重的地位。2.4智能感知应用第二章智能感知2212消防机器人视觉感2.4智能感知应用第二章智能感知23对接环抓捕工具机械臂作业概念图OHB公司的空间机械臂视觉系统机械臂末端结构2.4智能感知应用第二章智能感知23对接环抓捕工具机械臂2.4智能感知应用第二章智能感知242.4.2听觉感知听觉是人类和智能系统识别周围环境很重要的感知能力，尽管听觉定位精度比视觉定为精度低很多，但是听觉有很多其它感官无可比拟的优势。比如，听觉定位是全向性的，传感器阵列可以接受空间中的任何方向的声音。智能系统依靠听觉可以工作在黑暗环境或者光线很暗的环境中进行声源定位和语音识别，这是依靠视觉不能实现的。2.4智能感知应用第二章智能感知242.4.2听觉感知2.4智能感知应用第二章智能感知25水下目标自动识别无人平台应用水下目标自动识别一直是各国海军优先和重点发展的技术。截至目前的科学研究和实践表明，声波是水介质中所有信息载体中传播损失最小的，因而采用声呐作为水下远程目标探测最有效的工具。声呐接收的水下信号是发声体和所处介质共同作用后产生的目标辐射噪声，通过特征提取、特征选择和分类器处理从而实现水下目标的准确辨识。无人平台是一种面向信息化作战的集感知、控制和智能决策于一体，能够自主驾驶的智能平台。无人车、无人机间的很多交互信息是基于声音的，如枪声炮声的识别定位，语音指令，环境声音等，感知周围这些基于声音的交互信息，并做出正确的智能决策对无人车辆而言至关重要。听觉感知包括声学事件检测和特定语义下的音频场景识别。声学事件检测是通过采集设备拾取声音信号，经分析处理后获得其发生的开始时间、持续时间、场景类别等信息，并将其转化为相应的事件符号来表示，从而达到仿真人耳听觉感知能力的目的。2.4智能感知应用第二章智能感知25水下目标自动识别无人2.4智能感知应用第二章智能感知262.4.3触觉感知触觉是智能系统获取环境信息的一种仅次于视觉的重要知觉形式，是实现与环境直接作用的必需媒介。与视觉不同，触觉本身有很强的敏感能力可直接测量对象和环境的多种性质特征，因此触觉不仅仅只是视觉的一种补充。触觉的主要任务是为获取对象与环境信息和为完成某种作业任务而对智能系统与对象、环境相互作用时的一系列物理特征量进行检测或感知。2.4智能感知应用第二章智能感知262.4.3触觉感知2.4智能感知应用第二章智能感知271.视障产品应用触觉感知技术应用于视障产品中能给视障群体带来实实在在的便利。如带有漂浮杠杆提示水位的水杯，当杯内水位到达一定程度时，杠杆的杯外部分会触及到握住把手的大拇指，从而让人获知“现在杯内的水已经足够了”。盲人手杖设计中增加了手部触感的反馈，使用者通过手指触感的变化来获取周围环境信息。还有盲人专用导航鞋，鞋内置蓝牙、GPS模块以及小型震动装置，在行走过程中，鞋子前后左右4个震动器会通过震动指示方向。盲人防溢出水杯智能盲人手杖盲人专用导航鞋2.4智能感知应用第二章智能感知271.视障产品应用盲人2.4智能感知应用第二章智能感知282.假手产品应用假手是一类典型的人机交互设备，对于辅助手臂截肢患者恢复手部功能有着重要的作用。现代智能假手除了在外观上装饰残疾人缺失的肢体以外，还可通过肌电控制及其力触觉感知反馈机制实现其运动和感知能力。智能肌电假手左图所示的是全国第十二届“挑战杯”的优秀作品“具有力触觉的新型人机交感智能肌电假手”。本产品可安装于残疾人剩余手臂，将两个肌电电极贴放在残肢上，通过肌电电极采集残肢体表信号，控制假手的张合。2.4智能感知应用第二章智能感知282.假手产品应用智能2.4智能感知应用第二章智能感知293.博物馆虚拟体验应用虚拟现实技术虽然已经能够在博物馆中建立惟妙惟肖的三维视觉环境，但仍不能满足观众日益高涨的互动体验需求。观众渴望能在看到藏品的同时，还能够触摸藏品，感知藏品的软硬、纹理、粗糙度和柔韧性等其他非视觉信息。触觉对于虚拟现实技术中临场感程度和交互性具有十分重要的现实意义。触觉感知数字图像系统左图所示是我国国家863计划，由浙江理工大学联合杭州师范大学和上海尚特文化传播有限公司，创新研发的具有完全独立自主知识产权的触觉感知数字图像系统。让用户不仅可以看到数字图像，更能“触手可及”。2.4智能感知应用第二章智能感知293.博物馆虚拟体验应习题：1什么是传感器和智能传感器？2简述智能传感器的主要智能处理功能。3什么是感知智能？4简述数据融合的概念。5简述数据融合的三个层次。6数据融合有几大类，分别有些什么方法？7什么是无线传感网络？8无线传感网络的数据通信技术有哪些？9视觉传感器主要有哪些？10盲人防溢出水杯利用了哪种智能感知技术，简述其原理。习题：1什么是传感器和智能传感器？感谢聆听感谢聆听