基于机器视觉三维重建与虚拟现实的机器人实时在线远程编程与控制课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,基于机器视觉三维重建与虚拟,现实,的机器人,实时在线远程编程与控制,互联网,智能制造,+,2,问题分析,解决方案,3,总 结,4,系统概述,1,C,目 录,ontents,2,问题分析,解决方案,3,总 结,4,系统概述,1,系统概述,1,C,目 录,ontents,3,系统概述,01,背景介绍,简要描述,4,背景介绍,工,业4.0将信息化推向智能化,选题方向：互联网,+,智能制,造,5,简要描述,Unity,虚拟现实,（实,现物联网,应,用,APP,）,kinect,（数据采,集,发,送形成大数据源）,2G、3G、ZIGBEE 等无线或有线网络 （形成,物联网,，云,计算中心）,6,三维重建,互联网,虚拟现实,运,用机器视觉将工厂现场三维重建，工程师用虚拟现实设备通过互联网对重建场景中机器人进行实时编程和控制。,2,问题分析,解决方案,3,总 结,4,系统概述,1,C,目 录,ontents,2,问题分析,7,问题分析,02,全球化趋势,工业现场,现场调试带来的问题,需求分析,8,全球化趋势,全球化带来的线下矛盾，互联网是解决矛盾的关键,9,工业现场,现场调试,客户培训,现场维修,10,现场,调试带来的,问题,旅途时间耽搁,员工食宿开支,差旅补贴开支,提高服务成本,员工人身安全,11,需求分析,2024/10/3,如何让现场工程师不出公司,就如同亲,临现,场般地进行远,程操控？,12,2,问题分析,解决方案,3,总 结,4,系统概述,1,C,目 录,ontents,解决方案,3,13,解决方案,03,三维重建,虚拟现实,机器人远程控制和示教编程,14,Kinect,三维重建,Unity,3D,虚拟现实,远程控制,Oculus Rift,15,三维重建,激光扫描？,昂贵,实时性差,机器视觉？,廉价,实时,性好,16,三维重建,A,. 机器视觉,17,精度低,机器视觉摄像机,借鉴,方案,工业级高精度,彩色摄像机,红外线发射器,红外线摄像,机,三维重建,B,.,Kinect,18,现场网络,情况多变,减小传输,数据量,三维重建,19,如何保证实时性？,第,1,步：初始化，生成场景三维模型，并全部传输,三维重建,C,. 具体实现,20,三维重建,利,用,Kinect Fusion,项目，借助两组摄像机组就可以对一定范围内的物体进行实时三维表面模型重建。,21,第,2,步：识别出活动部件，简化成骨骼，只传递骨骼运动数据,三维重建,C,. 具体实现,22,三维重建,Kinect,和,Unity3D,结合交互进行开发,23,24,三维重建,A. 工业虚拟现,实技术,虚拟设计,虚拟装配,数字工厂,虚拟现实,25,虚拟现实再现场景,B.,Unity3D,用,Unity,轻松,构建,VR,虚拟现实,26,操作机器人,操作无人机,第一视角操控感受,虚拟现实,C. Oculus Rift,27,D,.,具体实现,虚拟现实,用,Unity3D,引擎构建,Oculus Rift,虚拟现实场景,，,开发,接收机器人点云数据并实,时显示的,上位机软件。,28,局部放大,眼球追踪,距离测量,虚拟现实,E.,虚拟现实辅助应用,29,机器人远程控制和示教编程,远,程控,制网络,30,2,问题分析,解决方案,3,总 结,4,系统概述,1,C,目 录,ontents,总 结,4,31,总 结,04,结论,创新,点,不足,32,结 论,利用,Kinect Fusion,项目,，进行,现场场景三维重建,，,并,将重建后得到的三维模型通过互联网传输,至位于,办公室的,计算机。,NO.1,33,结 论,识别,出其中能进行相对运动的物体，比如机器人各个关节，传送带上运动的工件等，简化生成三维活动骨骼的形式，并将骨骼与远端办公室计算机中对应的三维模型进行匹配,绑定。,NO.,2,34,结 论,现场,摄像机采集到的实时图像数据，均转化成三维活动骨骼的运动数据之后，再通过互联网实时传送至远端办公室,计算机。,NO.,3,35,结 论,将,骨骼运动数据导入到基于,Unity,开发的软件平台生成实时虚拟现实场景，并传输至,Oculus Rift,头戴式显示器中显示,出来。,NO.4,36,结 论,工程师,戴上,Oculus Rift,，在虚拟现实场景中进行机器人示教编程和控制，控制信号通过网络实时传输至现场的机器人。,NO.5,37,创新,点,节省现场工程师出差费用以及路上花费的时间,实时再现远方工厂的虚拟现实场景，让人如同亲临现,场一般,网络,传输数据量小，延迟低,减少机器人的调试时间,38,不 足,尚需自行开发和测试,系统,需要较强的抗干扰能力,现场需要预先布置摄像机和计算机,摄像机,每次更换地点需要重新标定,39,