机器视觉实验报告.doc

机器视觉实验报告 目录一 实验名称2二 试验设备2三 实验目的2四 实验内容及工作原理2（一）kinect for windows2（二）手持式自定位三维激光扫描仪3（三）柔性三坐标测量仪9（四）双面结构光10总结与展望 14参考文献 16机器视觉实验报告1、 实验名称对kinect for windows、三维激光扫描仪、柔性三坐标测量仪和双面结构光等设备结构功能的认识。2、 实验设备kinect for windows、三维激光扫描仪、柔性三坐标测量仪、双面结构光。3、 实验目的让同学们对机器视觉平时所使用的仪器设备以及机器视觉在实际运用中的具体实现过程有一定的了解。熟悉各种设备的结构功能和操作方法，以便于进行二次开发。其次，深化同学们对机器视觉系统的认识，拓宽同学们的知识面，以便于同学们后续的学习。4、 实验内容及工作原理(一) kinect for windows1. Kinect简介Kinectfor Xbox 360，简称 Kinect，是由微软开发，应用于Xbox 360 主机的周边设备。它让玩家不需要手持或踩踏控制器，而是使用语音指令或手势来操作 Xbox360 的系统界面。它也能捕捉玩家全身上下的动作，用身体来进行游戏，带给玩家“免控制器的游戏与娱乐体验”。 2012年2月1日，微软正式发布面向Windows系统的Kinect版本“Kinect for Windows”。2. 硬件组成Kinect有三个镜头1，如图1-1所示。中间的镜头是 RGB 彩色摄影机，用来采集彩色图像。左右两边镜头则分别为红外线发射器和红外线CMOS 摄影机所构成的3D结构光深度感应器，用来采集深度数据（场景中物体到摄像头的距离）。彩色摄像头最大支持1280*960分辨率成像，红外摄像头最大支持640*480成像。Kinect还搭配了追焦技术，底座马达会随着对焦物体移动跟着转动。Kinect也内建阵列式麦克风，由四个麦克风同时收音，比对后消除杂音，并通过其采集声音进行语音识别和声源定位23。图1-13. Kinect应用开发汇总1) 虚拟应用Kinect试衣镜，这款基于kinect体感技术的神奇的试衣镜，让客户可以快速的试穿衣服，提高销售效率和企业形象。2) 3D建模3D摄像机，用两个KINECT实现3D摄像机的基本效果。雕塑工具，立等可取Kinect成街头快速人像雕塑工具，利用Kinect对人体进行3D建模，然后根据人体的3D信息，连接相应的塑模设备，塑造出人体塑像。3) 机械控制用Kinect 操控遥控直升机。Kinect Robo，使用Kinect作为机器人的头，通过kinect检测周围环境，并进行3D建模，来指导机器人的行动。4) 虚拟娱乐Kinect破解“初音”，将体感控制应用到漫画人物初音上。Kinect破解玩光剑，Kinect检测玩家的动作，虚拟出光剑的影像，与之随动。5) 计算机相关应用Kinect手势操作浏览器，通过Kinect手势对浏览器进行翻页，下拉，放缩等操作。6) 虚拟实验Kinect蜡笔物理，使用Kinect手势绘图，通过体感控制所绘图形，并使之具有物理特性，比如重力，吸引力等。此外，它还具有检测识别人的表情，利用骨架跟踪技术模仿人的动作，还可以完成物体的测距等其他功能。(二) 手持式自定位三维激光扫描仪1. 三维激光扫描仪简介手持式自定位三维扫描仪的外观4,如图2-1所示。三维激光扫描仪其结构和组成包括：相机、LED发光灯以及触发器等，其结构组成，如图2-2所示。图2-1三维扫描仪的外观 图2-2三维扫描仪的结构2. 手持式三维扫描仪功能创建物体几何表面的点云（point cloud），这些点可用来插补成物体的表面形状，越密集的点云可以创建更精确的模型（这个过程称做三维重建）。若扫描仪能够取得表面颜色，则可进一步在重建的表面上粘贴材质贴图，亦即所谓的材质印射（texture mapping）。在工业中主要用于逆向工程，在文物修复也起到至关重要的作用。3. 手持式三维扫描仪的优点1) 高分辨率：检测每个细节并提供极高的分辨率。2) 高精度：提供无可比拟的高精度，生成精密的3D物体图像。3) 非接触式检测：非接触检测不会对物体造成损伤。4) 双扫描模式：用户可使用安装在设备顶部的按钮在正常和高分辨率扫描模式之间切换。正常分辨率对于大型部件和动态扫描十分有用，而高分辨率专用于要求严格的复杂表面。1)2)3)4)4. 手持式三维扫描仪的缺点造价比较高，三维重建过程中会存在一定的误差，遮挡部分无法扫描出来。5. 扫描软件的介绍VXSCAN扫描软件的界面5，如图2-3所示。图2-3 VXSCAN扫描软件的界面6. 扫描方法1) 工件准备1 贴点定位 反光点必须以最小20毫米随机地粘贴于工件表面。如果表面曲率小，距离可以达到 100 毫米。这些反光点使得系统可以在空间中完成自定位。定位点粘贴时必须离开边缘12 毫米以上。下面，这是合适的点分布样例，如图2-4，图2-5所示。图2-4合适的定位点布避免定位点过密避免线形排列或有规律地分布 图2-5不适合的定位点分布2 参考系配件 插入参考系时要用到可以被 VXSCAN 自支识别的参考系配件。2) 启动扫描软件/VXSCAN点击桌面上或开始菜单里的 VXSCAN 图标快捷方式启动 VXSCAN 应用程序。3) 调整表面设定在菜单中点击 View-Surface，或点击树状图中的面节点/Surface，则出现下面的扩展面板，如图2-6所示。图2-6 Surface 模式扩展面板4) 配置传感器/Configuring the sensor配置激光强度与相机快门速度根据扫描的情况而定（工件的材质、光线、颜 色、结构），配置窗口，如图2-7所示。图 2-7 传感器配置窗口5) 调入定位点/Importing positioning targets在 VXSCAN 中只可以辨识 HANDYSCAN 3D 定位点，其他反光点不可用。调入的资料必须由三个座标值阵列（X/Y/Z）组成，座标值为反光点的中心位置。被调入的反光点会以圆状呈现，因为VXSCAN 并不能确定它们的方向。在扫描时，它将利用这些中心来辨识模型添加为正常的面。6) 获得数据/Acquiring data点击菜单中 scan-Record Scan，或 f 点击工具栏中来开始扫描。用一只手拿起扫描头距离被扫描物约 300 毫米。让十字激光总是照在被扫描物上，可以按下扫描头上的 preview 按钮先行预览。7) 合适的扫描距离距离计量器扫描时，会在三维查看器左侧出现一个条状计量器来说明扫描头与被扫描物 之间的距离，扫描头顶上的三个 LED 发光点（红、绿、红）也同样是一个距离 计量器，可参阅下面图2-8，图2-9。图2-8 合适距离时距离计量哭及扫描头的指示图2-9 距离过远时距离计量器与扫描头的指示8) 编辑扫描数据设定微面模式，删除被扫描工件的局部。点击菜单中 View-Facets 或树状 图中的 Facets 节点，通过点击 Edit Facets 按钮来选择编辑模式。9) 保存结果利用“Save session”选项来保存整个扫描以备以后在 VXSCAN 中进行编辑。 这样保存的数据最为完整，并可以被恢复和再调入进行继续扫描。(三) 柔性三坐标测量仪1. 结构组成包括机械臂，球探针、支架探针末端组件位于离基座最远的那个点。该组件可自由旋转，带有两个控制按钮 （红色和绿色）以及两个圆形 LED 指示灯，可为用户提供视觉反馈6。该组件用于探针和手柄附件的连接。结构组成，如图3-1所示图3-1 柔性三坐标测量仪结构组成2. 功能可以帮助生产制造企业通过现场检测、设备认证、CAD-to Part分析等即可轻松验证产品、品质，甚至可以进行逆向开发。检验，逆向工程，CAD数模分析，以及任何需要硬侧头接触式测量的高精度检测。此外，测量仪的探针具有自动补偿的功能，可以提高测量的精度。3. 测量的实现柔性三坐标测量仪可以以面来进行测量，也可以以线来进行测量。首先选择测量的模式，然后开始取样点，取到的点经确认过后才输入系统，将数据进行保存，由软件导出测量的模型。注意：测量过程中要注意测量臂的弯曲程度，测量臂有一定的工作空间范围，超过范围即报警提示，如图3-2所示。图3-2 Edge限位警告(四) 双目结构光1. 结构组成双面结构光由两台摄像机和一台投影设备组成，分别负责数据的采集和格雷码的投影。其组成7，如图4-1所示。2. 原理单目结构光视觉系统的大致原理：是通过三角原理（线、面求交）求解空间点的坐标。如图4-2所示测量方法：首先，投影设备投射格雷码光束，光束打在物体上，其效果，如图4-3所示。然后不断将光束细化，依次投射格雷码图像（如图4-4所示）、相移图像至空间场景中。再进行数据处理分析，由结构光系统的标定结果和测量图片，求解各个像素点对应的空间坐标。再进行后续点云的处理：a、单次测量：去除离群点、点云的网格化。b、物体重建：依次确定各个视点位置，对不同视点下的数据进行配准和拼接。最后得到物体模型8，如图4-5所示。图4-1双目结构光测量系统结构及原理图4-2单目结构光视觉系统的大致原理图4-3投射光束到物体图4-4细化后的格雷码图像图4-5物体模型总结与展望机器视觉是一门涉及人工智能、神经生物学、心理物理学、计算机科学、图像处理、模式识别等诸多领域的交叉学科.机器视觉主要利用计算机来模拟人或再现与人类视觉有关的某些智能行为，从客观事物的图像中提取信息进行处理，并加以理解，最终用于实际检测和控制.主要应用于如工业检测、工业探伤、精密测控、自动生产线、邮政自动化、粮食选优、显微医学操作以及各种危险场合工作的机器人等 9。机器视觉是一项综合技术 ,其中包括数字图像处理技术、机械工程技术、控制技术、光源照明技术、光学成像技术、传感器技术、模拟与数字视频技术、计算机软、硬件技术和人机接口技术等。它是实现精确定位、精密检测、自动化生产的有效途径，同时它具有实现非接触测量、具有较宽光谱相应范围、可长时间工作等优点，因此已广泛应用于各个领域,如工业制造、医学、导航和遥感图像分析等。虽然机器视觉技术从20世纪80年代才开始起步，但由于其突出的优点，在各种工业领域被广泛应用，特别是近几年发展十分迅速，国内外的成果也是层出不穷10。随着科学技术的不断发展，机器视觉发展趋势呈现出价格持续下降，功能逐渐增多，产品小型化，集成产品增多。机器视觉技术也将越来也融入到我们的日常生活中来，人工智能的发展不断改变着我们的生活方式，例如家庭服务机器人的出现，可以很大程度上改善我们生活，还可以帮助一些残疾人实现生活的自理。相信在不远的未来，机器视觉随着它功能的越来越强大，可能会超过我们人的眼睛，实现目标物体的快速识别分割提取与定位。机器视觉技术大大提高了装备的智能化、自动化水平,提高了装备的使用效率、可靠性等性能.随着新技术、新理论在机器视觉系统中的应用,机器视觉将在国民经济的各个领域发挥更大的作用。在一些实际应用中机器视觉还有一定的局限性，容易受到外界光照等场景的干扰，有时物体表面还会反射光照，都会让得到的图像不是很理想，处理结果会有一定的偏差。因此，在实际应用中还有好多的问题亟待解决。通过此次的机器视觉实验，让我加深了对机器视觉这门课程的了解，并对此产生了浓厚的兴趣。此次实验不仅认识到平时所使用的一些设备，还有一些实验的方法及原理。每套设备都有它们自身的特点，应用于不同的场合，去处理不同的问题。kinect for windows涉及到人工智能的应用，增强了我们的生活体验，它还可以用于其他一些设备的操控，应用范围比较广泛，我们的生活也因此变得丰富多彩。三维扫描仪更是开启了一种全新的模型重建方式，利用激光扫描可以快速的重建出物体的三维模型，误差相对也比较小，三维扫描仪的出现缩短了工业中产品的开发周期，并且也会因此节省不小的成本，为逆向工程的发展提供了一种新的方法。双面结构光也可以实现模型的快速建立，用于产品的开发，相对扫描仪可能成本会低点。柔性三坐标测量仪也是用于产品的参数测量，可以选择不同的测量模式，柔性三坐标测量仪通过特征参数的测量可以得到物体的模型，在此基础上可以进行产品的更新，只需要更改模型的一部分参数既可以实现，但是测量的效率比较低，主要还是用于辅助测量。通过此次实验使我们更深刻地认识到理论与实践相结合的重要性，我们学习的目的还是学以致用，应用我们学到的理论知识去解决现实中的实际问题。通过知识积累，不断开拓思路，应用自己所学的知识为新的实际问题提供合理的解决方案。目前我们才刚开始接触机器视觉，对此才刚有了一点浅薄的认识。因此，以后还要通过我们不断地学习去积累知识，不断刻苦钻研，提高自己的理论水平和实际解决问题的能力。让机器视觉能够真正地为我所用。伴随着各种新型传感元件的出现与使用，机器视觉的发展也会越来越迅速，新的视觉系统的出现与发展必将我们解决实际问题带来更多的便利，现在一切未能解决的问题也必将能够迎刃而解。实际问题的解决将变得越来越简单。随着新技术的应用，成本的降低，视觉系统的应用范围会更加广泛，甚至会深入我们的日常生活。在不久的未来自动驾驶汽车将会更加的普及，未来的飞机也有可能实现全部自动驾驶与操控，我们未来的生活将会更加的智能，生活也会更加的丰富多彩。参考文献1http:/blog.csdn.net/zouxy09/article/details/8145592.2http:/wenku.baidu.com/view/c25e811ba8114431b90dd851.html3http:/www.microsoft.com/en-us/kinectforwindows/4handysan使用手册.5http:/wenku.baidu.com/view/91efa70a0740be1e650e9af2.html EXAscan使用流程说明.6 http:/wenku.baidu.com/ FARO测量臂_Edge.7 http:/wenku.baidu.com/结构光3D视觉原理.8 http:/wenku.baidu.com/view/6339cb73a26925c52cc5bf91.html结构光三维测量与点云配准的研究9贾云得著，机器视觉.科学出版社.10 http:/wenku.baidu.com/view/6471b9e3524de518964b7da8.html