电气工程前沿科技总结报告

电气工程前沿科技总结报告姓名：学号：专业：硕士 /博士（划V）成绩：一、调研报告（50分）基于动作捕捉的牵引供电设备虚拟交互技术研究1研究的背景和意义目前，随着三维虚拟显示技术的发展，牵引供电所对人员的培训不再仅仅局限于传 统鼠标键盘的人机交互，而是希望可以实现手势交互，沉浸式般的进行培训。虚拟现实 在2015年已被炒到风口，各大互联网公司纷纷布局虚拟现实，更多的人认为2016年是 虚拟现实元年，所以开发一套牵引供电设备虚拟交互系统无论是在牵引供电培训本身的 需求上还是时代潮流的驱赶下，都是非常有必要的。跟踪和制作人体运动动画是计算机图形学和计算机视觉的一个基本问题。一个特别 重要的问题是如何准确地重建人手的形状和清晰度。手部运动是非言语交流的重要组成 部分，扮演人形替身动画的重要作用，是众多的人机界面中心。微软在2011年发布了 Xbox 360轰动业界，随后Intel和微软又发布了 Creative Senze3D和Kinect二代。这两款 产品在精度上都做了很大的改进，为手势跟踪奠定了硬件基础。牵引变电所是牵引供电系统的重要组成部分，对于保证接触网和机车的安全稳定运 行起到重要作用。正常运行中的牵引变电所设备操作需要严格的执行相关的流程和作业 标准，而且由于牵引负荷的特殊性，牵引变电所的日常工作也比较复杂，对操作人员的 技能水平要求较高。随着牵引变电所设备的种类与数量的增多，传统的培训方法目前具 有越来越多的局限性。随着三维虚拟显示技术的发展，目前牵引供电系统已逐步出现了 基于三维虚拟场景的牵引变电所工作人员业务培训系统。但由于人机交互技术的限制， 培训人员还是实用传统的鼠标键盘进行操作，直观性不强，交互能力有限。因此，研发 一套适合于牵引供电系统的虚拟人机动作捕捉交互系统势在必行。2国内外研究现状手势捕捉在人机交互领域一直受到关注和研究，但是由于人手的高度铰接以及人手 的高度自由度和复杂的手指动作，人手捕捉依然是具有很大的挑战性的课题。精确的实时人体跟踪和人脸跟踪系统近来已经提出。作为实现对桌面环境的在线人 际沟通的完整体系下一个自然的一步，手势跟踪在研究团体中获得巨大牵引力。虚拟环 境互动系统的最新行业趋势已经导致用于RGBD （彩色数据和深度数据）数据的处理（闭 源）软件包开发，如英特尔RealSense SDK和微软的Kinect二代或专门设计的硬件，如 Leap Motion和 Nimble sensors。手势跟踪在近几年来获得较大的进步，但是仍然有很大的局限性。文献1提出了一种基 于PSO算法的实时手势捕捉系统，但是捕捉鲁棒性差，不能从失败中迅速恢复。文献2 是微软研究院提出的基于单一深度相机实时手势跟踪系统，该系统能准确重建多种复杂 手姿势，可以迅速从捕捉失败中恢复，但是仅仅局限于单手。文献3提出了基于结合ICP 和PSO算法的球形实时手势跟踪系统，但系统没有采用GPU加速，捕捉速度较慢，而且 限于单手捕捉。文献4提出了基于铰接式ICP算法的实时手势跟踪系统，并且开源了系 统代码，系统的捕捉速度很快，采用了 GPU加速，并且可以快速从捕捉失败中快速恢复, 但是要带一块蓝色的护腕在手上，不是裸手操作。文献5在同时考虑边、光流和碰撞的 基础上引入微目标函数，可以实现双手的捕捉，一只手不会对另一只手的捕捉造成影响, 但是每秒的帧数比较慢同时受限于缓慢的局部优化，不能实现实时系统。文献6在给定 人手的同步序列，可以恢复其三维位置，方向和全关节运动参数，所采用的手模型是基 于适当选择并组装的三维几何图元，但是需要一个具有高速并行运算能力GPU（Graphic ProcessingUni t）对目标函数进行加速，而且这些优化的方式都是完全局部的，不能从 跟踪失败中自动恢复。一些全局搜索的方法7通过搜索一个庞大的参数空间来避免陷入 局部最优，但是由于搜索空间过大往往导致搜索结果缓慢且不准确。文献8提出一种基 于区域生长与Mean shift算法相结合的动态变形手势跟踪算法，但捕捉有时不准确。文 献9利用随机决策森林（RDF）基于手型对手型进行分类，能够实时跟踪但是只可以识 别特殊的手势，使用范围狭小。基于外观的手势跟踪。在过去的几年中，许多基于外观的方法已被开发用于手势跟踪。但是基于最邻近搜 索，决策树木，或卷积网络已经证明基于外观的方法可成功用于实时手势跟踪的。这些 方法的优点是推断手势的能力从一个单一的帧的姿态，而无需依赖于时间相干性，从而 避免了漂移。然而，这样的基于外观方法紧密连接到训练数据，常常不能概括好以前看 不到的手的姿势，也就是那些不包含在训练数据库中姿势。出于这个原因，大多数这些 方法假设一个单一的的手在隔离的区域，以避免数据爆炸。而且往往不能达到的基于模 型的方法的准确性。(b)基于模型的手势跟踪一种流行的方式来手部动作捕捉是使用基于标记的系统(Vicon, OptiTrack)。一个三 维的手模型可以被拟合到跟踪标记，以获得最终的手姿势。标记物的一小部分已被证明 足以用于重构三维的手姿势通过逆运动学技术。然而，由于标记的频繁遮挡，使用基于 标记的系统获得的运动序列经常需要一个大量人工清扫。为了克服这个问题，文献5提 出给一个基于标记的系统补充RGBD数据，以捕获手的移动，即使在显著自遮挡的情况下。 近日，精确的基于模型的跟踪已在多个摄像头设置实现其中多个有利位置帮助解决具有 挑战性的遮挡。多个摄像机的系统也已成功地用于准确的手手和手对象交互建模。所有 上述方法都需要一个复杂的采集设定和手动校准，这使得它们不太适合的那种主要针对 消费类级应用程序，这正是本文的工作。粒子群优化(PSO)的方法实现互动(15 fps) 的具有一个单一的RGB D相机跟踪。PSO技术也被成功地应用于两只手之间具有挑战性的 互动模式以4 fps的速率降低为代价。粒子群是一个不使用所考虑的优化问题的梯度信 息进行优化的而是使用采样的启发式策略。为此粒子群算法的准确度和效率在很大程度 上依赖于所用的样本数。Oikonomidis等的1 引入了一个提高跟踪的效率但不影响质量 的更先进的抽样策略。然而，基于梯度的优化方法比PSO收敛更快，更准确地，当接近 解的时候，并且因此非常适合于实时应用。为了稳健性，而不是诉诸于重新初始化，可 以制定可能手姿势的子空间的优化。因为较少的优化变量的个数导致有效的计算，所以 跟踪精度可以通过将减小子空间导致的姿态的复杂性而得到限制。3关键技术及发展趋势虚拟交互的系统关键技术在于手势捕捉。准确的捕捉到手的姿态成为关键问题。上述提到的文献或者需要数据手套或者采用特定的标记或者使用多台摄像机，均是 因为手势捕捉的复杂性造成的。需要在特定的情况下才可以做到实时跟踪和精确捕捉。跟踪算法主要可以分为两类：即基于外观的方法、基于模型的方法。基于外观的方 法训练分类器或回归矩阵为映射图像特征到手姿势。因此，虽然这些系统能够稳健地判 断一只手姿态从一个单一的帧，但是基于外观方法是在只需要一个粗略的估计姿态或判 别的特征可以明显提取情况下优化。相反地，基于模型的技术逼近跟踪作为对准优化， 其中该目标函数典型地测量从模型合成的数据和数据由传感器观测之间的差异。而基于 模型的方法可能遭受丢失跟踪的影响，正规化先验概率可被用来推断出高品质的跟踪即 使当传感器数据是不完整的或损坏的。使用非侵入性检测设备实现准确的实时手势跟踪是一个具有挑战性的科学问题。人 的手是高度铰接的，因此需要有足够多的自由度的模型来充分地描述其相应的运动空间。 由于手指间的复杂联系的模式，手的运动往往快并且表现出错综复杂几何结构。通过单 相机RGB D设置，都面临着不完整的数据由于自遮挡和高水平的噪音。目前，在硬件方面，各大公司生产出的深度相机的质量不一，Kinect二代虽然比一 代做了很多的改进，但是提取出的深度图依然噪声很大，这样在数据源头上就为算法带 去了一定的干扰。In tel的Crea tiveSenze3D能够清晰的提取出深度轮廓，但是低质量 的深度测量，导致点云有严重的噪声。算法基于一个实时注册过程,它能够准确重建手势通过拟合三维铰接手模型到深度 图像。该算法使用深度、轮廓和时间上的信息登记手板模型。为了有效地映射低质量的 深度图到现实手的姿势，利用运动学和时域上的先验值正规化注册过程以及采用一个事 先建立的来自现实的手姿势的数据库的数据驱动。文献4提出一个将先验概率集成到算 法的注册优化，能够提供可靠的跟踪，而不严格限制运动自由度的原则性方法。单相机的深度采集产量数据不完整，因此姿势重建问题本质上是病态的。当没有足 够的数据因遮挡或快速运动取得如以上解释的跟踪误差可能在某些情况下会发生。同样, 在传感器极限分辨率限制了跟踪精度。当几何特征变得不加区别，上述的注册方法失败。 集成颜色和底纹的信息可能会解决这个问题。关于手势跟踪，随着深度学习的发展，应该会出现基于深度学习的学习的手势跟踪 系统。微软在holens中使用的手势跟踪系统采用了卷积神经网络（CNN）识别手势，在 结合Kinect二代的深度信息对手势建模，但是CNN只是对二维图片进行处理。但是也可 以将卷积神经网络的思想应该用到三维点云手势识别上，此种方法需要提前标定点云， 但是可以实现端对端的训练，同时可以提高准确度。手势交互式下一代人机交互方式，这一点已经无可否认，是增强现实（AR）的优选 交互方式。在铁路上，牵引变电所的虚拟化是必然趋势。4参考文献1 Oikonomidis, I., Kyriazis, N., and Argyros, A. Efficient model-based 3D tracking of hand articulations using Kinect. In Proc. BMVC (2011), 1-11.2 Toby Sharpy,Cem Keskiny,Duncan Robertsony,Jonathan Taylory,Jamie Shottony,David Kim,Christoph Rhemann,Ido Leichter,Alon Vinnikov,Yichen Wei,Daniel Freedman,Pushmeet Kohli,Eyal Krupka,Andrew Fitzgibbon,Shahram Izadi.Accurate, Robust, and Flexible Realtime Hand Tracking.CHI 15 Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems:3633-36423 孙骁基于深度图像的实时鲁棒手势跟踪研究华南理工大学,20144 Andrea Tagliasacchi,Matthias Schroder, Anastasia Tkach, Sofien Bouaziz, Mario Botsch, Mark Pauly.Robust Articulated-ICP for Real-Time Hand Tracking.Eurographics Symposium on Geometry Processing 2015.2015,34(5):1-25 L.Ballan, A.Taneja, J.Gall, L.V.Gool, and M.Pollefeys. Motion capture of hands in action using discriminative salient points. In ECCV,2012.6 I.0ikonomidis, N.Kyriazis, and A.A.Argyros. Markerless and efficient 26-dof hand pose recovery. In ACCV, 2010.7 V. Athitsos and S. Sclaroff. Estimating 3d hand pose from a cluttered image. In CVPR, 2003.8 张秋余，胡建强，张墨逸基于区域生长的Mean shift动态变形手势跟踪算法模式识别与人工智 能，2010,23(4):19 C.Keskin, F.Kirac, Y.E.Kara, and L.Akarun. Hand pose estimation and hand shape classification using multi-layered randomized decision forests. In ECCV, 2012二、课程设计(20分)电气工程与控制工程前沿科技通过教授授课的方式进行，按周通过讲座的方式 开展，讲座内容主要针对电气工程和控制工程不同研究领域的发展动态和前沿技术，使 同学们对专业研究有一个全方位的了解和认识。1、假设你来开设本课程，你如何开设？假如是我开设这门课程，我也会采用类似的方式：请各个学校在电气领域颇 有建树的教授采用讲座的方式进行。电气工程与控制工程前沿科技作为一门 介绍前沿科技性质的课程，而且电气工程与控制工程涵盖的领域比较多，所以仅 仅由一位老师来讲是不太现实的。采用各个领域比较出名的老师来进行讲座的方 式一方面可以拓展视野，另一方面，也方便学生了解老师，从而进行更深一步或 者私下里面的交流，给了学生认识更多老师的机会。2、采用何种方式？主体上会采用讲座的方式，并且会把课程安排给大家提前说明，并且但是会 在第一堂课布置一道比较新颖的题目给学生（或者学生自选题目，最好可以做出 实物的），学生自由结组完成，并且在期中和期末的时候对自己的项目进行PPT 汇报与展示，并在期末的时候评选出最佳作品，将其作品（含论文代码等）开源 到网上并希望大家来进行贡献，如果这门课有对应的网站与讨论社区就更好了。 因为不同实验室之间的交流太少了，这样会促进学生之间的交流。3、对老师、学生有什么要求？（1）有些老师的PPT其实并不是最新的，从PPT的内容上日期就可以看得出来， 这样就不符合前沿科技的要求了，希望老师能够把真正的前沿的科技讲给学生， 以科普的方式略掺杂一些重要的公式，不要PPT上通篇公式。（2）对学生的要求就是要按时上课，不要迟到或者早退，上课能够积极听讲， 虽然有些真的听不懂，但是要求学生交课堂笔记，这完全出于强迫学生上课听讲 的目的。