体感技术总结

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2020/11/30,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2020/11/30,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2020/11/30,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2020/11/30,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2020/11/30,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2020/11/30,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2020/11/30,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2020/11/30,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2020/11/30,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2020/11/30,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2020/11/30,*,单击此处编辑母版标题样式,*,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,体感技术总结,目录,01,02,03,体感技术,虚拟现实技术,惯性感测,光学感测,惯性,+,光学感测,体感技术的应用,概念,技术手段,总结,2,2020/11/30,01,概念,体感技术：可以实现人们很直接地使用肢体动作，与周边的装置或环境互动，而无需使用任何复杂设备，,便可让人们身历其境地与内容做互动,虚拟现实技术：,虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统它利用计算机生成一种模拟环,境是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。体,感技术是虚拟现实技术的一个重要分支,3,2020/11/30,02,体感技术,至今全世界在体感技术上的演进，依照体感方式与原理的不同，主要可分为三大类：惯性感测、光学感测以及惯性及光学联合感测。,惯性感测：主要是以惯性传感器为主，例如用重力传感器，陀螺仪以及磁传感器等来感测使用者肢体动作的物理参数，再根据这些物理参数来求得使用者在空间的各种动作。,光学传感器：主要是通过光学感测器获取人体影像，然后与相应的内容互动,联合感测：在手柄上放置一个重力传感器，用来侦测手部三轴向的加速度；使用红外传感器用来感测电视屏幕前方的红外线发射器讯号，主要可用来侦测手部在垂直以及水平方向的位移。,4,2020/11/30,惯性感测,.,原理：通过无线信号进行手持设备定位，然后在手持设备内固定加速计和陀螺仪，实现,3D,空间体感感测；,主要的代表产品有：任天堂推出的“,Wii Remote”,（,2006,）、速位互动推出的“,CyWee,”。,5,2020/11/30,联合感测,采用红外摄像头发射红外光，经手持设备进行定位，通过,3D,空间的感测来实现“体感操作”。主要的代表产品有索尼推出的“,PS MOVE+PS EYE”,（,2010,）、北京永利宁科技推出的“,VirTouch”(2012),、深圳泰山科技推出的“爱动体感运动机”（,2011,）。,“,PS MOVE+PS EYE”:PS Move,在三维空间中的定位是依靠其顶部光球实现的，光球距离摄像头越远，其投射到摄像头中的图像面积就越小，根据图像的大小可以精确计算其与摄像头之间的距离变化，从而确定其在三维空间中的准确坐标。,PS MOVE,手柄内部有一个三轴陀螺仪，一个三轴加速以及一个地球磁场感应器，再加上,PSEYE,的空间定位，从而将,MOVE,手柄的任何操作细节,1,：,1,地还原到游戏中。同时,PS MOVE,的动作感应运算是由,CELL,处理器中的一个,SPE,协处理器负责。,Move,手柄是通过蓝牙传输操作信号。,6,2020/11/30,联合感测,VirTouch,核心工作原理：通过红外,LED,光源发射红外光,经过手指上戴的指环反射,(,指环 外圈镶嵌玻璃、内圈有红外反射涂层,),用装有可见光滤波片,(,滤掉可见光、透过红外光,),的摄像头捕捉红外线,产生控制器的输入信号。指环的作用有二,:1,、反射红外光,2,、以其圆心为识别点,可以精确识别单点输入的信号,;,重要的是,此方案可以形成三维输入,识别上下左右与景深程度,7,2020/11/30,光学感测,主要特征：有摄像头无手持设备；通过高分辨率的广角摄像头，采用类似“动作捕捉”方式来判断识别用户的姿势动作，来实现体感操作。,Kinect,：,Kinect,骨架追踪处理流程的核心是一个无论周围环境的光照条件如何，都可以让,Kinect,感知世界的,CMOS,红外传感器。该传感器通过黑白光谱的方式来感知环境：纯黑代表无穷远，纯白代表无穷近。黑白间的灰色地带对应物体到传感器的物理距离。它收集视野范围内的每一点，并形成一幅代表周围环境的景深图像。传感器以每秒,30,帧的速度生成景深图像流，实时,3D,地再现周围环境。,LEAP MOTION,: Leap,Motion,中有两个摄像头，可以从不同角度捕捉画面，它能同时追踪多个目标，包括：所有手掌的列表及信息；所有手指的列表及信息；手持工具（细的、笔直的、比手指长的东西，例如一枝笔）的列表及信息；所有可指向对象（,Pointable Object,），即所有手指和工具的列表及信息；,Leap Motion,会给这些目标分配一个单独的,ID,，并检测运动数据，产生运动信息，并通过算法复原手掌在真实世界三维空间的运动信息。,Haptix,: Haptix,和,Leap Motion,的工作方式比较类似，但前者对于手势的扫描需要在平面而非空中进行。,Haptix,仅有一个外接摄像头大小，能够被放置或者夹在任意位置，并能够在任意的平面上跟踪用户所执行的多点触控手势。,8,2020/11/30,光学感测,LEAP MOTION,: Leap,Motion,中有两个摄像头，可以从不同角度捕捉画面，它能同时追踪多个目标，包括：所有手掌的列表及信息；所有手指的列表及信息；手持工具（细的、笔直的、比手指长的东西，例如一枝笔）的列表及信息；所有可指向对象（,Pointable Object,），即所有手指和工具的列表及信息；,Leap Motion,会给这些目标分配一个单独的,ID,，并检测运动数据，产生运动信息，并通过算法复原手掌在真实世界三维空间的运动信息。,9,2020/11/30,LEAP MOTION,手掌中心的位置（三,维,向量,，相对于传感器坐标原点，毫米为单位,）；,手掌,移动,的速度（毫米每秒）；,手掌的法向量（,垂,直,于,手掌平面,，从手掌掌心向外指,）；,手掌朝向的方向；,根据手掌弯曲的弧度确定虚拟的球体中心、半径；,10,2020/11/30,LEAP MOTION,对于每个手掌，亦可检测出平移、旋转（手掌的转动）、缩放（手指分开、聚合）的信息。检测的数据如全局变换一样，,包括：,旋转的轴向向量；旋转的角度；描述旋转的矩阵；缩放因子；平移向量；,11,2020/11/30,Kinect,提到体感技术和深度摄像头，很多人的第一印象就是微软的,Kinect,。然而微软的第一代,Kinect,技术来自,Primesense,的授权。,2005,年 创建于以色列的,PrimeSense,可谓深度摄像头技术的先驱，然而它在,13,年 被苹果收购。之后市场上的深度摄像头厂商基本出现一家，被微软、英特尔、,Google,、苹果等巨头收购一家。,“各部分别人都做不出来，那我们都只能自己做。除了激光投影模组和,CMOS,，其它都是我们自己做的。具体来说，,3D,摄像头模组里面，,RGB,模组比较容易，激光投影模组，红外投影模组和主芯片是三个核心部件，也是里面最难的地方。激光投影模组全球也很少有公司能做；主芯片弄成,ASIC,（为专门目的而设计的集成电路）芯片很难,，但奥比中光做到了；红外投影模组相对激光投影容易些，但也从,14,年,3,月 到,15,年,7,月 也花费了,1,年 多的时间才完成。” 黄源浩告诉,36,氪,12,2020/11/30,Kinect,13,2020/11/30,红外激光投射器（,IR Projector,）,:Kinect,中投射器的作用是投射出随机的激光散斑，即结构光，通过红外摄像头采集所标记的结构光，交由,PS1080,芯片进行计算后得到最终的景深数据。,右图为,Kinect,红外激光投射器的原理图。根据,PrimeSense,在专利中的描述，红外激光生成器（,42,）射出准直后的激光束（,44,），通过光学衍射元件（,DOE,）进行散射，进而得到所需的散斑图案。,PrimeSense,所说的光学衍射元件可以通过多种组合来实现，具体可以参见其在国内申请的专利,用于使零级减少的光学设计,。在,Kinect,中，,PrimeSense,采用扩散片（,48,）和光栅（,50,）来实现，该设计专利可参见其美国专利,Optical Pattern Projection,。,DOE,光栅,Kinect,14,2020/11/30,Kinect,Kinect,的技术,Light Coding,技术的关键是,Laser Speckle(,镭射光散斑,),，散斑具有高度的随机性，随着距离变换图案，空间中任何两处的散斑都是不同的图案，等于将整个空间加上了标记，所以任何物体进入该空间、以及移动时，都可确切记录物体的位置。,测量前对原空间的散斑图案做记录，先做一次光源的标定，其方法是每隔一段距离，取一个参考平面，把参考平面上的散斑图案记下来。,测量时拍摄一副待测场景的散斑图像，将这幅图像和保存的参看图像依次做相关运算，在相关度图像上就会显示出峰值。将这些峰值一层层叠在一起，经过插值运算，即可得到整个场景的三维形状。,Kinect,采用分割策略将人体从背景环境中区分出来，得到追踪对象的景深图像。将精神图像传进一个可以分辨人体部位的机器学习系统中，该系统给出某个特定像素属于身体某个部位的可能性。从而得到一个含有,20,（,25,）个关节点的骨架系统。,15,2020/11/30,03,应用,任天堂在,2006,年推出的首个体感控制器,Wii Remote,，开启了体感时代的到来；之后，索尼推出了体感游戏产品,PlayStation Move,，微软推出了体感产品,Kinect,，体感控制技术已经广泛应用于游戏当中。目前，体感技术正在从游戏走向大众应用领域，如,PC,、平板，并开始往零售、医疗保健、教育等行业渗透。而,Kinect,传感器凭借其特性已经应用在医学、 商业、计算机科学及机器人等很多领域，下面就其 在相关领域的应用进行综述。,16,2020/11/30,03,应用,-,医疗,临床手术,中，有必要保持接受手术的病人 周围的一切都是无菌的。然而，在手术中，外科医 生还需要从计算机上查看患者的临床影像资料， 计算机不是无菌的。传统的医生查看资料的方式 既耗时又增加患者的感染几率而在手术过程中借助,Kinect,设备可以有效的缓解这一弊端。由瑞 士伯尼尔大学,Michael. Tully,教授等研究人员利 用,Kinect,设备帮助医生解放了双手，医生无需像 传统方式那样亲自接触患者的影像资料，只需要用 手做出摆动就可以控制专为医疗图像浏览而设计 的图像处理应用程序,OsiriX PACS6(picture archiving and communication system,： 医学影像 存档与通信系统,),。,远程手术,是将虚拟现实技术与网络技术结合， 可以使得医生根据传来的现场影像对远程的患者进 行手术操作，其一举一动可转化为数字信息传递至 远程患者处，控制当地的医疗器械的虚拟现实系统。 运程手术的技术目前尚未成熟，而,Kinect,体感技 术的介入可以增加远程手术的可行性。西雅图华盛 顿大学,Biorobotics,实验室的,Chizeck,等让,Kinect,传感器在远程手术过程中为外科医生提供触觉反 馈。他们,将,Phantom Omni9,触觉设备与,Kinect,设 备连接,，提供电阻式的反馈，以,Kinect,体感技术 帮助建立物体的,3D,模型，并将数据转换为触摸反 馈。这项研究实现了只要有卫星天线车的地方，医 生就可以使用,Kinect,设备远程手术，因此可被广 泛应用于救灾或者战场。,17,2020/11/30,德国慕尼黑工业大学的一名学术研究员发明了 一款命名为 “,The magic mirror,魔镜”的设备。 它是专门为方便解剖课程的教学所设计的，系统能 够制造一种镜像的幻觉，让使用者像是在身上开个 “洞”，看到自己的内脏。,Kinect,体感技术在现 代医学教育中的研究，是现代医学教育方式的一个 新的突破，若能得到实际应用则会对实现现代医学 教育跨越式的发展具有十分重要的意义。,03,应用,-,医疗,18,2020/11/30,03,应用,-,商业,Kinect,凭借其出色的互动能力已经在商业方 面得到了实际应用，如俄罗斯一家名为,AR Door,的 科技公司于,2011,年,5,月运用,Kinect,体感外设技术 发明的一款“试衣魔镜”，当购物者站在这虚拟试 衣镜前时，装置将自动显示试穿新衣以后的三维图 像。俄罗斯的高街时装品牌,Top Shop,在自己的店 中安装了这款“试衣魔镜”，俄罗斯的消费者们成 为率先体验这一高科技所带来的便利的受惠者。,除了实际应用的成果以外，还有一些取得较好效 果的研究成果，如黄康泉开发的,CoolView,视 频会议系统中整合了,Kinect,设备的部分功能，实 现了手势控制,PPT,、自动识别与会人员的举手发言 请求及实时,3D,捕获与显示等功能，提高了视频会 议的交互性和真实感，该系统的实现进一步论证了,Kinect,体感技术在视频会议中的实用价值以及对 视频会议系统发展创新的积极现实意义。,19,2020/11/30,03,应用,-,机器人,麻省理工学院的一个名为,Warwick,移动机器人 的团队，将,Kinect,设备和救援机器人结合到一起， 设计出一款新的机器人,Kinectbot,。这个机器人 利用,Kinect,传感器可以探测出人的存在，并且人 们可以通过肢体动作和声音来控制这个机器人,16,。,Kinectbot,还能利用,Kinect,设备的画面捕捉技术， 将自己“看到”的画面绘制成,3D,地图。这款机器 人的目的是应用于灾难现场的救援工作，不必需要 过多的人力，或许只是一个两人小队就能完成这台 机器人的操作。虽然现在这个发明还没能应用到现 实中，但按照这样的思路，未来的机器人随着灵敏 度的提高，已经完全能够代替人类去勘探危险的区 域，制作精细的,3D,地图了,。,2015,年,7,月,17,日至,23,日，世界顶级机器人世界杯大赛,Robocup,在中国合肥完美落幕。此次大赛吸引了来自全球,76,国家和地区的,100,多支队伍，其中参赛队伍中，有超级多的机器人团队。,90%,的机器人团队都使用了动作传感器，并且,70%,为微软,Kinect,传感器。在中型组机器人足球比赛参赛的,12,支队伍中，,9,支队伍的守门员都使用了,Kinect,传感器，其中包括冠军团队：北京信息科技大学。北京信息科技大学团队的研发人员在此之前已经测试了多款不同的动作传感器，最终选择了微软最新款,Kinect,传感器。,Kinect,传感器彩色摄影机可提供非常广阔的视觉范围，能够使守门员及时发觉远在外的足球，并且其每秒,30,帧的传送比率可以使守门员拥有更多的时间找准位置阻止即将传入的射门。,20,2020/11/30,THANKS,Thank you for your attention.,END,21,2020/11/30,