光学动作捕捉系统应用课件

Click to edit Master title style,Edit Master text styles,Second level,Third level,Fourth level,Fifth level,2018/6/14,#,光学动作捕捉系统应用,2018,MOTION,CAPTURE,01,光学动作捕捉系统介绍,光学动作捕捉原理,光学动作捕捉是基于计算机视觉原理,，由多个高速相机从不同角度对目标特征点的监视和跟踪来进行动作捕捉的技术。理论上对于空间中的任意一个点，只要它能同时为两部相机所见，就可以确定该点在空间中的位置（,x,、,y,、,z,三轴坐标）。当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的动作轨迹。当由,3-5,个目标特征点组成的一个大的特征点时就可以得出这个大特征点的角度动作数据，即俯仰、横滚、偏航数据。,光学动作捕捉功能,01.,空间定位,时间点上不同角度相机可以对一个特征点进行捕捉，并进行空间坐标解算。,02.,线性运动捕捉,时间段上连续捕捉特征点形成的空间数据流就是特征点的运动轨迹。,03.,角度运动捕捉,由,3,个以上特征点组成的大特征点形成面运动，可以被捕获到大特征点的角度运动。,定位,线性,角度,02,光学动作捕捉系统应用,-,空间定位,大屏交互仿真系统,大屏交互仿真系统主要是,LED,大屏、投影系统、动作捕捉系统、,3D,显示系统组成，可在屏幕上呈现具有空间景深的立体图像，用动作捕捉相机捕捉操作者的手持标记交互器实现与大屏内容的交互，如选中、移动、缩放等。,CAVE,交互仿真系统,CAVE,仿真交互系统主要是,4,面,LED,大屏或者投影系统、动作捕捉系统、,3D,显示系统组成，组成一个,360,的沉浸视野，一般比大屏仿真系统多两侧和地面显示。动作捕捉系统通过捕捉操作者的手持标记交互器实现与大屏的交互，如选中、移动、缩放等。,室内无人机编队飞行,室内无人机编队飞行是用动作捕捉系统定位每架无人机的位置信息，由后台系统根据每架无人机的位置数据进行分析并再次发出指令，无人机接受飞行指令完成飞行姿态调整。常用作飞行表演和无人机姿态矫正。,大空间多人同场,AR,系统,微软,hololens,自带,slam,技术能对周围空间自动扫描，进行空间内自我定位，当多人同场条件下需要观看共性内容时，,slam,定位不太准确，周围没有明显参照物或者超大空间使用时，就需要借助动作捕捉系统将每个人定位，特别是对精度要求比较高的仿真应用。,微软,hololens,是运用光学在介质反射原理，在眼睛前形成一个漂浮的全息图像。在眼睛视野上既有虚拟的全息图像，又能透过镜片看到现实中的场景和物体。通过在,hololens,上加装特征点，用运动相机进行定位，即可实现对全息图像的精准控制。,03,光学动作捕捉系统应用,-,运动捕捉,电影动漫模型动作绑定,在数字电影拍摄、三维动画制作中，仿人数字模型的动作都是绑定真人的动作数据的，真人动作数据主要是通过动作捕捉系统实现动作的数据的捕捉和记录。,肢体动作捕捉分析,动作分析是在体育训练、舞蹈训练、步态康复训练、姿态分析中运用动作捕捉系统对人的动作数据进行对比使用。,仿人机器人动作模拟,机器人动作录入,仿人机器人动作是通过动作捕捉系统捕捉真人的动作数据，然后形成动作指令让仿人多关节机器人来同步真人的动作，可以用作机器人表演，和检测仿人机器人的动作极限。,机器人表演,大空间多人互动,VR,系统,大空间多人互动,VR,系统是虚拟现实产业发展中最具前景的分支，主要是原理是通过动作捕捉相机捕捉人体的动作轨迹和动作同步到虚拟软件的人物模型上。得益于,VR,头戴显示技术的成熟和普及，大众对,VR,体验已经不再陌生，融合动作捕捉系统，形成这套更具有沉浸性，更加贴近真实的虚拟空间感受。,/04,04,大空间多人互动,VR,系统介绍,大空间多人互动,VR,基础技术,-,虚拟现实技术,虚幻引擎是虚拟内容开发软件。真正的,VR,是通过物理引擎建模渲染而成，所有模型均可测量，而全景相机是由多个摄像头组成通过拼接形成一个,720,的画面，但这种画面不具有景深，无法实现在其中自由行走。所以全景视频不是,VR,。,虚拟制作引擎,大空间多人互动,VR,基础技术,-VR,头戴现实技术,VR,头戴显示器是通过双目,3D,原理，屏蔽掉现实世界中所有光线，在眼前形成一个具有景深的上下左右都是,360,度视角虚拟画面。按照目前产品分类，大体分为基于,PC,、手机和,VR,一体机三种。其中,VR,一体机的轻便化特点是将来发展的必然趋势。,大空间多人互动,VR,基础技术,-,动作捕捉技术,（第一节介绍）,05,大空间多人互动,VR,系统技术特点,第一人称视角观看,第一人称视角,体验者以第一人称视角看虚拟场景，场景中能看到任何其他人的位置和模型,360,视野,体验者可以上下左右,360,无死角看到体验的虚拟场景,模拟在现实世界行走效果,将虚拟场景作为固定参照系，模拟现实世界中人走动而景不动的视觉习惯,用脚自由行走,目前,VR,体验移动多是用手柄指定位置进行步进,场景的图像快速推进极易造成眩晕感。,大空间多人互动,VR,系统特点是让体验者直接用双脚在虚拟空间行走，仿佛穿越到第二空间。,虚拟和现实等距移位,向前移动,1m,向前移动,1m,虚拟场景还原真实物体大小,VR,头戴显示通过透镜原理，让佩戴者透过,VR,头戴显示器所看到的虚拟物体物理尺寸都和实际物体大小相等，不会视觉印象失真。,车长,5m,车长,5m,实现多人同场交互,只要空间足够大，可以容纳上百人同时在场景内体验,超多人数,既可以多人协同进行任务，也可以对抗比赛体验,每个人都可以独立体验，可以分组进行体验,协同分组,场景内每个人都是第一人称视角,每个人均可以清晰看到其他人的位置,同场多视角,空间可大范围扩展,01.,小型空间,02.,中型空间,03.,大型空间,100,以内,150-300,350,以上,虚拟空间与搭建场地关系,30m,30m,30m,30m,在大空间多人互动,VR,系统中，体验者的活动范围受动作捕捉相机搭建形成的空间大小决定，但体验着视野上可以有无穷的边际，当体验着靠近由相机搭建形成的立体空间边界时，,VR,头戴显示器自动生成虚拟边界警示。,超大空间解决方案,矩阵分割，运动回转：,将超大虚拟空间分割成相等若干份，当超出实际活动区域时可以,180,转向同时虚拟场景完成目标区域转换。,空间垂直堆叠：,通过上下楼梯的形式扩展空间。,穿越形式：,可以通过内容逻辑设定，从不同的空间穿越到另一空间，而实际活动面积没有变化。,1,2,3,4,当部署场地限制，无法进行物理上的空间扩大时，采用以下方案扩大虚拟体验面积：,穿越通道,现实虚拟动作同步同时,捕捉动作数据,真人做出动作,动作数据与模型绑定,实时渲染输出,虚拟和现实空间处于同一水平面,通过对虚拟空间标定，让,VR,头戴显示器内的虚拟空间与体验者所处的地面平行且重合，不会因视觉倾斜造成眩晕，标定后佩戴者能感觉,VR,视野与自身身高相等。,可分布式异地联机,A,地区,B,地区,云服务器,云端场景,可集成其他仿真设备,听觉,嗅觉,体感,温感,震感,握感,多维度融合,时间轴灵活,可以将场景时间轴设置成任意时间段,气象模拟,可以通过外接设备生成雨水、降雪、炎热、寒冷的气象条件，让虚拟场景更加贴近真实。,.,时间,气象,空间,空间穿越,可以在不同空间、地理位置、虚拟,&,现实之间来回切换，空间多变,.,感知,大空间多人互动,VR,系统示意图,06,大空间多人互动,VR,系统四大功能,一、沉浸视觉交互体验,科技馆,规划馆,博物馆,文化馆,少年宫,党史馆,红色馆,场景还原,心理干预（禁毒馆）,VR,体验营销,-,看房,VR,体验营销,-,看车,沉浸,VR,视觉呈现是给体验着呈现现实条件无法达到的画面，例如古墓探险、太空遨游、深海潜水等等，这类应用中体验着交互性被设计的比较少，体验流程被设计的相对简单，主要是以看为主。如图示（金字塔探秘）,未来还有,.,应用场景：,二、线下,VR,沉浸游戏,大空间多人互动,VR,系统给游戏产业带来新的革命，无论是手机游戏还是电脑端游戏，都是通过物理按键和显示屏来呈现游戏内容。而大空间多人互动,VR,游戏可以让玩家完全沉浸在游戏场景中，自由行走穿梭，让游戏玩起来更带感。,适用各种景区、主题公园、休闲娱乐中心,应用场景：,三、教具训练培训（作用于人的技能提升）,在传统训练和培训中，有些项目存在着教具昂贵，具有一定危险性等因素，通过大空间多人互动,VR,系统将所要培训的技能全部转化在虚拟数字空间内进行。在用于培训时多强化与技巧、流程、基础知识方面，对于技艺的提升还是需要实操来提升。,施工安全教育,消防逃生训练,反恐战术训练,机械操作练习,四、工业虚拟仿真（作用于设计的物体）,在汽车仿真、航空仿真、建筑仿真等领域大空间多人互动,VR,系统有诸多应用，主要作用是多人多视角同时分析同一个三维模型，用于校验、优化设计的模型，直观及时的发现不合理和错误的地方。,汽车仿真设计,BIM VR,建筑信息化运营中，将传统的,MIM,系统与,VR,结合，将建筑设计信息直观的呈现在眼前，并在虚拟模型中自由穿梭，将未来的建筑效果提前呈现出来。,但,未来工业虚拟仿真更多的是运用,ARMR,技术（见,02,节大空间多人同场,AR,系统）,07,光学动作捕捉系统应用市场分析,动作捕捉系统应用需求规模对比,规模,|,功能,定位功能,动作捕捉功能,1,）,CAVE,交互系统,2,）大屏交互仿真系统,3,）室内无人机编队飞行,4,）虚拟演播室,1,）电影动漫模型动作绑定,2,）仿人机器人表演,3,）动作分析,小型市场,多人同场,AR,系统,大空间多人互动,VR,系统,巨量市场,大空间多人互动,VR,系统四大应用规模对比,工业仿真,沉浸,视觉体验,训练培训,线下,沉浸,VR,游戏,工业仿真领域是,AR,和,MR,的应用，大空间,VR,应用会减少,是视觉体验构成的特殊市场,训练培训，教育应用规模次之,线下,沉浸,VR,游戏是最大的市场,08,深圳市瑞立视多媒体科技有限简介,光学动作捕捉系统,光学动作捕捉系统，主要通过架设在空间上方的多个高速相机捕捉光学标记点，识别跟踪物体的运动轨迹,以实现包含,VR,在内的各种环境三维大空间人机交互。,随着从,2013,年开始的全球,VR,虚拟现实技术的普及，,光学动作捕捉成为,唯一一种,可以实现,VR,多人同场景自由交互,的技术。,市场需求量大增。,仿真培训，教育，军事，房地产，游戏主题乐园等多个传统行业，急需,VR,多人交互方案给行业带来突破,行 业 分 析,全球成熟的光学动作捕捉品牌公司不超过,10,家,技术性能上能成功应用到,VR,商业领域的品牌,不超过,5,家,在过去，光学动捕技术一直被国外,欧美品牌垄断了,20,年,以上市场。,在过去，中国国产没有成熟的品牌能够突破高性能光学动捕研发的技术瓶颈。,光学相机硬件,自主研发生产,VR,环境现场搭建,交互内容定制开发,大空间,VR,多人互动一站式解决方案供应商,+,+,R T S,系 列 产 品 介 绍,RTS4000,Resolution 2048x2048180fps,FOV 51x 51精度 1mm,延迟,5.5ms,最佳距离,1,4,米 /最大距離 30米電源 POE+/DC12V,Interface Internet/USB-WIFI,RTS,2,000,Resolution 2048x,108,8,34,0fps,FOV,86,x 5,3,精度 1mm,延迟,2.9,ms,最佳距离,7,米 /最大距離,15,米電源 POE+/DC12V,Interface Internet/USB-WIFI,RTS,1,000,Resolution,12,8,0,x,1024,21,0fps,FOV 5,8,x,48,精度 1mm,延迟,4,.,8,ms,最佳距离,7,米 /最大距離,13,米,INPUT/OUTPUT POE-GbE/U