虚拟现实与增强现实技术概论ppt课件第12章增强现实技术

虚拟现实与增强现实技术概论,虚拟现实与增强现实技术概论,第,12,章 增强现实技术,第12章 增强现实技术,导学,一、学习目标,1.,了解,增强现实技术应用领域及未来发展趋势,。,2.,了解增强现实的开发工具,。,3.,掌握增强现实技术的概念、特点及核心技术。,4.,掌握,移动增强现实技术的定义、特点。,二、重点、难点,重点：,1.,增强现实技术的定义、特点；,2.,增强现实技术与虚拟现实技术的联系与区别；,3.,移动增强现实的概念、特点。,难点：,1.,增强现实三种核心技术；,2.,增强现实系统的结构。,导学一、学习目标二、重点、难点,感受,AR,感受AR,感受,AR,感受AR,感受,AR,感受AR,12.1,增强现实技术概述,一、增强现实技术,增强现实,（,Augmented Reality,，简称,AR,），是一种实时地计算摄影机影像的位置及角度并加上相应图像,、视频、,3D,模型,的技术，这种技术的目标是在屏幕上把虚拟世界合成到现实世界并进行互动。,增强现实应用于图书上色,说明：,手和画笔以及图书是现实世界中的真实对象，,小象是虚拟的对象；,通过平板电脑，可以看到真实的场景，也能看到,虚拟的立体小象，看到的是虚实共存的场景。,12.1 增强现实技术概述一、增强现实技术增强现实应用于,12.1,增强现实技术概述,一、增强现实技术,混合现实,（,Mixed Reality,，简称,MR,）是虚拟现实技术的进一步发展，该技术包括了增强现实和增强虚拟，指的是介于真实世界和虚拟环境之间的一种新的可视化环境。,增强虚拟,是指在虚拟三维场景中叠加现实场景信息，以增强计算机对于环境的认知能力，以虚拟场景为主，现实场景作为补充。,真实世界,混合,现实（,MR,）,增强,现实（,AR,）,增强,虚拟,虚拟环境,人,12.1 增强现实技术概述一、增强现实技术真实世界混合现,12.1,增强现实技术概述,一、增强现实技术,AR,的三个特征：虚实结合、实时交互、三维注册。,（,1,）虚实结合,虚实结合是指在现实环境中加入虚拟对象，可以把计算机产生的虚拟对象与用户所处的真实环境融合，做到虚中有实，实中有虚。,“虚”,是指用于,增强的信息,，可以是指,虚拟的对象,，可以指真实物体的,非几何信息,，如标注信息、提示等。,AR,增强的建筑物的标注信息和提示,虚拟试衣间增强的虚拟对象,12.1 增强现实技术概述一、增强现实技术AR增强的建筑,12.1,增强现实技术概述,一、增强现实技术,（,2,）实时交互,实时交互,是指实现用户与真实世界中的虚拟信息间的自然交互,。,实时是指不管用户身处何地，都能迅速识别现实世界的事物，并在设备中合成，通过传感技术将可视化信息反馈给用户。,举例：宜家,借助,AR,使得家居数字化。,消费者借助,AR,技术将虚拟家具呈现在家中，,通过观察大小、颜色是否合适，决定摆放位,置和是否购买,。,12.1 增强现实技术概述一、增强现实技术,12.1,增强现实技术概述,一、增强现实技术,（,3,）三维注册,AR,中的三维注册是指将计算机产生的虚拟物体与用户的真实场景全,方位的对准。在,VR,中，注册是指呈现给用户的虚拟环境与用户的各种,感官匹配。,AR,系统实时检测用户头部位置和方向，根据这些信息确定所要添加虚拟信息在真实坐标中的位置，使得用户眼前真实景象和虚拟景象保持同步。,例如，宜家家居的应用。当人的位置变化时，虚拟的桌椅、沙发也,能够出现在人周围合适的位置，而非不相匹配。,12.1 增强现实技术概述一、增强现实技术,12.1,增强现实技术概述,一、增强现实技术,VR,与,AR,特征对比,VR,AR,沉浸,感（完全虚拟）,虚实,结合,交互性,实时交互,想象力,三维注册,注意,:,1.VR,看到的场景和人物,全是虚拟,的，是把人的意识带入虚拟的世界。,2.AR,看到的场景和人物,一部分是真实，一部分是虚拟,，是把虚拟的信息带入到现实世界中。,12.1 增强现实技术概述一、增强现实技术交互性实时交互,12.1,增强现实技术概述,一、增强现实技术,VR,与,AR,特征对比,AR,增强的虚拟建筑信息,VR,营造封闭的虚拟的世界,12.1 增强现实技术概述一、增强现实技术AR增强的虚拟,12.1,增强现实技术概述,二、,AR,系统的基本结构,（,1,）,场景采集系统,采集真实场景，并传送给虚实合成系统。,（,2,）头部,跟踪系统,实时跟踪头部方向和位置信息，并将信息传给虚拟场景发生器。,（,3,）,虚拟场景发生器,根据这些数据确定虚拟对象在真实场景中应呈现的大小、方向和位置。,（,4,）虚拟图像以及在真实场景图像中的位置信息传送给,虚实合成系统,；,（,5,）经过,虚实合成系统合成,带有增强信息的虚实融合场景，显示在,显示系统,上。,12.1 增强现实技术概述二、AR系统的基本结构（1）场,12.1,增强现实技术概述,二、,AR,系统的基本结构,设计开发一个,AR,系统基本步骤：,生成虚拟景物,对信息进行,比对分析,获取信息,显示,获取真实场景的信息，如外界环境的视频、图像等。,对真实场景和相机位置信息进行比对分析。,如用户头部方位、视线方向等位置姿态，相机的位置和坐标等信息,。,生成要增加的虚拟景物，如虚拟的物体或者虚拟的信息等。,虚拟信息在真实环境中显示出来。,12.1 增强现实技术概述二、AR系统的基本结构生成虚拟,12.1,增强现实技术概述,三、,AR,与,VR,的联系与区别,AR,与,VR,的相同点,1.,都需要计算机生成相应的虚拟信息,2.,都需要用户使用显示设备,3.,都需要与虚拟信息进行实时交互,AR,与,VR,的不同点,1.,用户对沉浸感要求不同,2.,对注册的意义和精度要求不同,3.,对于系统计算能力要求不同,4.,侧重的应用领域不同,12.1 增强现实技术概述三、AR与VR的联系与区别AR,12.1,增强现实技术概述,三、,AR,与,VR,的联系与区别,相比于,VR,，,AR,由于技术难度大（尤其光学部分），硬件要求高，目前产品种类不多，价格昂贵，没有形成大规模量产。,移动式,VR,眼镜,VR,头盔与一体机,AR,眼镜,产品技术含量,技术含量低,技术含量高,技术含量非常高,对硬件性能的要求,对硬件性能的要求较低，主流智能手机配置即可,对硬件性能要求很多，以高端配置的,PC,主机为主，,GPU,要求很高,对硬件性能要求很高，尤其是光学投影与图像处理部分，高端的,CPU,与,GPU,，同时需保证硬件的小巧轻便,市场产品种类数量,产品种类多，数量庞大,产品种类一般，数量稍大,产品种类极少，数量极少,价格,售价偏低（,50-200,美金）,售价偏高（,400-800,美金）,价格及其昂贵（,1000-3000,美金，大部分还处于开发阶段）,代表产品,三星,GearVR,、,暴风魔镜、乐视,VR,Oculus Rift,、,HTC,Vive,、索尼,PS VR,微软,HoloLens,、,Meta,眼镜,12.1 增强现实技术概述三、AR与VR的联系与区别相比,12.1,增强现实技术概述,四、全球,AR,四大明星,微软,HoloLens,Magic Leap,Meta,以色列,Lumus,12.1 增强现实技术概述四、全球AR四大明星,12.1,增强现实技术概述,四、全球,AR,四大明星,-,微软,HoloLens,HoloLens,全息眼镜,由,Microsoft,公司于,2015,年,1,月,22,日发布，,2016,年,3,月发布消费者版本，价格为,3000,美元。,HoloLens,的功能定位是通过,AR,技术使得用户拥有良好的交互体验。,HoloLens,模拟游戏,HoloLens,辅助,3D,建模,12.1 增强现实技术概述四、全球AR四大明星-微软,12.1,增强现实技术概述,四、全球,AR,四大明星,-,微软,HoloLens,对,HoloLens,进行拆解，其主要硬件是：,全息处理单元、光学投影系统（微投影仪,+,光导透明全息透镜）、摄像头与传感器部分、存储部分、其他部件（耳机,+,麦克风,+,电池,+,结构件等）。,12.1 增强现实技术概述四、全球AR四大明星-微软,12.1,增强现实技术概述,四、全球,AR,四大明星,-Magic Leap,Magic Leap,于,2011,年在美国成立，是一个类似微软,HoloLens,的增强 现实平台，主要研发方向就是将三维图像投射到人的视野中，采用技术难度极大的,光场技术,。,Magic Leap,采用光导纤维技术和光场技术,Magic Leap,演示巨鲸从篮球场跃出,12.1 增强现实技术概述四、全球AR四大明星-Ma,12.1,增强现实技术概述,四、全球,AR,四大明星,-Meta,Meta,采用独特的技术，可以使用户通过,双手控制,3D,内容，自己就成为 操作系统。其目标是让用户和虚拟物体之间的互动成为真实世界体验的 一个无缝扩展，建立一个比,Macintosh,容易使用,100,倍的操作系统。,Meta,官网,12.1 增强现实技术概述四、全球AR四大明星-Me,12.1,增强现实技术概述,四、全球,AR,四大明星,-,以色列,Lumus,2016,年,5,月，,Lumus,宣布获得来自盛大投资和水晶光电的,1500,万美元,B,轮融资。公司主要技术之一是,波导光学元件,，将画面投射到特殊透明屏幕上的技术。,Lumus,核心技术为波导光投影,Lumus,发布的,AR,眼镜设计图,12.1 增强现实技术概述四、全球AR四大明星-以色,12.2,增强现实核心技术,AR,核心技术有三种：显示技术、三维注册技术、标定技术。,12.2.1,显示技术,增强现实的显示技术分,三,类：,头盔显示器,显示、,手持显示器,显示、,投影显示器,显示,。,（,1,）头盔显示器（,HMD,）,头盔显示器分为,视频透视式,显示器和,光学透视式,显示器两种。,AR,中的,HMD,与,VR,中的,HMD,不同。,VR,中的,HMD,将现实世界隔离，只能看到虚拟世界中的信息。,AR,中的,HMD,将现实世界和虚拟信息两个通道的画面重叠显示给用户。,12.2 增强现实核心技术AR核心技术有三种：显示技术、,12.2,增强现实核心技术,12.2.1,显示技术,(a),视频透视式显示器,由安装在用户头盔上的摄像机摄取真实世界的图像，计算机通过对这些图像进行计算处理，将要添加的图像信号叠加在视频信号上，通过,视频图像叠加器,实现虚拟场景和真实场景的融合，最后显示给用户。,(b),光学透视式显示器,用户借助,光学融合器,部分透明，部分折射的原理完成虚实场景的融合，半透明可以直接透过融合期看到真实世界，半反射可以反射来自上方的显示器显示场景生成器生成的虚拟图像。,12.2 增强现实核心技术12.2.1 显示技术,12.2,增强现实核心技术,12.2.1,显示技术,(b),光学透视式显示器,光学投影主要原理方案：,Stereoscopic,（立体光，技术难度较大，相对成熟）和,Light Field,（光场，技术难度很大，实验阶段）。,HoloLens,采用立体光技术,Magic Leap,采用光场技术,视网膜,中央凹,投影仪,融合器,场景对象,光源,图像,照相机,12.2 增强现实核心技术12.2.1 显示技术,12.2,增强现实核心技术,12.2.1,显示技术,（,2,）手持显示器,常用手持式显示器设备包括智能手机、,PDA,等。手持显示器易于携带，避免了佩戴头盔的不适感。,（,3,）投影式显示,投影式显示是,由计算机生成的虚拟信息直接投影到真实场景上进行增强,。,手持式显示器,投影式显示器,12.2 增强现实核心技术12.2.1 显示技术,12.2,增强现实核心技术,12.2.2,三维注册技术,为了实现虚拟信息和真实环境的无缝结合，必须将虚拟信息显示在现实世界的正确位置，这个定位的过程就是注册。,注册,（,1,）,实时检测,用户,头部,佩戴摄像头的,位置,和用户视线的方向。,（,2,