可视化、多媒体与虚拟现实仿真课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,研究生学位课程系统建模与仿真,8 可视化、多媒体与虚拟现实仿真,科学计算及仿真可视化,多媒体仿真,虚拟现实仿真,11/15/2024,1,8 可视化、多媒体与虚拟现实仿真科学计算及仿真可视化9/27,8.1 科学计算可视化,含义,把计算中所涉及和所产生的数字信息转变为直观的、以图像或图形信息表示的、随时间和空间变化的物理现象和物理量呈现在研究者面前，使他们能够观察到模拟和计算，同时提供与模拟和计算的视觉交互手段。,通过人的视觉和现象思维，促进对所观察数据的进一步理解，飞行客观世界隐藏的现象和规律。,11/15/2024,2,8.1 科学计算可视化含义9/27/20232,8.1 科学计算可视化,可视化的三个层次,后处理,将计算与可视化（事后）分开进行。仅可视化可以交互。,跟踪,边计算，边显示，以监视计算过程，只可中止计算，但不能。修改参数,驾驭,实时观察计算结果，实时干预、调整参数,11/15/2024,3,8.1 科学计算可视化可视化的三个层次9/27/20233,8.1 科学计算可视化,主要技术问题,可视化映射技术,数据类型：标量、矢量和张量；二维、三维或高维；静态，动态；结构化数据，非结构化数据,映射：图形元素、颜色、透明度等,数据管理与操纵技术,数据管理：存储、分类,数据操作：过滤、变换,11/15/2024,4,8.1 科学计算可视化主要技术问题9/27/20234,8.1 科学计算可视化,主要技术问题,人机界面技术：图形交互、数据交互,系统实现技术：可视语言和程序可视,11/15/2024,5,8.1 科学计算可视化主要技术问题9/27/20235,8.1 科学计算可视化,科学计算可视化框架模型,模拟仿真,数据操作,可视化映射,图形绘制,用户界面,用户,数据,图像,可视化过程,11/15/2024,6,8.1 科学计算可视化科学计算可视化框架模型模拟仿真数据操作,8.2 多媒体仿真,多媒体仿真概念,多媒体：文本、图形、动画、图像和声音,多媒体仿真：使人的感官和思维进入仿真回路的一种手段。,基本技术,数字化信息处理技术；音频和视频技术；人工智能和模式识别技术；图形图像技术；通讯技术,11/15/2024,7,8.2 多媒体仿真多媒体仿真概念9/27/20237,8.2 多媒体仿真,多媒体仿真的研究方法,面向仿真对象,面向多个媒体,面向交互决策,11/15/2024,8,8.2 多媒体仿真多媒体仿真的研究方法9/27/20238,8.2 多媒体仿真,多媒体仿真的主要研究内容,多媒体仿真模型和仿真算法,表现方法与表现脚本生成技术,多媒体仿真数据库,地理景物表现技术,人机交互技术,11/15/2024,9,8.2 多媒体仿真多媒体仿真的主要研究内容9/27/2023,8.3 虚拟现实仿真技术,虚拟现实技术的特征及系统的基本构成,虚拟现实技术的发展概况,位置跟踪通道,视觉通道,听觉通道,触觉/力反馈通道,虚拟场景,11/15/2024,10,8.3 虚拟现实仿真技术虚拟现实技术的特征及系统的基本构成9,8.3.1 虚拟现实技术的特征及系统的基本构成,基本概念,虚拟现实（Virtual Reality）：是一种可以创建和体验虚拟世界的计算机系统。,虚拟环境（Virtual Environment）：是一种由计算机和电子技术生成的，通过视、听、触觉等作用于用户，使之产生身临其境的感觉。,虚拟现实技术与一般交互式仿真技术的区别,信息的多维性,人机交互的自然性,人对虚拟环境感觉的真实性,知识性与智能性,11/15/2024,11,8.3.1 虚拟现实技术的特征及系统的基本构成基本概念9/2,8.3.1 虚拟现实技术的特征及系统的基本构成,基本特征,沉浸(Immerion)：真实感受,交互(Interaction)：多方位参与,创意(Imagination)：感性与理性的结合,基本技术,计算机图形学、图象处理与模式识别,人工智能、多传感器、多媒体信息处理,网络、并行处理、智能控制,系统建模与仿真、系统集成,11/15/2024,12,8.3.1 虚拟现实技术的特征及系统的基本构成基本特征9/2,8.3.1 虚拟现实技术的特征及系统的基本构成,虚拟现实系统基本构成,虚拟环境产生器,应用系统：目标生成（三维建模、造型）；用户应用系统（定义操作内容）和仿真管理器（管理仿真过程）,计算机系统：高速的运算、图形处理、输入输出能力,效果产生器,头盔显示器：采用双视原理生成的双屏图象,位置与方位跟踪器：人眼视线、眼球位置变化、手的位置方位和曲伸,触觉/力反馈装置：测量人对作用对象的作用力，进而生成反作用力。,接口设备,硬件设备：信号转换与数据输入输出接口,软件设备：,11/15/2024,13,8.3.1 虚拟现实技术的特征及系统的基本构成虚拟现实系统基,8.3.2 虚拟现实发展状况,发展,立体电影,飞行模拟器,三维立体显示：1965年VR先锋，Sutherland,力反馈装置：1981年，Fredrick Brooks,头盔显示器：1985年，Myron Krueger,数据手套：1985年，Scott Fisher,NASA,虚拟现实概念：1989年，Jaron Lanier提出,11/15/2024,14,8.3.2 虚拟现实发展状况发展9/27/202314,8.3.2 虚拟现实发展状况,关键技术,实时图形与图象：15帧/秒，8000万多边形,位置跟踪与映射技术：,手腕:3 m/s;眼睛:600/s;头部:1000/s,触觉/力反馈技术：01Khz振动，0.15mm位移,人的心理因素：人的感知、认知和大脑神经,系统集成技术：各种技术和设备接口不统一，没有统一的技术标准。,11/15/2024,15,8.3.2 虚拟现实发展状况关键技术9/27/202315,8.3.3 位置跟踪通道,参与者与虚拟环境的互动,直接互动：参与者的操作引起环境的变化,间接互动：参与者位置的变化（头、眼、手、身），导致环境必须随之变化,位置跟踪技术：,三维位置跟踪器：头的平移和转动、手或关节的运动，眼球的运动,基本技术：电磁、超声波,11/15/2024,16,8.3.3 位置跟踪通道参与者与虚拟环境的互动9/27/20,8.3.3 位置跟踪通道,三维电磁传感器,三套正交线圈：空间坐标、方位,易受环境电磁干扰,驱动电路,计算机,检测电路,磁场,发送器,接收器,输出,11/15/2024,17,8.3.3 位置跟踪通道三维电磁传感器驱动电路计算机检测电路,8.3.3 位置跟踪通道,超声波三维传感器,三套超声波发送，接收及控制部件,不能遮挡，易受金属干扰,视景生成器,计算机,检测电路,超声波,发送器,接收器,(麦克风),头部,输出,头盔显示器,控制单元,11/15/2024,18,8.3.3 位置跟踪通道超声波三维传感器视景生成器计算机检测,8.3.3 位置跟踪通道,数据手套,一种位置跟踪设备，一种数字化输入设备,手的6个自由度,每个手指关节有两个光导纤维传感器，可测量关节的弯曲和相对位置,11/15/2024,19,8.3.3 位置跟踪通道数据手套9/27/202319,8.3.4 视觉通道,视景生成过程,获取图象,生成图形,生成语音,集合变换,投影变换,生成音乐,声音、图象与文字的集成、融合与同步,左声图通道,右声图通道,视景生成命令,11/15/2024,20,8.3.4 视觉通道视景生成过程获取图象生成图形生成语音集合,8.3.4 视觉通道,三维立体图象的生成算法,单点透视投影,双点透视投影,基于相关性的立体图形光线跟踪算法,由左视点投影点可以计算出右视点投影点,11/15/2024,21,8.3.4 视觉通道三维立体图象的生成算法9/27/2023,8.3.4 视觉通道,立体视觉设备,种类：头盔显示器，立体眼睛，投影式显示器,头盔显示器,显示部件：液晶显示屏。分辨率：1个微弧度，延时：0.1s，图象质量：丰富多彩，避免畸变。,光学部件：光学系统使液晶成象于观察者能够看清的距离。（包括视场：双眼：水平180度，垂直135度）,头盔：定位部件与功能部件的集中：显示、跟踪、定位与音响集成。尺寸重量。,11/15/2024,22,8.3.4 视觉通道立体视觉设备9/27/202322,8.3.5 听觉通道,虚拟声音的产生,语音声音,语音识别与合成：,声音还原技术：存储、选择、输出,文本语音转换技术：波形编辑、参数合成、基于规则的合成,非语音声音,频谱组合法，结合环境声音模型库,录音，结合物体与环境的交互库,11/15/2024,23,8.3.5 听觉通道虚拟声音的产生9/27/202323,8.3.5 听觉通道,虚拟声音的定位,混响时间差：声音传递到人的左右耳有时间差异,混响压力差：声波对人的左右耳的压强差,11/15/2024,24,8.3.5 听觉通道虚拟声音的定位9/27/202324,8.3.6 触觉/力反馈,人体触觉系统,触觉系统不仅可以感知环境，而且可以影响环境,子系统：机械、感觉、运动和认知,机械、运动：人手有19块骨头，20条肌肉，22个自由度的运动,感觉：接触力：触觉（皮肤接触，刺激神经），运动觉（肢体与物体相当运动）,认知：探测、操作。,11/15/2024,25,8.3.6 触觉/力反馈人体触觉系统9/27/202325,8.3.6 触觉/力反馈,触觉/力反馈技术,分类,自由运动：与环境不产生物理接触,由不平衡力形成的接触：指压一个物体,由平衡力形成的接触：抓握、一点一个物体,11/15/2024,26,8.3.6 触觉/力反馈触觉/力反馈技术9/27/20232,8.3.6 触觉/力反馈,触觉/力反馈技术,发展概况,力和力矩显示装置,游戏杆：2、3个自由度,手控器：6个自由度,表面压力反馈装置：直接接触（手有2个自由度）与间接接触（工具6个自由度）的力,力学反馈手套：压敏元件、压力气囊,触觉显示装置,力显示：,位移显示：形变,软件：,触觉交互软件、虚拟物体和环境的物理模型、润色触觉图象,11/15/2024,27,8.3.6 触觉/力反馈触觉/力反馈技术9/27/20232,8.3.7 虚拟场景的生成,虚拟场景静态模型建立,静态模型：几何模型，灰度模型，纹理模型，渲染效果,模型建立：,工具：OpenGL、WTK、VRML,方法：点、线、面、多边形、贴图,虚拟场景动态模型的建立,内容：,确立场景中对象在运动过程中的坐标,视点变化时场景的更新,方法,坐标变换：本体坐标系、世界坐标系、窗口坐标系、透视投影变换,11/15/2024,28,8.3.7 虚拟场景的生成虚拟场景静态模型建立9/27/20,结束！,11/15/2024,29,结束！9/27/202329,树立质量法制观念、提高全员质量意识。,11月-24,11月-24,Friday,November 15,2024,人生得意须尽欢，莫使金樽空对月。,11:14:23,11:14:23,11:14,11/15/2024 11:14:23 AM,安全象只弓，不拉它就松，要想保安全，常把弓弦绷。,11月-24,11:14:23,11:14,Nov-24,15-Nov-24,加强交通建设管理，确保工程建设质量。,11:14:23,11:14:23,11:14,Friday,November 15,2024,安全在于心细，事故出在麻痹。,11月-24,11月-24,11:14:23,11:14:23,November 15,2024,踏实肯干，努力奋斗。,2024年11月15日,11:14 上午,11月-24,11月-24,追求至善凭技术开拓市场，凭管理增创效益，凭服务树立形象。,15 十一月 2024,11:14:23 上午,11:14:23,11月-24,严格把控质量关，让生产更加有保障。,十一月 24,11:14 上午,11月-24,11:14,November 15,2024,作业标准记得牢