14多媒体关键技术

14 多媒体关键技术本节将从两个角度讨论多媒体关键技术，一是研制多媒体计算机系统要解决的关键技 术，对此仅作一些简单的介绍；另一方面对多媒体应用的关键技术进行概述，具体内容将在 后续章节中展开，这是学习的重点。141 多媒体计算机系统要解决的关键技术1视频、音频等媒体数据压缩解压缩技术 研制多媒体计算机需要解决的关键问题之一是要使计算机能实时地综合处理文、声、图 等多种媒体信息，然而，由于数字化的声音、图像等媒体数据量非常大，致使在目前流行的 计算机产品，特别是个人计算机系列上开展多媒体应用难以实现，例如，未经压缩的视频图 像处理时的数据量每秒约28MB,而播放一分钟立体声音乐就需要100 MB的存储空间。视 频与音频信号不仅数据量需较大存储空间，还要求传输速度快。因此，既要对数据进行数据 的压缩和解压缩的实时处理,又要进行快速传输处理。 而对总线传送速率为 150kbs 的IBMPC或其兼容机处理上述音频、视频信号必须将数据压缩200倍，否则无法胜任。因此， 视频、音频数字信号的编码和压缩算法是重要的研究课题。编码理论研究已有40多年的历 史，技术日臻成熟。在研究和选用编码时，要注意两点：一是该编码方法能用计算机软件或 集成电路芯片快速实现；二是一定要符合压缩编码解压缩编码的国际标准。关于数字电视与数字电视机，随着数字电视QTV）的开播，将给人们带来前所未有的高 品质电视画面和逼真的环绕立声体效果。人类的生活质量将经历一次类似从马车向汽车转变 的巨大变革。什么是数字电视？按照中国电子行业标准，数字电视是从电视信号的采集、编辑、传播、 接收整个广播链路数字化的数字电视广播系统。与传统的模拟电视（TV）相比，其优点是可基 本实现高保真传输，即图像、伴音质量与演播室效果无差异。而现有的模拟电视广播，模拟 信号离发射塔越远，衰减越严重。同时由于可以采用数据压缩技术，传输一套模拟节目的频 道可用来同时传输46套数字电视节目，大大降低发射、传输费用。数字电视节目的制作，数字电视节目根据内容的不同，采用不同制式摄制，其中大部分 电影、电视连续剧和商业广告都先摄制在分辨率很高的胶片上，而现场演出或体育比赛实况 则用高清晰度电视（HDTV）摄像机摄制。一般来说，有1080 i制式，即每帧画面有1080行 隔行扫描线，每行含有1920个像素，则一帧画面超过200万像素， （像素越多越清晰），另 有一种720 P制式，即720行逐行扫描线，每行像素1280个，每帧画面近100万像素。另 外还有720 i制式（720行隔行扫描），还有480P制式（480行逐行扫描）。最终将出现设想中 的具有数字电视最高分辨率水平的1080 P制式（1080行逐行扫描）。无论哪种制式的数字电 视节目摄制后，都必须经过数字化处理后用于播出。数字电视节目数据的压缩与传输，没有数字压缩技术，数字电视就不能产生。数字电视 和其它数字视频系统采用 MPEG-2 压缩方案，用巧妙的算法对一幅画面进行分析；并经有 效的方式对画面数据进行代码冗余处理。在数据的传输过程中，将根据节目的要求，采用不 同制式用不同的带宽传输数据：例如体育比赛要求信息传输量大，速率更快，须采用（HDTV） 制式占用一个带宽，而相同的带宽可以混输26套电影、戏剧等信息量少、速率慢的SDTV 制式节目。电视台将根据节目类型、画面分辨要求，采用不同的制式、不同速率进行数据压 缩播出，以此达到数据最佳传输效果。数字电视最终收看效果取决于数字电视机，不论电视台采用什么制式进行节目的制作或 传输，新型的数字电视机将对数字信号自动处理，并显示接收到的节目。为能自动处理数字 信号，数字电视机必带有数字电视调谐器和解码器，有些电视机在加装一个单独模块或一个 机顶盒后也能达到相同作用。美国消费电子协会最近界定了数字电视机标准，分为高清晰度 电视(HDTV),增强清晰度电视(EDTV),标准清晰度电视(SDTV)三类。均采用16 : 9或4： 3 的屏幕宽高比，杜比数字音响。国内市场上的数字化彩电,最近国内市场出现了大量数字化彩电、数码彩电；都是在不 改变现行的广播传输体制(模拟体制)前提下,将经过图像检波的视频信号、经过伴音鉴频的 音频信号以及其它部分进行数字处理的广播电视接收机。由于不带数字电视调谐器、解码器 或不能加装模块、机顶盒(即不能升级),所以都只能是数字化彩电,不能称为数字电视机。 1998年 5 月,长虹集团数字电视机样机才刚刚出现,而其它彩电厂商如康佳集团等力争三 年后有数字电视机上市。要实现数字电视广播,首先要对电视信号的采集及传输体系的制式进行变更；其次对节 目摄录设备、电视台广播设备、传输设备,用户中电视接收机全面更新换代。英、美两国 1998年数字电视广播已进入部分家庭,其中美国宣布在2006年全部淘汰现有模拟电视系统, 而我国中央电视台1995年才购买数字播出设备, 1999年进行了试播。要在我国全面开通数 字电视广播业务需要500多亿资金投入建立数字电视台,需要更多资金进口昂贵的数字电视 机(7000美元100000美元每台)，显然是不现实的，因此我国的数字电视广播的开通还有 一段漫长的路要走,而模拟电视系统将在相当长的时间内存在。2多媒体专用芯片技术多媒体专用芯片基于大规模集成电路(VLSI)技术，它是多媒体硬件体系结构的关键技 术，因为，要实现音频、视频信号的快速压缩、解压缩和播放处理，需大量的快速计 而实 现图像的特殊效果：如改变比例尺、淡人淡出等，图像的生成、绘制等处理以及音频信号的 处理等，只有采用专用芯片进行处理，才能取得满意的效果。多媒体计算机专用芯片可归为两类：一类是固定功能的芯片；另一类是可编程的数字信 号处理器DSP芯片。最早推出的固定功能的专用芯片是图像处理的压缩处理芯片，即将实 现静态图像的数据压缩解压缩算法做在一个专用芯片上，从而大大提高其处理速度。以 后，许多半导体厂商或公司又推出执行国际标准压缩编码的专用芯片，例如支持用于运动图 像及其伴音压缩的MPEG标准芯片，芯片的设计还充分考虑到MPEG标准的扩充和修改。 由于压缩编码的国际标准较多，一些厂家和公司还推出多功能视频压缩芯片，例如美国集成 信息公司(I ntegrated InformationTechnology推出的视频压缩芯片 VP(Video Processor)。而 Intel 公司的750芯片，不仅为多媒体应用提供了足够的计算能力，而且已达到1BIPS(Billion Lnstructions Per Second)的运算速度。还有高效可编程多媒体处理器，由于采用多处理器并 行技术，计算能力可达到2BIPS。这些高档的专用多媒体处理器芯片，不仅大大提高了音、 视频信号处理速度，而且在音频、视频数据编码时增加特技效果。除专用处理器芯片外，多媒体系统还需要其他集成电路芯片支持，如数模(D/A)和模 数(A/D)转换器、音频、视频芯片、彩色空间变换器及时钟信号产生器等。3多媒体存储和检索技术 从本质上说，多媒体系统是具有严格性能要求的大容量对象处理系统，因为多媒体的音 频、视频、图像等信息虽经压缩处理，但仍需相当大的存储空间 即使大容量的硬盘，也存 储不了许多媒体信息。只有在大容量只读光盘存储器，即 CDROM 问世后，才真正解决 了多媒体信息存储空间问题。在CDROM基础上，还开发有CDI和CDV,即具有活 动影像的全动作与全屏电视图像的交互可视光盘。在只读CD家族中还有称为“小影碟”的 VCD、可录式光盘CDR、画质和音质较高的光盘DVD以及用数字方式把传统照片转存 到光盘，使用户在屏幕上可欣赏高清晰度照片的 Photo CD。 EVD(Enhanced Versatile Disk) 意思是增强型多媒体盘片系统，俗称“新一代高密度数字激光视盘系统”，是DVD的升级产 品，EVD产品的解像度是DVD的五倍，在声音效果方面则于国际上首次同时实现高保真和 环绕声，一张EVD影碟目前可存储约一百一分钟的影音节目，有关专家指出，EVD将震 撼音效和亮丽画质完美结合，首次基于光盘实现了高清晰度数字节目的存储和播放。20 世 纪 80 年代初，一次写入型光盘问世，随后可读写光盘被研制出来，使其具有同硬盘竞争 的有利条件。现在，硬盘、光盘、大容量活动存储器以及网络存储系统的不断升级换代为多 媒体存储提供了便利的条件。4多媒体输入输出技术 媒体输入输出技术包括多媒体输入输出设备、媒体显示和编码技术、媒体变换技术、 识别技术、媒体理解技术和综合技术。 媒体变换技术 指改变媒体的表现形式，如当前广泛使用的视频卡、音频卡（声卡） 都属媒体变换设备。 媒体识别技术 对信息进行一对一的映像过程。例如语音识别是将语音映像为一串 字、词或句子；触摸屏是根据触摸屏上的位置识别其操作要求。 媒体理解技术 对信息进行更进一步的分析处理和理解信息内容，如自然语言理解、 图像语音模式识别这类技术。 媒体综合技术 把低维信息表示映像成高维的模式空间的过程，例如语音合成器就 可以把语音的内部表示综合为声音输出。媒体变换技术和媒体识别技术相对比较成熟，应用较广泛。而媒体理解和综合技术目 前还不成熟，只在某些特定场合用。但这些课题的研究正在受到普遍重视。输入与输出技 术进一步发展趋势是： 人工智能输入/输出技术 主要包括语音识别、语音合成、语言翻译、语言和文本间 转换；图像识别和处理，图文表分离技术；笔式输入技术和智能推理技术等。围绕实用 过程均需进一步解决压缩、集成和交互、同步等处理。 外围设备控制技术 主要包括多媒体文件存储、数据格式转换、控制界面、外围设备 驱动程序、调色板控制、高分辨率全彩色显示、三维彩色、声音效果处理、通信效果处理、 多媒体窗口程序等。 多媒体网络传输技术 主要包括网络管理技术、高速网络协议、开放式文件结构、视 像会议、不同网络间的传输技术、 ISDN 通信技术、电子邮件传送等。多媒体信息传输对网 络的基本要求是同步、不间断。5多媒体系统软件技术 多媒体系统软件技术主要包括多媒体操作系统、多媒体编辑系统、多媒体数据库管理技 术、多媒体信息的混合与重叠技术等。（1）多媒体操作系统 多媒体系统要求该操作系统要像处理文本、图形文件一样方便灵活地处理动态音频和 视频；在控制功能上，要扩展到对录像机、音响、 MIDI 等声像设备以及光盘存储设备等； 多媒体操作系统要能处理多任务，易于扩充；要求数据存取与数据格式无关，提供统一的友 好界面，为支持上述要求，一般是在现有操作系统上进行扩充。多媒体操作系统有两种设计 方法：一种是设计专用的多媒体实时操作系统（如CDI系统的CDRTOS等）；另一种是 在通用操作系统或窗口系统支撑环境下设计音频、视频子系统或音频视频内核 （Audio / Video Kernel，AVK）,音频、视频子系统可在通用操作系统环境上运行，而AVK则可在视 窗系统（如Windows）环境上运行。Windows从3. 1版本开始提供对多媒体的支持，包括多 媒体开发工具包MDK、底层应用程序接口（API）和媒体控制接口（MCI）。多媒体应用系统的 设计者只需直接用它们进行开发，不必再关心物理设备的驱动程序。 IBM 公司的 OS/ 2、 苹果公司的 Macintosh 操作系统都提供了对多媒体的支持。AVK方式是目前多媒体操作系统的主流，较通用的多媒体支持软件主要采用Windows 环境。Windows环境具有多任务功能，其图形用户界面(GUI)、动态连接库(DDL)和动态数 据交换(DDE)功能，特别是提供的多媒体支持和对象连接与嵌入(OLE)功能，均为多媒体软 件提供了很好的支持。而 Windows95 及以后版本提供的基于图形的多任务、多窗口环境， 支持“即插即用”规范，更为多媒体环境的建立创造了便捷的条件。(2)多媒体数据库技术 由于多媒体信息是结构型的，致使传统的关系数据库已不适用于多媒体的信息管理，需 要从以下几个方面研究数据库： 研究多媒体数据模型 面向对象技术与数据类型，而面向对象技术的发展推动了数据 库技术的发展，面向对象技术与数据库技术的结合导致基于面向对象数据模型和基于超媒体 模型的数据库都在研究之中。 研究数据压缩和解压缩的格式 该技术主要解决多媒体数据过大的空间和时间开销 问题。压缩技术要考虑算法复杂度、实现速度以及压缩质量问题。 研究多媒体数据管理及存取方法。 用户界面 用户界面除提供多媒体功能调用外，还应提供对各种媒体的编辑功能和变 换功能。由于多媒体数据对通信带宽有较高的要求，需要有与之相适应的高速网络，因此还要解 决数据集成、查询、调度和共享等问题，即研究分布式数据库技术。而智能多媒体数据库， 将人工智能技术与多媒体数据库技术相结合，会使数据库产生质的飞跃，是重要的发展方向。 142 多媒体应用设计中的关键技术多媒体应用设计关键技术主要包括多媒体素材采集和制作技术、多媒体应用软件开发技 术、多媒体创作工具环境、多媒体界面设计与人机交互技术、多媒体通信技术和虚拟现实技 术等。1多媒体素材的采集和制作技术 由于文本、图形或图像、二维或三维动画素材制作都有许多功能强、界面友好的通用软 件工具或制作平台提供给设计者，所以多媒体素材的采集与制作主要围绕着音频和视频信 号展开，即声音和视频信号的抓取与播放、音视频信号的混合和同步、数字信号的处理、 显示器(VGA)和电视(TV)信号的相互转换。同时还涉及到相应的媒体采集、制作软件的使用 问题。2多媒体应用软件开发技术 直至目前，多媒体的全面应用还有许多软件技术问题有待解决，这里仅对多媒体应用中 必须掌握和了解的软件技术基础知识做简单介绍。1) 面向对象的设计方法和编程技术面向对象是 20世纪80 年代初提出的一种全新的软件开发方法，是概念模型实现的方 法与技术，简称OO(ObjectOriented)。面向对象方法的基本思想是：对问题领域进行自然 的分割，以更接近人类思维的方式建立问题领域模型，以便于对客观信息实体进行结构模拟 和行为模拟，从而使设计的软件尽可能表现问题求解的过程。OO 设计方法的主要特点是具有数据抽象、封装、继承和消息传递。数据抽象即类和子 类的概念和相互关系；封装则是把数据与其操作一体化；而继承使父类属性及操作可向子类 传递，这是自动共享类中数据及其操作的机制，表示了类与类之间的一种层次关系；消息传 递是客观事物之间的相互作用用统一的消息传递方法来描述。在OO方法中，对象是作为描述信息实体的统一概念，可以被看做是可重复使用的构 件，为应用程序的重用提供了支持，修改也十分容易。这种设计方法突出的优点，一是易于 设计、实现和理解，即增强可读性；二是其软件模块化的特点大大增强软件的可靠性和可维 护性。因为每个对象是独立的，绝大部分数据局限于对象本身内，即具有“功能内聚性”， 从而减少编程设计的数据传递，因此OO的开发效率高。而OO方法提供的用户或系统可重 新定义对象的结构，大大地增强了系统的灵活性。显然面向对象方法和技术非常适合于解决多媒体应用的问题，因为各种媒体尽管信息 存储格式不同，处理方式不同，呈现给用户的方式也各异，但在如下几点仍有共同之处： 无论何种媒体，在计算机内均以数据文件的形式为载体； 各种媒体程序操纵用户界面目前都是采用流行的可视界面，即窗口、菜单、图标等; 在作为数据库内的记录时，都有插入、删除、修改、检索等通用的操作； 不同媒体虽对应不同的处理，但激活的事件，如文件的呈现、播放及同步等均相同。 多媒体系统为不同媒体形式提供相同的接口，从而实现系统设计方法上的一致性。对象把数据和方法封装在一起，把内部的数据结构隐藏起来。方法则由消息驱动，消息是对象 的方法巧妙地为复杂的多媒体信息提供的抽象机制，当然方法的实现依赖于各自的媒体形 式。如将各种媒体归并为一对象类，各媒体就是相应对象类的实例，从而充分发挥面向对象 方法的可重用性及增量式开发的优点。2）对象的连接与嵌入技术对象的连接和嵌入技术（Object Linking and Embedding，OLE）是把多媒体集成在一起实 现的基本方法。使用OLE能生成一个包含其他应用程序数据的多媒体应用程序，其中可包 含许多不同格式表示的各种类型的数据。 OLE 使数据能够“记住”生成它的应用程序，并 且能为编辑或播放该数据而援引其应用程序，使用户无需进行应用程序转换即可在新的程序 中编辑、播放所连接或嵌入的数据。OLE通常将数据作为对象处理。一个OLE对象是能包含在另一个应用程序内并可由用 户操作的任何数据。例如，在一个教学软件系统中，可把用Winword Equition编写的一组数 学符号表达式或用画笔工具绘制的一个位图作为对象接人。当一个对象被编入某一应用程序 （称为客户）时，它与产生它的应用程序（称服务器）保持关联，这种关联可以是一个连接，也 可以是将对象嵌入，其区别为：连接对象在原始应用程序中的数据发生变化时，该对象能自动更新。这种关联方式下， 客户程序为对象所链的数据仅提供最小的存储，实际仅为存储的数据提供了一个链。嵌入方式则在编辑一个嵌入对象时，源文档不受影响。因为所有与对象有关的数据，在 嵌入式是作为嵌入文件的一部分存储起来的。对连接和嵌入的对象数据其表示和行为则是同样的。通常对产生和编辑对象的应用程序 称为服务器，例如上面提到的WinwordEquhion和画笔工具；对插入对象的应用程序称为客 户。但有些应用程序既可以是客户，也可以是服务器，还有一些就只能是客户或是服务器。对象的连接与嵌入技术对未来程序技术发展有着极其重要的作用，会成为操作系统核心 的主要部分。例如，在微软公司早期推出的Windows95及WindowsNT 3. 5等操作系统中， OLE 2. 0所提供的就已不仅仅是链接与嵌入，而强调的是组件（Components）概念。即软件 开发也像硬件卡用IC芯片组合一样，可用应用程序（自己开发或从厂商购买）集成组合而成。 虽然面向对象的编程语言环境也具有软件组装能力，但对象之间是隔绝、不相通的。而现在 则提出系统化的对象Obiectenabling规格说明，使对象间可依赖规格说明彼此相通与支援。 而组件对象模式（Component Obieet Model， COM），便是有关对象之间相互沟通的规格，它 本身是一个开放可扩充的规格，应用程序也可自行定义合适的界面来扩充其操作。OLE 定义和实现了一种允许将应用程序作为软件“对象”彼此进行连接的机制。这些 机制使开发人员不需要源代码，也不需要知道程序执行的详细情况，可以像硬件卡一样“即 插即用”，组构自己所需要的应用程序，从而大大减少编程工作，并获得质量较高，更灵活 的应用程序。3）超文本超媒体链接与导航技术（1）超文本超媒体链接超文本（Hypertext）是20世纪60年代由美籍丹麦科学家Ted Nelson提出并实现的，它是 一种数据结构组织链接方法。在此之前，计算机中的文本信息组织方式是线性顺序结构，尽 管检索、插入、删除等操作简便，但不完全符合人们的联想思维方式，因此出现了超文本这 种新颖的数据结构组织方式。超文本把许多数据信息块根据需要，按其逻辑顺序链接或网状 结构。从本质上说，超文本是一种信息管理技术，是由若干结点及结点间的链接构成的语义 网络，逻辑上结点表示信息单元、片断或其组合，链则表示结点信息之间的关系。结点和链接可以有多种拓扑结构，如线性结构、环结构、层次结构、有向图结构、部分 任意结构等。在超文本设计中，确定结点大小和结点与链的拓扑结构是十分重要的问题。结 点和链构成网络，通过在网络上的操作，超文本系统以非线性方式给用户提供了组织、存储 和检索信息的能力。超文本包括超文本数据库和人机界面两部分，二者之间有严格的对应关 系，数据库用于实际组织超文本结点和链，用户则通过人机界面索取、访问数据库，进行交 互操作。由于超文本提供了符合人类联想记忆的结构，可较好地实现对文本信息全面而有效 的管理。随着计算机技术的发展，多媒体技术很快波及各应用领域，多媒体信息大大丰富了信息 的表现形式，但信息组织结构仍是线性、顺序的。多媒体技术与超文本技术的结合，迅速发 展成了超媒体Hypermediao 一则超文本的结点与结点链形式可很容易地扩展到多媒体形式，从而支持了用超文本结构管理多媒体信息的超媒体技术；另外一方面多媒体的引入也使 超文本技术产生了跃变，不仅信息的交互程度和表达思想的准确性大大改善，而且交互界面 丰富多彩，十分生动。超媒体管理在信息组织、管理、检索方法上都与网络数据库相似，但 在存储和数据类型、模型、表现等方面进行了扩充。超媒体技术本身保证各媒体的独立性和 透明性，使用户在使用时可忽略媒体的差别而不受具体媒体影响和约束。超媒体实现的基本 原理、管理机制与超文本基本一致，但其管理的信息结构已从一维发展到多维，存储空间亦 扩大，具体的功能扩充有如下两点： 对结点和链表示的扩充； 采用面向对象方法设计超媒体的数据模型，使每种媒体都有自己的内部数据结构处 理信息过程。（2）超文本超媒体导航技术 超文本超媒体是交互式的信息呈现系统，在每一个结点面前，用户都面临“我在哪 里?”、“我下一步该到哪儿?”、“怎样做?”、“做什么？”等问题。用户需不断做出决定，选择 下一步路径。但由于系统信息量大，链接关系复杂，用户很容易产生“迷路”问题，这时就 需要系统帮助。因此，超文本/超媒体组织结构中的“导航”研究就成为其研究的热点课题。 各种导航策略出现，使导航技术成为超媒体技术中的重要组成之一。目前常用的导航策略有如下几种： 检索导航 系统提供检索机制供用户查询。 导航图导航 系统提供超媒体结构的网络图，用户可通过浏览导航图，确定自己当 前面对的结点位置，并且很方便地找到自己要去的下个结点，并直接进入该结点。 回撤导航 系统提供多种回撤按钮，如返回系统第一个结点，返回当前结点的前一 结点，返回用户事先选定的某结点等。 书签导航 系统提供若干书签号，用户在浏览过程中，对感兴趣的或认为是重要的 结点打上指定序号的书签，以后只要输入书签号，即可返回其对应的结点。 帮助导航 系统设置专门帮助菜单，提供用户解决问题的办法和指出有关路径，引 导用户走出“迷途”超媒体在超文本数据组成结构基础上进行了功能扩充，但它与多媒体是有区别的。在多 媒体系统中，大多是被动地显示不同媒体的片断，不能让用户获得在信息网络中自由航行的 能力。超媒体虽然尚无公认的标准定义，但一个良好的超媒体系统应具有如下重要特征： 结点信息是多媒体形式呈现，而且支持标准的窗口操作和多窗口形式； 具有网络结构的复杂信息链路，用户可用不同方式查询各结点内容； 具有良好的导航策略和导航工具以防止用户“迷路”即用户随时可确定自己所在的 位置。 具有窗口化的管理能力，包括修改、增加、删除结点和链的能力，对结点的内容有良 好的编辑能力； 可通过网络共享数据库； 具有交互操作能力和程序员接口。超媒体的上述特征是区别于超文本、数据库、多媒体系统等技术的主要标志。FrankC. Halast在总结Noteeards系统开发经验的文章中(ACM, July，1998(8), 825-836)，提出新一 代超媒体的六大特征为：快速查询、计算能力、导航能力、采用虚拟结构、可处理版本升级 管理、支持协同工作。新一代超媒体的重要发展趋势是将出版、计算机、电视与通信有机地联系在一起。用户 可将超媒体中的信息重新组织、出版或制作“立体”教材、交互电视、电影。例如，用户可 通过计算机的信息交互处理和重新组织剪辑信息功能，将电视台播放的新闻、电视片接收下 来，用超媒体系统做自动分类处理，构造自己感兴趣的节目。另外，随着信息基础设施的建 立，即“信息高速公路”的开通，Ted Nelson又提出了“空间超媒体”的概念。在计算机多 媒体技术、 TV、 CD 与通信技术集成环境的支持下，网络环境下超媒体结构不仅可实现对不 同地域，不同形式的信息资料的综合处理，还可将出版、新闻通信、广播影视、教育商业等 各个应用领域紧密地联系在一起，利用全球网络上的空间超媒体实现人类全社会的资源共 享。3. 多媒体创作工具及开发环境 多媒创作工具或编辑软件是多媒体软件系统的第三个层次，多媒体创作工具应具有操纵多媒体信息、进行全屏幕动态综合处理的能力，应支持应用开发人员创作多媒体应用软 件。4. 多媒体界面设计与人机交互技术多媒体界面交互技术主要是媒体集成技术和智能化技术。目前多媒体界面一般都能集 成文本、声音、图像、动画及视频等多种形式的信息于一个或多个窗口中，并提供对多种媒 体信息进行编辑、查询、检索等项功能，但应用设计者将面对的不是如何提供多媒体信息的 问题，而是在什么情况下，采用什么媒体及其集成以及提供相应的交互性和处理手段的问题。 人机界面进一步的研究课题是要实现界面智能化，使界面具有自适应能力。5. 多媒体通信技术 多媒体通信要求能够综合地传输、交换各种信息类型，而不同的信息类型又呈现出不同的特征，如语音和视频有较强的适应性要求，它容许出现某些字节的错误，但不能容忍任何 延迟；而对于数据来说则可容忍延迟，但却不能有错，因为即便是一个字节的错误都会改变 数据的意义。传统的通信方式各有自己的优点，但又都有自己的局限性，不能满足多媒体通 信的要求，因此，多媒体通信技术支持是保证多媒体通信实施的条件。信息高速公路本质上是传输各种信息的宽带网络，利用它可对多媒体信息进行传输，实 现多媒体通信。但对不同的应用，其技术支持要求有所不同。例如在信息点播服务中，用户 和信息中心为点对点的关系，信息的传输要采用双向通路；电视中心把信息发往各用户，则 要实现一点对多点的关系；而在协同工作环境CSCW应用中，各用户的关系就成为多点对 多点的，所以多媒体通信技术要提供上述连接类型。另外，在不同的应用系统中需采用不同 的带宽分配方式，多媒体通信的终端正呈现出计算机与家电产品互相融合的趋势。6虚拟现实技术这是用多媒体计算机创造现实世界的技术。虚拟现实英文是Virtusl Reality，也有人译 为临境或幻境。虚拟现实的本质是人与计算机之间进行交流的方法，专业划分实际上是“人 机接口”的技术，虚拟现实对很多计算机应用提供了相当有效的逼真的三维交互接口。虚拟 现实的定义可归纳为：利用计算机生成的一种模拟环境（如飞机驾驶、分子结构世界等），通 过多种传感设备使用户“投入”到该环境中，实现用户与该环境直接进行自然交互的技术。 可以说，“投入”是虚拟现实的本质。这里所谓的“模拟环境”一般是指用计算机生成的有 立体感的图形，它可以是某一特定环境的表现，也可以是纯粹的构想的世界。虚拟现实中常 用的传感设备包括穿戴在用户身上的装置，如立体头盔、数据手套、数据衣等，也包括放置 在现实环境中而不是在用户身上的传感装置。虚拟现实技术具有 4 个重要特证： 多感知性 除了一般计算机具有的视觉感知外，还有听觉感知、触觉感知、运动感 知，甚至可包括味觉和嗅觉等，只是由于传感技术的限制，目前尚不能提供味觉和嗅觉。 临场感 用户感到存在于模拟环境中的真实程度，理想的很难辨真假。 交互性 用户对模拟环境中物体的可操作程度和从环境中得到反馈的自然程度，其 中也包括实时性。 自主性 虚拟环境中物依据物理规律动作的程度。根据上述4 个特征，便能将虚拟现实与相关技术区分开来，如仿真技术、计算机图形技 术及多媒体技术，它们在多感知性和临场性方面有较大差别。例如，模拟技术很少用触觉， 它将用户当做旁观者，用户不能投入，可视场景不会随用户视点变化，也不强调实时交互。 而图形技术的感知手段不能使用户感到自己和生成的图形世界融合在一起；至于多媒体技 术，它不包括触觉等感知，而且处理对象主要是二维的。虚拟现实技术发展了通用计算机的 多媒体功能，在输入输出方法上也由普通键盘和两维鼠标发展为三维球、三维鼠标、数据 手套及数据衣等。虚拟现实技术是在众多相关技术上发展起来的，但又不是简单的技术组合，设计思想已 有质的飞跃。例如，虚拟现实与多媒体、可视化技术虽然都涉及声、文、图等媒体形式，但 都各有特点： 多媒体技术是对声、文、图各种媒体信息的综合处理和交互控制，但并不要求有身临 其境的立体感，不考虑使用者的空间位置对声音和图像的影响。 虚拟现实技术由人工建立多维空间，并具有能造成使用者置身于现实的多种特性， 即具有立体感的视觉显示、置身于环境中的显示、多种形式媒体的交互手段等。 可视化技术则是把科学计算或管理信息数据转换成形象化的信息形式，以利于各种 信息的融合。虚拟现实系统目前可分为三种：投入式、非投入式及混合式。投入式系统中，用户看不 到真实的世界，看到的是计算机图形（或图像），它们可根据用户的位置及动作产生相应变化。 而用户采用非投入式仍能看到真实的世界，但同时也可用某种设备，如计算机屏幕去观察虚 拟世界，这种系统要相对简单，价格便宜，但有人提出非投入式是否算虚拟现实系统的问题。 混合系统则允许用户看到真实世界，但又把虚拟世界图形叠加在真实世界的景像上，起了增 强现实的功能，典型的例子是在飞行员用头盔视察计算机产生的图形同时，还允许他看到外 界真实情况。虚拟现实是一门综合技术，但又是一种艺术，在很多应用场合其艺术成份往往超过技术 成份。也正是由于其技术与艺术的结合，使得它具有艺术上的魁力，如交互的虚拟音乐会、 宇宙作战游戏等，对用户也是有更大吸引力，其艺术创造将有助于人们进行三维和二维空间 的交叉思维。为实现真正的多媒体，虽然还必须突破许多技术难点，但人们普遍认为在21 世纪多媒 体将发展成处理各种形式信息的基础，它将为企业创造巨大的商业机会，还将使信息通信发 生巨大变革，人们必须从不同角度理解、紧跟多媒体技术的巨大潮流。