1多媒体技术概述

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,多媒体计算机技术,1,第一章 多媒体技术概述,多媒体技术基本概念,媒体的定义和分类,多媒体的定义和特征,多媒体信息处理的总目标,多媒体计算机技术及其发展历史,多媒体技术的主要内容,多媒体的软硬件平台,专用芯片,多核处理器,数据压缩及编码技术,多媒体同步,多媒体技术的应用,多媒体技术促进了计算机、通讯和大众媒体的融合,思考题,多媒体网络与分布式处理技术,信息的组织与管理,多媒体数据存储,虚拟现实技术,人机界面技术,高速多媒体通信技术,2,媒体的定义和分类,什么是,媒体,？,媒体（Medium）在计算机领域中有两种含义，一是指用以存储信息的实体，如磁盘、磁带、光盘和半导体存储器；一是指信息的载体，如数字、文字、声音、图形图像和视频等。,CCITT曾给媒体做了如下的分类：,感觉媒体,（Perception Medium）,表示媒体,（Representation Medium）,显示媒体,（Presentation Medium）,存储媒体,（Storage Medium）,传输媒体,（Transmission Medium）,3,媒体食物(价值)链,多媒体作品(文档),媒体,集成,媒体,编辑,媒体,准备,媒体,编辑,媒体,准备,媒体,编辑,媒体,准备,媒体,编辑,媒体,准备,网络,媒体通信,媒体消费,文本,图像,音频,视频,内容(content),媒体显示,媒体消费,媒体显示,数字项 (digital item),返回,4,几种媒体的关系,CPU,Output,Device,Storage,Input,Device,表示媒体,存储媒体,显示媒体,显示媒体,感觉,媒体,感觉,媒体,表示媒体,传输媒体,5,感觉媒体,感觉媒体是指能直接作用于人的感官，使人能直接产生感觉的一类媒体。感觉媒体有人类的各种语言、音乐，自然界的各种声音、图形、静止和运动的图像等。,6,感觉媒体,视觉媒体,文字,景象,听觉媒体,语言,声音,触觉媒体,嗅觉媒体,味觉媒体,力,运动,温度,气味,滋味,声音,景象,类 型 名 称 分类,7,表示媒体,表示媒体是为了加工、处理和传输感觉媒体而人为地研究、构造出来的一种媒体。其目的是能将感觉媒体从一个地方向另一个地方传送，以便于加工和处理。表示媒体有各种编码方式如语音编码、文本编码、静止和运动图像编码等。,8,表示媒体举例,时间属性/空间属性/生成属性,图象（image）,图形（graphics）,文本（text）,视频（video）,动画（animation）,合成语音,MIDI音乐(MIDI),MP3音乐,波形声音(wave),9,表示媒体的时间属性,time-independent ( discrete ) media（,离散媒体,，,值不会随着时间而变化,）,text , graphics , static image, .,time-dependent ( continuous ) media （,连续媒体,，,值随着时间而变化,）,speech , music , video , animation, .,10,表示媒体的空间属性,1,D,媒体,单声道,speech , music ,2D,媒体,双声道,music ; text , image , 2D graphics ,3D,及多维媒体,3,D graphics ,全景图像 , 空间立体声,music ,11,表示媒体的生成属性,自然媒体,(使用数字化方法从现实世界,获取,的媒体),取样声音 ,image , video,合成媒体,(使用计算机,创建,的媒体),合成语音,MIDI , graphics , animation,12,自然媒体与合成媒体的区别,自然媒体 合成媒体,来源,获取创建,表示方法,取样表示符号表示,表现能力,真实感强 真实感有限,可编辑性,有限全部,存储,数据量很大数据量很小,检索,困难容易,传输,要求高要求低,展现,处理容易处理复杂,返回,13,显示媒体,显示媒体是指感觉媒体与用于通信的电信号之间转换用的一类媒体。它包括输入显示媒体（如键盘、摄像机、话筒等）和输出显示媒体（如显示器、喇叭和打印机等）。,返回,14,存储媒体,存储媒体是用来存放表示媒体，以方便计算机处理加工和调用，这类媒体主要是指与计算机相关的外部存储设备。,返回,15,传输媒体,传输媒体是用来将媒体从一个地方传送到另一个地方的物理载体。传输媒体是通信的信息载体，如双绞线、同轴电缆、光纤等。,返回,16,多媒体的定义,“多媒体”译自20世纪80年代初产生的英文词“multimedia”，最早出现于美国麻省理工学院(MIT)递交给国防部的一个项目计划报告中。,多媒体,是指信息表示媒体的多样化，常见的多媒体有文字、图形、图像、声音、音乐、视频、动画等多种形式。,多媒体技术,是利用计算机技术把文本、声音、视频、动画、图形和图像等多种媒体进行综合处理，使多种信息之间建立逻辑连接，集成为一个完整的系统。,17,多媒体的特征,多媒体从本质上来说具有三个最重要的特征:,-,多维化,-,集成性,-,交互性,除了以上三个特征，实际上多媒体还具有很多其它的特征，例如实时性，它主要指类似声音和视频这样的媒体，它们具有很强的时间相关性。,返回,18,多维化,多维化是指信息媒体的多样化。它使人们思想的表达不再限于顺序的、单调的、狭小的范围内，而有充分自由的余地。,多媒体信息多维化不仅是指输入，而且还指输出，目前主要包括听觉和视觉两个方面。,返回,19,集成性,这不仅是指多媒体设备集成，而且也包含多媒体信息集成或表现集成。,早期的各项技术都可以单一使用和应用，但很难有大的作为，因为它们是单一的、零散的，如声音、图像和交互式技术等。,信息空间的不完整（例如，仅有静态图像而无动态视频、仅有声音而无图形等）都限制了信息空间中的信息组织，也就限制了信息的有效使用。,返回,20,交互性,这是人们获取和使信息变被动为主动的最为重要的特征。,多媒体信息空间中的交互性向用户提供更加有效地控制和使用信息的手段，同时也为应用开辟了更广阔的领域，交互可以增加对信息的注意和理解，延长保留的时间。,返回,21,多媒体信息处理的总目标,使能跨越各种不同网络和设备, 透明地、强化地使用多媒体资源。,返回,22,多媒体信息处理空间,离散媒体：,text, image,连续媒体：,audio, video, .,媒体处理,媒体类型,单媒体,复合媒体,应用模式,单机应用模式,网络应用模式,获取(创建),编 辑,管 理,传 输,检 索,描 述,展 现,说 明,编 码,返回,23,多媒体计算机技术及其发展历史,1984,年,Apple,公司在苹果机,Macintosh(,也称为,Mac),上引入了位图(,Bitmap),概念进行图形处理，并使用了窗口(,Windows),和图标(,Icon),作为用户界面，标志了多媒体及多媒体技术的产生和应用。,1986,年，,Philips,公司和,Sony,公司联合推出了交互式紧凑光盘系统,CD-I,（,Compact Disc Interactive,），能够将声音、文字、图形图像等多媒体信息数字化并存储到光盘片上,24,多媒体计算机技术及其发展历史,1987,年，,RCA,公司推出了交互式数字视频系统,DVI(Digital Video Interactive,)，以计算机为基础，使用标准光盘来存储、检索多媒体数据；,1989年IBM公司推出AVC系统(Audio Visual Connection)，提供了多媒体编辑功能;,1990年Philips等十多家厂商成立了多媒体市场协会，并制定了,MPC,(多媒体计算机)的市场标准MPC1,25,多媒体计算机技术及其发展历史,1993年5月MPC联盟又制定了第二代多媒体计算机标准MPC2，主要是提高了基本部件的性能指标,1995年6月制定了MPC第三代的标准。增加了全屏幕、全动态(30帧/秒)视频及增强版CD音质的视频和音频硬件标准,返回,26,项目,MPC1,MPC2,MPC3,RAM,2MB,4MB,8MB,运算处理器,16MHz 386SX,25 MHz 486SX,75 MHz Pentium,同等级X86,CD-ROM,150kB/s,最大寻址时间1s,300kB/s,最大寻址时间400ms,CD-ROM XA,600kB/s,最大寻址时间200ms,CD-ROM XA,声卡,8bit数字声音,8个合成音,MIDI,16bit数字声音,8个合成音,MIDI,8bit数字声音,Wavetable(波表),MIDI,显示,640480,16色,640480,65536色,640480,65536色,硬盘容量,30MB,160MB,540MB,彩色视频播放,-,-,352240 30fps,输入输出端口,MIDI I/O,摇杆端口，串并联端口,MIDI I/O,摇杆端口，串并联端口,MIDI I/O,摇杆端口，串并联端口,返回,27,多媒体的软硬件平台,软件及硬件平台是实现多媒体系统的物质基础，其中每一项重要的技术突破都直接影响到多媒体的发展与应用的进程。,返回,多媒体硬件,视频信号I/O接口卡,音频信号I/O接口板,视频、音频压缩解压缩,视频、音频信号实时处理,驱动软件(Driver),驱动器接口模板,视频/音频支撑系统,或视频/音频核心部件,在初始化引导程序作用下把它安装到系统RAM中常驻内存。一个驱动器对应一种硬件设备的接口。,多媒体计算机的核心软件,28,专用芯片,数字化后的音频和视频数据量非常大，因此必须进行压缩并需要大容量的存储器；音频和视频的输入和输出是实时的，需要高速度。要实现以上最基本的要求，在很多情况下，需要专用硬件支持。,多媒体计算机专用芯片可归纳为两种类型：一种是固定功能的芯片；一种是可编程的处理器,片上系统(System on a chip,SOC)适应了人们对于提高性能、缩小尺寸、降低能耗、快速上市和降低成本等诸多方面的需求,29,专用芯片,NEC公司称其已开发出了一种用于图像识别的单芯片并行处理器。这种处理器每秒能处理50.2G(1G10亿)条指令。这一速度是3GHz的PC处理器的4倍，能耗却只有1/10,这个由3270万个晶体管构成的芯片由一个128个8位RISC处理单元和一个用于控制功能的16位处理器并行构成。每个处理单元只有100MHz的工作频率，从而大幅降低了能耗，其每个处理单元都拥有2KB的存储空间，用于存储图像数据,这个处理器的功耗相当于PDA的处理器、图形处理性能相当于4台PC，而尺寸却只有1111毫米,返回,30,多核处理器,目前最快的PC处理器上晶体管的数目已经达到了5500万个，保守一点估计，到2007年一个处理器将集成10亿只晶体管（频率大约是6GHz）。,巨大的晶体管数量意味着巨大的能耗，随之而来的散热问题也日益凸显。,毫无疑问，工艺的提升有助于部分地解决散热问题，但生产工艺提升本身就是一个耗资巨大（一条0.18微米的生产线造价大约是20亿美元）的工程,31,多核处理器,从理论上讲，由于将两个或多个运算核封装在一个芯片内部，首先节省了大量的晶体管和封装成本（CPU的核很小，将多个核封装在一起给外形尺寸带来的变化并不显著），同时还能显著提高处理器的性能。,多核处理器对外的“界面”还是统一的（有的多核产品甚至不会改变针脚数），所以整个计算机系统需要为此做出的改变就很有限，这意味着用户不会在主板、硬件体系方面做大的改变，从兼容性和系统升级成本方面来考虑有诸多的优势,32,多核处理器,双核或多核处理器早已有之，SOC、多媒体、网络等一些嵌入式处理器中都采用了多核技术,IBM Power 4处理器一样，将两颗完全一样的处理器封装在一个芯片内，达到双倍或接近双倍的处理性能，由于共享了缓存和系统总线，因此这种做法的优点是能节省运算资源。而Sun公司明年即将发布的双核处理器Ultra SPARC IV则将两颗处理器集成在一个硅片上，这样封装面积更小，相对功耗也更低,33,多核处理器,采用0.13微米工艺的Madison芯片面积将降低到200300mm2之间；到2004年采用0.09微米工艺的第五代安腾处理器Montecito的产品面积可能会进一步降低到150mm2；直到2005年65纳米工艺诞生，IA64处理器的大小可能会降低到100mm2以下，届时，这些技术进展会为Intel多核处理器的诞生打下坚实的基础,返回,34,数据压缩及编码技术,多媒体系统要求具有综合处理声、图、文的能力，面临的主要问题是巨大的数据量，尤其是对动态图形和视频图像,多媒体信源引起了“数据爆炸”,如果不进行数据压缩,传输和存储都难以实用化,多媒体,数据,35,1分钟,数字音频信号需要的存储空间,36,分钟数字视频信号需要的存储空间,1,37,时间域压缩迅速传输媒体信源,频率域压缩并行开通更多业务,空间域压缩降低存储费用,能量域压缩降低发射功率,数据压缩的好处,返回,38,多媒体同步,多媒体信息本身的特点使得各种信息之间在时间上具有一定的相关性，最明显的例子是声音和图像，二者都是时间的函数,在对多媒体数据进行综合处理时，不仅要考虑到各种媒体的相对独立性，为了达到较好的信息表示效果，还要注意保持媒体之间在时间和空间上的相关性,返回,39,多媒体网络与分布式处理技术,多媒体单机系统的研究目前已相对成熟，但对多媒体计算机网络的研究目前还不够成熟,数字化的网络集多媒体信息的获取、存储、处理、编辑、综合、传输于一体，并运行于网络上，网络的任意节点都可以共享网上的多媒体信息,多媒体技术要充分发展其对多媒体信息的处理能力，必须与网络技术相结合,运行于网络环境下多媒体系统，因为它能够不受时空限制地使多个用户透明地共享网上的数据，特别是多个用户同时共同对一个数据文件进行编辑，这使得多媒体技术有了更广泛的应用,返回,40,信息的组织与管理,信息及数据管理是信息系统的核心问题之一,多媒体的数据量巨大，种类繁多，每种媒体之间的差异又是那样明显，但这些信息又存在种种关联性，这些都给数据与信息的管理带来了新的问题,有一种新型的信息管理方法，即超媒体(Hypermedia)，有人称之为天然的多媒体信息管理方法,41,信息的组织与管理,无边无际的信息海洋中如何找到想要的信息，这真像大海捞针。,探索者和研究者们早在20世纪60年代就已经开始了对“大海捞针”技术的研究与开发，并卓有成效。,42,信息的组织与管理,IBM将推出一种新技术，这种被称为非结构化的信息管理架构（UIMA）的技术是一种基于XML的数据检索体系，它将极大地扩展和增强检索技术。当人们面对越来越多的音频、视频、文本等数据时，这种人工智能技术将极大地改善用户的数据存取状况。一个典型的应用是网上的数据检索，它将使用户检索到的数据只是用户真正想要的内容，而不是现在这样的数十页甚至更多的信息。,返回,43,多媒体数据存储,随着网络技术的不断发展，对那些网络服务提供商而言，数据的增长速度促使硬件的存储能力必须不断提高，因此需要考虑存储能力的可扩展性,目前一些新的技术，例如SAN(Storage Area Network, 存域网)已经在实际中得到应用，这些技术的应用为系统的不断升级提供了可能,返回,44,虚拟现实技术,所谓虚拟现实，就是采用计算机技术生成一个逼真的视觉、听觉、触觉及嗅觉的感觉世界，用户可以用人的自然技能对这个生成的虚拟实体进行交互考察。这个概念包含三层含义：,- 虚拟实体用计算机来生成的一个逼真的实体；,- 用户可以通过人的自然技能(人的头部转动、眼动、手势或其它的身体动作)与这个环境交互；,-,要借助于一些三维传感设备来完成交互动作，常用的如头盔立体显示器、数据手套、数据服装、三维鼠标等。,45,虚拟现实技术,它综合集成了计算机图形学、人机交互技术、传感与测量技术、仿真、人工智能、微电子等科学技术,虚拟现实技术主要应用于工程设计、数据可视化、飞行模拟、模拟实验、多媒体远程教育、远程医疗、旅游娱乐等方面,网络通讯与虚拟现实技术的结合具有诱人的前景和巨大的潜在应用价值，它将在某种程度上改变人类的思维方式和时空观，实现真正意义上的远程交互式教育,虚拟现实技术的发展必须有大容量的数据存储，快速的数据处理和宽频信息通道的技术支撑,返回,46,人机界面技术,人机界面设计的目的是通过对用户需求的解释达到一种人机之间较好的通信能力，为了达到这个目的，需要在以下几个方面进行研究：,稳健的语言处理模式，包括语音识别和自然语言理解。,手势分析和理解模型的设计。,上述两个方面的通信模式的融合，因为二者之间在对用户需求的理解上是相互补充的。,多模式环境中的对话管理。这是保证一个连续的对话过程所必需的。,任务的优化的图形表示使得对象能够被用户以一种比较容易理解的方式出现。,返回,47,高速多媒体通信技术,所谓高速多媒体通信技术，是指为满足新一代信息系统中实时多媒体信息传输的需要，网络的带宽可能要在,1000Gbps,以上，而且要能支持服务质量控制,(QoS),，以适应不同媒体对传输质量的要求。,返回,48,网 络,多媒体技术的应用,49,多媒体技术的应用,多媒体宣传演示系统,多媒体信息咨询系统,地理信息系统,服务行业多媒体应用,多媒体教学系统,多媒体训练系统,多媒体电子出版,多媒体娱乐系统,50,IP视频服务将进入高潮,无线视频服务将在两年内兴起，届时，它将成为宽带网络的新亮点,人们对基于宽带网络的服务已经成为美国高科技工业和布什政府在科技政策领域的关键目标。同时，视频服务的增长也将为网络建设的发展带来强大的推动力。,返回,51,多媒体技术促进了计算机、通讯和大众媒体的融合,计算机中信息的表达最初只能用二进制的,0,、,1,来表示，它的目的纯粹是为了计算,将字符处理过程引入到计算机中，不仅方便了用户，而且也使计算机不再局限于计算的范围，而进入了事务处理的领域,中文标准代码的出现和使用很大程度上取决于计算机图形技术和软件技术的发展，使之能够以一种图形的方式来表达信息,随后计算机开始能够处理图形、图像、音乐，直至后来能够处理影像视频信息。,这个过程就是计算机多媒体化的过程,52,多媒体技术促进了计算机、通讯和大众媒体的融合,在通信领域，从邮政、电报、电话到现在的ADSL技术，技术的不断创新其原动力很大程度上来源于多媒体信息传输的需求,在大众传播及娱乐界，从印刷技术开始了电子化、数字化的过程，逐步发展了广播、电影、电视、录像、有线电视直至后来推出的,CD-I,和高清晰度电视,HDTV,，从另一个方面发展了信息的广泛传播技术，且逐渐地开始有交互能力。,从信息系统的角度来看，这些各自目的不同、技术不同而又相互促进和支持的领域之间，由于技术发展的原因，对于最终用户而言一直存在着较大的差别，但发展到今天，早已你中有我，我中有你,。,53,计算机,大众传播,通信,邮政,电报,电话,计算机网,ISDN,B-ISDN,0、1,Text,中文,图形,图像,声音,影像、视频,MPC,印刷材料,报纸,广播,电影,电视,交互式光盘,DVD,EVD，HDV,ADSL,多媒体信息系统,计算机、通信和大众传播的融合,返回,54,思考题,什么是多媒体？,多媒体关键特性包含哪些方面？,为什么说，利用多媒体是计算机技术发展的必然趋势？,为什么说，如果没有数据压缩的进步，多媒体计算机就难以得到实际的应用？,就你个人的看法，多媒体技术要研究的内容还应包括哪些方面？,除了本章介绍的多媒体技术的一些应用，你还了解哪些不同的应用？,55,