多媒体技术基础

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,第9章多媒体技术基础,Hefei University of Technology,大学计算机基础,合肥工业大学,计算机与信息学院 杨兴明,1,第 九 章,多媒体技术基础,2,基本要求,（1）理解多媒体信息的计算机表示方法,（2）理解多媒体计算机系统的基本组成,（3）理解多媒体信息（声音、图像）的采集与数字 化的基本过程,（4）了解多媒体信息（声音合成、声音片段截取、图像合成、图像放大缩小）的基本处理方法,（5）了解动画制作的基本过程,（6）了解多媒体系统的典型应用,3,主要内容,9.1,多媒体技术的基本概念,9.2,多媒体计算机系统,9.3,多媒体信息的数字化和压缩技术,9.4,多媒体素材制作,4,9.1 多媒体技术的基本概念,9.1.1 多媒体,9.1.2 多媒体技术的特性,9.1.3 多媒体信息的类型,9.1.4 多媒体信息处理的关键技术,9.1.5 多媒体技术的应用领域,5,多媒体,媒体,存储信息的物理实体，如磁盘、光盘等。,信息的表现形式或载体。,多媒体,是“多媒体技术”的同义语，不仅仅是指多种媒体本身，而主要是指处理和应用它的一整套技术。,多媒体技术,是一种基于计算机的综合技术，包括数字化信息的处理技术、音频和视频技术、计算机硬件和软件技术、人工智能和模式识别技术、通信和图像技术等，是一门跨学科的综合技术。,6,9.1.2 多媒体技术的特性,多样性 媒体、处理方式,集成性 媒体、设备与软件的集成,交互性 用户与多媒体信息,数字化 媒体信息以数字的形式存储和处理,实时性 声音媒体和视频媒体,7,多媒体信息的类型,1文本,2图形,由直线、圆、圆弧、任意曲线等组成的画面，以矢量形式存储。,3图像,通过扫描仪、数字照相机、摄像机等设备捕捉的真实场景的画面，数字化后以位图格式存储。,4动画,利用了人眼的视觉特性所得到的画面印象。,5.视频,来自视频信号源的影像。,6音频,话语、音乐以及各种动物和自然界发出的各种声音。,8,多媒体信息处理的关键技术,1.多媒体数据压缩技术,节省存储空间，提高通信介质的传输效率，使计算机实时处理和播放视频、音频信息成为可能。,2.多媒体数据存储技术,数字化数据存储的介质有：硬盘、光盘和磁带等。,3.集成电路制作技术,为多媒体技术的进一步发展创造了有力的条件。,4.多媒体数据库技术,研究多媒体信息的特征、建立多媒体数据模型；,有效地组织和管理多媒体信息；,多媒体信息的检索和统计。,9,5.虚拟现实技术,利用计算机生成一种模拟环境，通过多种传感设备，使人能够沉浸在计算机生成的虚拟境界中，并能够通过语言、手势等自然的方式与之进行实时交互，创建了一种适人化的多维信息空间。,6.多媒体网络与通信技术,多媒体通信技术支持是保证多媒体通信实施的条件。,10,多媒体技术的应用领域,1.多媒体教育,2.电子出版物,3.多媒体网络应用,互联网直播,视频点播,远程教育,视频会议系统,11,9.2 多媒体计算机系统,9.2.1 多媒体计算机系统组成,9.2.2 多媒体计算机硬件系统,9.2.3 多媒体计算机软件系统,9.2.4 多媒体创作工具,12,多媒体计算机系统组成,多媒体系统层次结构,多媒体应用系统运行平台,多媒体编辑与创作系统,多媒体应用程序接口API,操作系统、多媒体设备驱动程序,多媒体计算机主机、外围设备,13,多媒体计算机标准：,MPC联盟规定多面体计算机系统由5个基本部件组成：,PC机、CD-ROM、声卡、音箱和Windows操作系统,MPC 4.0，它为将PC机升级成MPC提供了一个指导原则，要求在普通微机的基础上增加以下4类软、硬件设备：,声/像输入设备 光驱、话筒、扫描仪、录音机、摄像机等。,声/像输出设备 音效卡、刻录光驱、投影仪等。,功能卡 电视卡、视频采集卡、视频输出卡、网卡、VCD压缩卡等。,软件支持 音响、视频和通讯信息以及实时、多任务处理软件。,14,多媒体计算机硬件系统,光盘机,扫描仪,电视机,扬声器,显示器,网络通信,主机,声音卡,话筒,音响设备,MIDI,视频,卡,影碟机,录像机,摄像机,打印机,网卡,多媒体计算机硬件系统示意图,15,1.多媒体计算机硬件系统,1.主机,多媒体计算机主机可以是中、大型机，也可以是工作站，更普遍的是使用多媒体个人计算机。,具备多媒体信息处理功能的芯片:,通用和专用的数字信号处理芯片DSP（Digital Signal Procesor）,现有的CPU芯片增加多媒体数据处理指令和数据类型，Pentium 4 微处理器包括了144条多媒体及图形处理指令,媒体处理器（Media Processor），有可编程性，通过软件可增加新的功能。是现有通用处理器的强有力的支持芯片。,16,2.多媒体接口卡,(1)声卡又称音频卡，是处理音频信号的硬件，,17,(2)图形加速卡,图形加速卡拥有图形函数加速器和显存，专门用来执行图形加速任务，可以减少CPU处理图形的负担。工作在CPU和显示器之间，控制计算机的图形输出。,现在的显示卡上都集成有图形处理芯片组，成为图形加速卡。,18,(3)视频采集,视频采集卡可以获取数字化视频信息，提供硬件压缩功能,19,(4)IEEE 1394卡,标准的IEEE 1394接口可以同时传送数字视频信号以及数字音频信号，相对于模拟视频接口，IEEE 1394技术在采集和回录过程中没有任何信号的损失。,现在的IEEE 1394卡多为PCI接口，只要插入到计算机主板相应的PCI插槽上就可以提供视频采集功能,20,3.信息获取设备,数码照像机（DC）,数码照像机所拍摄到的照片是以文件形式存储在相机内的存储卡中，将数码照像机中的照片存储到计算机中，先用连接线将数码照像机与计算机连结起来。数码照像机的驱动程序就会将相机的存储卡视为计算机的一个可移动磁盘，存储卡中的图像会以略图方式显示,数码设备,21,数码摄像机（DV）,数码摄像机的优点是动态拍摄效果好，数码摄像机使用的小尺寸电荷耦合器件CCD与其镜头的不匹配，在拍摄静止图像时的效果不如数码照像机。,22,多媒体计算机软件系统,多媒体计算机软件系统,多媒体应用系统,多媒体计算机主机、外围设备,多媒体编辑与创作,工具,多媒体,库函数、,素材制作,工具,多媒体操作系统,设备驱动,软件,、接口程序,系统软件,23,多媒体创作工具,多媒体创作工具的功能,提供编程环境及对各种媒体数据流的控制能力,处理各种媒体数据,生成应用系统和提供应用程序链接能力,用户界面处理和提供人机交互功能,预演与播放能力,24,多媒体创作工具的类型:,基于时间序列的创作工具：Director,基于流程图的创作工具：Authorware,基于描述语言（符号）的创作工具：Multimedia ToolBook,可视化编程环境：Visual Basic和Visual C+,25,9.3多媒体信息的数字化和压缩技术,音频信息,9.3.2 图形和图像,9.3.3 视频,9.3.4 数据压缩技术,26,音频信息,复杂的声波由许许多具有不同振幅和频率的正弦波组成。,波形相对基线的最大位移称为振幅,A,，反映音量；波形中两个相邻的波峰（或波谷）之间的距离称为振动周期,T,，周期的倒数,1,/T,即为频率,f,，以赫兹（,Hz,）为单位。正常人所能听到的声音频率范围为,20 Hz,20 kHz,。,振幅,频率,27,1.模拟音频的数字化,用计算机对音频信息处理，就要将模拟信号（如语音、音乐等）转换成维数字信号。,采样,-,每隔一定时间间隔对模拟波形上取一个幅度值。,量化,-,将每个采样点得到的幅度值以数字存储。,编码-,将采样和量化后的数字数据以一定的格式记录下来。,模拟信号,采样,量化,编码,数字信号,振幅,频率,1/T,采样点,T,振幅,1/T,T,28,2.数字音频的技术指标,采样频率、量化位数和声道数,采样频率：,每秒钟的采样次数,量化位数(采样精度)：,存放采样点振幅值的二进制位数。通常量化位数有8位、16位，分别表示有28、216个等级。,声道数：,声音通道的个数，立体声 为双声道。,每秒钟存储声音容量的公式为：,采样频率采样精度声道数/8=字节数,例如，用44.10 kHz的采样频率，16位的精度存储，则录制1秒钟的立体声节目，其WAV文件所需的存储量为：,44 100162/8=176 400（字节）,29,3.数字音频的文件格式,Wave,格式文件（,.Wav,）,记录了真实声音的二进制采样数据，通常文件较大,。,MIDI,格式文件（,.MID,）,数字音乐的国际标准,.,记录的是音符数字，文件小。,MPEG,音频文件（,.MP1/.MP2/.MP3,）,采用,MPEG,音频压缩标准进行压缩的文件。,WAV,文件,MIDI,文件,30,图形和图像,图形和图像,图形：由点、线等组成的有边界画面，文件中存放描述图形的指令。,图像：由图像设备输入的无边界画面，数字化后以位图形式存储。,图形与图像的数字化,分辨率（行、列）和颜色深度,真彩色每个像素点占,3,个字节，,2,24,=16777216,种颜色。,计算存储一秒图像公式：,列数,行数,像素的颜色深度,/8,帧,/,秒,=,字节数,例：,12801024,分辨率的“真彩色”电视图像，按每秒,30,帧计算，显示,1,分钟，则需要：,1280102433060 6.6 GB,31,常用图像文件格式：,BMP和DIB格式文件,与设备无关的位图格式文件，Windows环境中经常使用.,GIF格式文件,Internet上的重要文件格式之一，最大不超过64 KB，256色以内，压缩比较高，与设备无关。,JPEG格式文件（.JPG）,利用JPEG方法压缩,Internet上重要文件格式之一，适用于处理256色以上、大幅面图像。,WMF格式文件,位图与矢量图的混合体,Windows中许多剪贴画图像，是以该格式存储的。广泛应用于桌面出版印刷领域。,32,视频,1.视频,是将一幅幅独立图像组成的序列按照一定的速率连续播放，利用视觉暂留现象在人的眼前呈现出连续运动的画面。,模拟视频常用两种标准：,NTSC,制式,(30,帧,/,秒，,525,行,/,帧,),PAL,制式（,25,帧,/,秒，,625,行,/,帧），我国采用,PAL,制式。,模拟视频和数字视频,640480,3 30 60,=1 658 880 000字节,分辨率,帧,/,秒,采样深度,时间,33,2.常用视频文件格式：,AVI（Audio-Video Interleaved）文件,将视频与音频信息交错地保存在一个文件中，较好地解决了音频与视频的同步问题，已成为Windows视频标准格式文件。,MOV文件,利用它可以合成视频、音频、动画、静止图像等多种素材。,MPG(.mpg)文件,是按照MPEG标准压缩的全屏视频的标准文件。,DAT文件,是VCD专用的格式文件，文件结构与MPG文件格式基本相同。,34,3.流媒体概述,流媒体:,一种可以使音频、视频等多媒体文件能在,Internet,上以实时的、无需下载等待的,流式传输,方式进行播放的技术。,应用：,互联网直播,视频点播,远程教育,视频会议系统,35,4.常用流媒体文件,RealMedia,RA（RealAudio）用来传输接近CD音质的音频数据,RM（RealVideo）在低速率的网络上实时传输活动视频影像,RF（RealFlash）一种高压缩比的动画格式,QuickTime,是数字媒体领域事实上的工业标准，是创建3D动画、实时效果、虚拟现实、A/V和其他数字流媒体的重要基础。,ASF与WMA,ASF是一种数据格式，音频、视频、图像以及控制命令脚本等多媒体信息通过这种格式，以网络数据包的形式传输，实现流式多媒体内容发布。,WMV是微软公司推出的与MP3格式齐名的一种音频格式，是用于高清晰度映像的编解码器。,36,数据压缩技术,无损压缩,无损压缩方法原理是统计被压缩数据中重复数据的出