第四章多媒体技术基础总结课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第四章 多媒体技术基础,【本章内容】,4.1 多媒体的概念,4.2 光盘存储系统,4.3 多媒体音频信号处理,4.4 多媒体图像信号处理,4.5 多媒体视频信号处理,1,第四章 多媒体技术基础【本章内容】1,4.1 多媒体的概念（自学）,媒体(Media)是指承载或传递信息的载体。,媒体具有多种形式：,1. 存储信息的实体载体，如纸张、磁盘等；,2. 表述信息的逻辑载体，如文字、声音、图形、图像等。,2,4.1 多媒体的概念（自学）媒体(Media)是指承载或传递,1、媒体的分类,根据CCITT的定义，媒体可分为五种：,感觉媒体：例如声音、文字、图像及物质的质地、形状等。,表示媒体：例如语言、图像、视频的编码方式。,显示媒体：例如输入显示媒体（键盘等）和输出显示媒体（显示器等）。,存储媒体：例如磁盘、光盘等。,传输媒体：例如双绞线、光纤等。,3,1、媒体的分类根据CCITT的定义，媒体可分为五种：3,2、多媒体与多媒体技术,通常人们将各种感觉媒体包括文字、声音、图形、图像、动画、视频称为多媒体。,多媒体技术是指利用计算机综合处理（获取、编辑、存储和显示）多种媒体信息（文本、图形、图像、音频和视频）的技术。,多媒体技术涉及：数字化信息处理技术、音频和视频技术、计算机软硬件技术、人工智能和模式识别技术、通信和网络技术。,4,2、多媒体与多媒体技术通常人们将各种感觉媒体包括文字、声音、,多媒体技术的主要特性,多样性,集成性,交互性,多媒体的关键技术,大容量数据存储,多媒体压缩编码和解码,虚拟现实（VR）技术,多媒体数据库,智能多媒体技术,多媒体信息检索,5,多媒体技术的主要特性5,3、多媒体计算机系统,多媒体计算机系统的组成：,硬件系统（P94 图4-4）,软件系统（操作系统）,多媒体API（应用程序接口）,多媒体创作工具软件,多媒体应用系统,6,3、多媒体计算机系统 多媒体计算机系统的组成：6,4.2 光盘存储系统,光盘存储系统由光盘和光盘驱动器组成。,光盘又,称CD（Compact Disc）通过光学方式来记录和读取信息。,光驱是对光盘上存储的信息进行读写操作的设备。CDROM驱动器的速度通常以数据传输率来衡量，数据传输率以150KB/S为一倍速。,7,4.2 光盘存储系统光盘存储系统由光盘和光盘驱动器组成。,1、光盘主要特点,记录密度高,存储容量大,采用非接触方式读/写信息,信息保存时间长,多种媒体融合,价格低廉,8,1、光盘主要特点记录密度高8,2、光盘的类型,按读写性能可分为三种：,只读光盘存储器：包括,CD-DA、CD-ROM、VCD、DVD-ROM。,一次可写光盘存储器：包括CD-R，DVD-R。,特点每个记忆单元只能写入一次，信息写入后呈只读状态。,多次可擦写光盘存储器：包括CD-RW，DVD-RW，DVD-RAM。,特点可多次读写，采用相变或磁光技术。,9,2、光盘的类型按读写性能可分为三种：9,3、光盘的标准,CD-DA：数字式激光唱盘，用于存储数字化的高保真立体声音乐。,CD-ROM：制定了光盘存储只读信息的统一标准，可用于存储数据、文本、图形、图像、声音、视频等信息。,CD-R：一次写入，永久读的标准。用途： CD-R空白光盘在按一定文件格式刻写数据后，可变成CD-DA、CD-ROM、VCD等格式的光盘。,10,3、光盘的标准CD-DA：数字式激光唱盘，用于存储数字化的高,VCD （VideoCD）：用于表述在光盘上存放Mpeg1标准编码的全动态图像及其相应声音数据（数字电视视盘）。,DVD：数字通用光盘，主要用于存储多媒体软件和影视节目。特点：,容量单层4.7GB，4层17GB,采用Mpeg2标准进行视频,处理,11,VCD （VideoCD）：用于表述在光盘上存放Mpeg,蓝光光盘（Blue-ray Disc，简称BD）是新一代光盘标准，用以存储高品质的影音以及高容量的数据存储。一个单层的蓝光光碟的容量为25GB，双层50GB，四层100GB；可以支持VC-1、Mpeg-2、H.264、Mpeg-4等视频标准。,12,蓝光光盘（Blue-ray Disc，简称BD）是新一代光盘,4、光盘记录与读取信息的原理,光盘读取信息的原理：光盘上用“平面”和“凹坑”来表示二进制信息，通过激光的反射来读出其中存储的信息。激光照射在“平面”上将有7080光反射回来，CD头顺利读取；若照射在“凹坑”将出现激光散射，CD头无法接收。,13,4、光盘记录与读取信息的原理 光盘读取信息的原理：,光盘刻录的原理：,1.CD-ROM光盘中的数据通过压模或化学刻写方法制成。,2.CD-R光盘增加了一层有机染料作为记录层，在刻录CD-R盘片时，通过大功率激光照射CD-R盘片的染料层，在染料层上形成代表信息的平面和凹坑，由于这种变化是一次性的，所以CD-R盘片只能写入一次，不能重复写入。,14,光盘刻录的原理：14,3.CD-RW的刻录原理与CD-R大致相同，只在记录层上镀的是一层结晶物质，这种结晶层能够呈现出结晶和非结晶两种状态，等同于CD-R的平面和凹坑。通过激光束的照射，可以在这两种状态之间相互转换，所以CD-RW盘片可以重复写入。,15,3.CD-RW的刻录原理与CD-R大致相同，只在记录层上镀,3.3 多媒体音频信号处理,1、音频信号的类型,音频信号可分为两类：语音信号和非语音信号。,规则音频是一种连续变化的模拟信号，可用一条连续的曲线来表示，这条曲线可分解成一系列正弦波的线性叠加。,16,3.3 多媒体音频信号处理1、音频信号的类型 规则音频,模拟音频信号的两个重要参数：频率体现音调的高低；幅度体现声音的强弱。,周期,（T）：信号在两个峰点或谷底之间的相对时间。,频率（f）：每秒钟波峰所发生的数目，单位用赫兹（Hz）或千赫兹（kHz）表示，周期与频率互为倒数，f1/T。,幅度（振幅）：从信号的基线到当前,波峰的距离。,17,模拟音频信号的两个重要参数：频率体现音调的高低；幅度体现声音,亚音,（subsonic）：频率小于20Hz的信号,音频（Audio）：频率范围为20Hz20kHz的信号,超音频（ultrasonic）：高于20kHz的信号,日常说话的语音信号频率范围：3003000Hz,18,亚音（subsonic）：频率小于20Hz的信号18,2、音频的数字化过程,计算机要处理音频信息，首先要将模拟音频信号（如语音、音乐等）转变成数字信号，这个过程称之为模数转换,（AD）,。,模拟信号数字化过程的三个步骤：采样、量化和编码。,19,2、音频的数字化过程计算机要处理音频信息，首先要将模拟音频信,1）采样,采样是指用每隔一定时间间隔，在模拟声音的波形上取一个幅度值，把时间上的连续信号变成时间上的离散信号。,采样周期：即采样的时间间隔，（其倒数为采样频率）,采样频率：每秒钟对,模拟信号的采样次数,奈奎斯特采样定理：采样频率2信号最高频率。,目前最常用的三种采样频率分别为：电话效果（11 kHz）、FM电台效果（22 kHz）和CD效果（44.1 kHz）。,20,1）采样采样是指用每隔一定时间间隔，在模拟声音的波形上取一个,2）量化,量化：对声波波形幅度的数字化。,量化位数：量化时采用的二进制位数，位数越多，精度也越高，音质越细腻。 例如，用16个二进制位（bit）表示声音，可将声音强度分为2,16,=65536级。,每秒声音的数据量,=采样频率量化位数声道数/8（字节）,21,2）量化量化：对声波波形幅度的数字化。21,采样率为2000Hz，量化等级为20的采样量化过程,在相同的采样频率下，量化位数愈高，声音的质量越,好；在相同量化位数的情况下，采样频率越高，声音,效果也就越好。,22,采样率为2000Hz，量化等级为20的采样量化过程在相同的采,编码：是按照一定的格式，把量化后的值用二进制数字表示，并加入一些纠错、同步和控制的数据。,常用的编码方式：脉冲编码调制（PCM），特点是抗干扰能力强、失真小、传输特性稳定。,3）编码,23,编码：是按照一定的格式，把量化后的值用二进制数字表示，并加入,4）数字化音频文件的存储容量,波形声音文件的存储量（未经压缩）,=采样频率量化位数声道数时间/8（字节）,例4-1：用44.1KHz的采样频率进行采样，量化位数选用16位，则录制一分钟的立体声节目，求波形文件的大小？,44.1K*16bit*2*60/8=10584KB 约10MB,24,4）数字化音频文件的存储容量波形声音文件的存储量（未经压缩）,3、数字音频的文件格式,波形文件 .wav,WAV文件来源于对声音模拟波形的采样，并以不同的量化位数把这些采样点的值转换成二进制数，然后存入磁盘。,WAV文件支持多种音频位数、采样频率和声道，但文件尺寸过大。,Microsoft,公司,25,3、数字音频的文件格式波形文件 .wavMicrosof,MPEG音频文件.mp1/.mp2/.mp3,这里的音频文件格式指的是MPEG标准中的音频部分（音频层）。根据压缩质量和编码处理的不同分为3层，分别对.mp1/.mp2/.mp3这3种声音文件。,MPEG音频文件的压缩是一种有损压缩,其中MPEG3音频编码具有10：112：1的高压缩率，用.mp3格式来储存，一般只有.wav文件的1/10，而音质要略次于CD格式或WAV格式的声音文件。,使用千千静听、Winamp播放。,26,MPEG音频文件.mp1/.mp2/.mp326,（补充）Mp3中位速的概念：Kbps又称比特率，指的是数字信号的传输速率。常见的MP3的位速：,128Kbps=磁带（手机立体声MP3播放器最佳设定值、低档MP3播放器最佳设定值）,192Kbps=接近CD（高档MP3播放器最佳设定值）,320Kbps=Studio音乐工作室（音乐发烧友适用）,27,（补充）Mp3中位速的概念：Kbps又称比特率，指的是数字信,RealAudio文件 .RA/.RM/.RAM,一种新型流式音频（Streaming Audio）文件格式，使用Real Player播放。,特点：可以实时传输音频信息，尤其是在网速较慢的情况下，仍然可以较为流畅地传送数据，因此RealAudio主要适用于网络上的在线播放。,RealNetworks,公司出品,28,RealAudio文件 .RA/.RM/.RAMReal,ASF文件 .ASF/.WMA,ASF和WMA都是微软公司针对Real公司开发的新一代网上流式数字音频压缩技术。这种压缩技术的特点是同时兼顾了保真度和网络传输需求，所以具有一定的先进性。可以利用WinAMP或媒体播放机播放。,AIFF文件.AIF/.AIFF,苹果公司开发的声音文件格式，被Macintosh平台和应用程序所支持。,CD音乐格式.CDA,CD存储采用了音轨的形式，其取样频率为44.1kHz，16位量化位数，是一种近似无损的格式。,29,ASF文件 .ASF/.WMA29,VOC文件,VOC文件是Creative公司的波形音频文件格式，也是声霸卡使用的音频文件。,MIDI文件 .MID/.RMI,MIDI是数字乐器接口的国际标准，规定了使用数字编码来描述音乐乐谱的规范。计算机就是根据MIDI文件中存放的对MIDI设备的命令，即每个音符的频率、音量、通道号等指示信息进行音乐合成的。MID文件的优点是短小；缺点是播放效果因软、硬件而异。,30,VOC文件30,4、语音处理技术,语音编码,语音合成,语音识别,语音增强,31,4、语音处理技术语音编码31,4.4 多媒体图像信息处理,1、计算机图像处理的概念,计算机图像处理的主要研究内容：,图像数字化（采样、量化、编码）,图像变换,图像编码压缩,图像特征增强与提取,计算机视觉和模式识别,图像噪声的滤除,32,4.4 多媒体图像信息处理1、计算机图像处理的概念32,2、彩色模型,RGB模型（显示）：将红（Red）、绿（Green）、蓝（Blue）三原色的色光以不同的比例相加，以产生多种多样的色光。,CMYK模型（打印）：印刷四分色模式利用色料的三原色混色原理，加上黑色油墨，共计四种颜色混合叠加，形成所谓“全彩印刷”。四种标准颜色是：,C：Cyan 青色；,M：Magenta 品红色（洋红色）。,Y：Yellow 黄色。,K：blacK 黑色，为了避免与RGB的Blue蓝色混淆而改称K。,33,2、彩色模型RGB模型（显示）：将红（Red）、绿（Gree,3、图像的数字化过程,图像数字化过程分为：采样、量化和编码。,1）图像采样是将二维空间上连续的图像用等距的水平线和垂直线分割成像素点，通过像素点的亮度（灰度）或色彩值来表示图像。,像素,把图像分割成离散的小区域即,像素,。,一幅图像是MN个像素的集合， MN表示图像的,分辨率,。,34,3、图像的数字化过程图像数字化过程分为：采样、量化和编码。像,2）图像量化是将采样值划分成各种等级，用一定位数的二进制数（量化字长）来表示采样的值。,量化字长（也称颜色深度）越大，则越能真实地反映原有图像的颜色。但得到的数字图像的容量也越大。,3）图像编码是按一定的规则，将量化后的数据用二进制数据存储在文件中。,位图文件（.bmp）：Microsoft Windows 中使用的一种非压缩图像文件格式。,35,2）图像量化是将采样值划分成各种等级，用一定位数的二进制数（,常见的几种位图图像：,黑白图像：每个像素点仅用1bit表示。,灰度图像：每个点由从0 (黑色)到2,n,-1(白色)的亮度值来表现，其中间的值来表现不同程度的灰。每个像素点用nbit表示。,彩色图像：任何一种颜色均可台用红、绿、蓝三种原色调配出来。每种颜色用若干位来表示。,36,常见的几种位图图像：36,例：,一张分辨率为800600的256色的图像需要多少的存储空间？,位图存储量=分辨率 * 颜色深度 / 8,位转换为字节,800*600 *,8,/8 =,480000Byte, 480KB,像素点个数,256=2,8,个不同的色彩，用,8位,表示,37,例：一张分辨率为800600的256色的图像需要多少的存储,4、图像的压缩与编码,数据之所以能够压缩是基于原始信源的数据存在着很大的冗余度。,图像压缩：采用编码技术来压缩图像信息的比特量。,图像压缩分类：有损压缩和无损压缩。,经典压缩编码方法：预测编码、变换编码和统计编码。,38,4、图像的压缩与编码数据之所以能够压缩是基于原始信源的数据存,行程编码（RLE）,常用的无损压缩算法，将一扫描行中颜色值相同的相邻像素用两个字节来表示， 第一个字节是一个计数值， 用于指定像素重复的次数； 第二个字节是具体像素的值。能够比较好地保存图像的质量，但是相对有损压缩来说这种方法的压缩率比较低。,例 写出下图的游程编码:,6W2B6W3B3W,39,行程编码（RLE）39,5、图像文件格式,位图文件 .bmp/.dib,BMP(Bitmap)是Windows中的标准图像文件格式，可达24位全彩色模式，与设备无关，一般不压缩。,JPEG文件 .jpg/.jpeg,JPEG压缩率高，并且最小化图像质量损失。它是数码照相时保存的格式,也可以用作网页图像。,注意：由于采用有损压缩，一个太高的压缩率会导致图形质量变差。,40,5、图像文件格式 位图文件 .bmp/.dib40,JPEG2000与传统JPEG的区别,JPEG2000是基于小波变换的图像压缩标准，通常被认为是未来取代基于离散余弦变换JPEG的下一代图像压缩标准。,JPEG2000的压缩比更高，其压缩率比JPEG高30%左右；同时支持有损数据压缩和无损数据压缩。,41,JPEG2000与传统JPEG的区别41,GIF文件 .gif,GIF 图像色彩丰富，压缩率较高，GIF 格式还支持动画，它是网页图片的标准格式。,PNG格式.png,PNG汲取了GIF和JPG二者的优点；能把图像文件压缩到极限以利于网络传输，但又能保留所有与图像品质有关的信息。,PHOTOShop格式 .PSD,TIFF文件 .tiff,PCX文件 .pcx,MAC PAINT .MPT/.MAC,42,GIF文件 .gif42,4.5 计算机图形处理技术,计算机图形处理是指利用由概念或数学描述所表示物体的几何数据或几何模型，用计算机进行显示并存储，并可以进行修改、完善以及有关操作的过程。,图形处理技术主要用于计算机辅助设计和制造、计算机艺术、计算机动画和虚拟现实。,图形处理的研究内容包括：几何变换、曲线和曲面拟合、建模造型、隐藏线隐藏面消除、阴暗处理、纹理产生、渲染。,43,4.5 计算机图形处理技术 计算机,计算机可以处理的图可以分成两类：数字图像和图形。,数字图像：模拟图像经过采样，量化和编码得到的数字信号，以位图的形式存储；,图形是由计算机软件生成或数学公式计算生成（形状、大小及色彩），以矢量图的形式存储。,44,计算机可以处理的图可以分成两类：数字图像和图形,1）位图,位图(Bitmap)是由许多的像素组合而成的平面点阵图，其中每个像素的颜色、亮度和属性是用一组二进制像素值来表示的，因此数据量大，适合表现层次和色彩丰富，细致的图像。,常用图像处理软件：画笔、Photoshop。,45,1）位图45,2） 矢量图,矢量图使用直线和曲线来描述图形，这些图形的元素是一些点、线、矩形、多边形、圆和弧线等等，它们都是通过数学公式计算获得的，因此矢量图形文件体积一般较小。,矢量图形优点是无论放大、缩小或旋转等不会失真；缺点是难以表现色彩层次丰富的逼真图像效果。,矢量图形设计软件 ：AutoCAD、CorelDRAW等,46,2） 矢量图46,图形与图像的联系,在实际应用中，图形图像技术是相互关联的，二者结合可以使视觉效果和质量更完善。随着图形图像技术的发展，两者间相互交叉、相互渗透。,47,图形与图像的联系47,4.6 多媒体视频信息处理,1、视频的定义,视频是其内容随时间变化的一组动态图像，所以视频又叫运动图像或活动图像。,视频信号的特点：,图像内容随时间变化,伴随有与画面动作同步的声音,图像与视频的区别：,静止的图片称为图像，视频是运动的图像；,信源方式不同。,48,4.6 多媒体视频信息处理1、视频的定义48,2、视频的分类,按照处理方式的不同：视频分为模拟视频和数字视频。,模拟视频：是一种传输图像和声音的连续的变动电信号。,数字视频,(digital video-DV)：经过数字化的视频信号。,49,2、视频的分类 按照处理方式的不同：视,3、电视信号制式,电视信号的标准称为电视制式，不同制式的区别在于刷新速度，颜色编码和传送频率等。,目前世界上彩色广播电视制式最主要的有三种：,(1) NTSC制，1953年由美国创立，日本、加拿大等国相继采用；,(2) PAL制，用于中国、英国和大部分西欧国家以及北欧各国；,(3) SECAM制，用于法国、俄罗斯和东欧等国。,50,3、电视信号制式电视信号的标准称为电视制式，不同制式的区别在,4、YUV与RGB彩色模型,YUV模型：Y表示亮度，UV用来表示色差，U、V是构成彩色的两个分量，用于PAL彩色电视制式中。,YUV表示法的重要性是它的亮度信号(Y)和色度信号(U、V)是相互独立的。由于Y、U、V是独立的，所以可以对这些单色图分别进行编码。,RGB模型:用R,G,B表示红,绿,蓝三个彩色分量的值。,YUV与RGB可以进行彩色空间变换,51,4、YUV与RGB彩色模型YUV模型：Y表示亮度，UV用来表,5、视频的数字化过程,1）视频信号的采样,用Y:U:V来表示YUV三分量的采样比例，则数字视频的采样格式分别有4:1:1、4:2:2和4:4:4三种。根据电视信号的特征，亮度信号的带宽是色度信号带宽的两倍，因此其数字化对信号的色差分量的采样率低于对亮度分量的采样率。建议采用4:2:2，既满足视觉效果，又可减少数据量。,52,5、视频的数字化过程1）视频信号的采样 52,2）量化是对幅值上的离散化处理。,3）编码:将采样、量化后的信号转换成数字符号的过程。,数字视频编码技术主要有MPEG与H.261标准，编码技术主要分成帧内编码与帧间编码。,53,2）量化是对幅值上的离散化处理。53,6、数字电视系统,数字电视系统是一个从节目采集、节目制作、节目传输直到用户端都以数字方式处理信号的端到端的系统。,多种业务：高清晰度电视（“HDTV”）、标准清晰度电视（ “SDTV”）、互动电视、数据业务等。,数字电视系统的特征：显示分辨率1920X1080，帧率60fps；显示屏的高宽比为169；支持杜比5.1声道传输；到达Hi-Fi的听觉效果,。,54,6、数字电视系统54,7、 H.264视频编解码标准,H.264是国际电联（ ITU-T ）制定的视频编解码标准H.26x系列中最新的规范，同时也是MPEG-4标准的一部分。,用途：数字电视、交互媒体、视频会议、视频点播、流媒体服务、视频监控等。,特点：,1）更高的编码效率；,2）高质量的视频画面；,3）较少的网络带宽。,55,7、 H.264视频编解码标准55,8,、常见的视频文件格式,1,）,AVI,文件, .AVI,AVI是音频视频交错（Audio Video Interleaved）的英文缩写，它是Microsoft公司开发允许视频和音频交错在一起同步播放， AVI文件目前主要应用在多媒体光盘上，用来保存电影、电视等各种影像信息,。,56,8、常见的视频文件格式56,2）MPEG文件 .MPEG/.MPG/.DAT,MPEG文件格式是运动图像压缩算法的国际标准，它包括MPEG视频、MPEG音频和MPEG系统(视频、音频同步)三个部分。MPEG的平均压缩比为501，最高可达2001，压缩效率非常高，同时图像和音响的质量也非常好。,MPEG1是VCD的视频图像压缩标准；MPEG2是DVD的视频图像压缩标准；MPEG4是网络视频图像压缩标准之一，特点是压缩比高、成像清晰，数据的损失很小。主要应用于视像电话、视像电子邮件等，对传输速率要求较低。,57,2）MPEG文件 .MPEG/.MPG/.DAT57,3）QuickTime文件 .MOV,Apple公司开发的QuickTime文件格式作为开发MPEG-4规范的统一数字媒体存储格式。,4）Flash Video文件.FLV,随着Flash MX的推出而发展而来的一种新兴的视频格式。优点：FLV文件体积小，CPU占有率低、视频质量好。利用Flash Player平台进行播放。FLV被众多新一代视频分享网站所采用，是目前增长最快、最为广泛的视频传播格式。,58,3）QuickTime文件 .MOV58,5）RealVideo文件.RA/.RM/.RMVB,RealVideo文件是RealNetworks公司开发的一种流式视频文件格式，主要用来在低速率的广域网上实时传输活动视频影像，可以根据网络数据传输速率的不同而采用不同的压缩比率（RMVB），从而实现影像数据的实时传送和实时播放。,6）MICROSOFT流媒体文件.ASF/.WMV,7）3GP新的移动设备标准格式，适合3G网络流媒体视频编码格式。,59,5）RealVideo文件.RA/.RM/.RMVB59,作业：课本P119页 计算题3、5、6、7,实验指导：,P137页 9,10,P144页 7,8,9,10,25,P149页 8,9,10,P155页 8,9,10,P162页 7,8,9,10,P165页 8,10,P170页 7,8,9,10,P175页 7,8,9,10,60,作业：课本P119页 计算题3、5、6、760,