项目3--多媒体信息处理技术)课件

项目项目3 3 多媒体信息处理技术多媒体信息处理技术多媒体数据的分类及特点任务1多媒体信息的表达方式与存储格式任务2多媒体数据压缩和编码技术任务3图形图像处理技术任务4音频信息处理技术任务5视频信息处理技术视频信息处理技术任务任务6多媒体数据库系统的基本知识多媒体数据库系统的基本知识任务任务7项目项目3 3 多媒体信息处理技术多媒体信息处理技术任务任务1 1 多媒体数据的分类及特点多媒体数据的分类及特点 多媒体数据的种类很多，按类型划多媒体数据的种类很多，按类型划分大致可以分为以下七类：分大致可以分为以下七类：1.1.文本（文本（TextText）2.2.图形（图形（GraphicsGraphics）3.3.图像（图像（ImageImage）4.4.动画（动画（AnimationAnimation）5.5.视频（视频（VideoVideo）6.6.音频（音频（SoundSound）7.7.交互界面（交互界面（InteractiveInteractive）任务任务1 1 多媒体数据的分类及特点多媒体数据的分类及特点任务任务2 2 多媒体信息的表示方式与多媒体信息的表示方式与 存储格式存储格式活动活动1 1 文本的类型文本的类型活动活动2 2 图形图像的类型图形图像的类型活动活动3 3 动画的类型动画的类型活动活动4 4 视频的类型视频的类型活动活动5 5 音频的类型音频的类型活动活动1 1 文本的类型文本的类型u.TXT文件文件u.DOC文件文件u.WPS文件文件u.RTF文件文件u.HTML文件文件u.PDF文件文件活动活动2 2 图形图像的类型图形图像的类型u.BMP文件文件u.GIF文件文件u.JPEG（JPG）文件）文件u.TIF文件文件u.PNG文件文件u.PSD文件文件u.PCX文件文件u.PCD文件文件活动活动3 3 动画的类型动画的类型u.GIF文件文件u.SWF文件文件活动活动4 4 视频的类型视频的类型u.MPEG文件文件u.AVI文件文件u.ASF文件文件u.WMV文件文件u.DAT文件文件u.MOV文件文件u.RM/RMVB文件文件u.VOB文件文件活动活动5 5 音频的类型音频的类型u.WAV文件文件u.MP3文件文件u.MIDI文件文件任务任务3 3 多媒体数据压缩和编码技多媒体数据压缩和编码技术术 数据压缩技术与多媒体技术的发展数据压缩技术与多媒体技术的发展是相辅相成的。数据压缩是通过减少计是相辅相成的。数据压缩是通过减少计算机中所存储的数据或者通信传播中数算机中所存储的数据或者通信传播中数据的冗余度，达到增大数据密度，最终据的冗余度，达到增大数据密度，最终使数据的存储空间减少的技术。数据压使数据的存储空间减少的技术。数据压缩在文件存储和分布式系统领域有着十缩在文件存储和分布式系统领域有着十分广泛的应用。数据压缩也代表着尺寸分广泛的应用。数据压缩也代表着尺寸媒介容量的增大和网络带宽的扩展。媒介容量的增大和网络带宽的扩展。数据压缩就是将字符串的一种表示方式数据压缩就是将字符串的一种表示方式转换为另一种表示方式，新的表示方式转换为另一种表示方式，新的表示方式包含相同的信息量，但是长度比原来的包含相同的信息量，但是长度比原来的方式尽可能短。方式尽可能短。任务任务3 3 多媒体数据压缩和编码技术多媒体数据压缩和编码技术 数据压缩按照映射是否固定可分为数据压缩按照映射是否固定可分为静态数据压缩和动态数据压缩。静态数静态数据压缩和动态数据压缩。静态数据压缩是指压缩前源消息集到码字集之据压缩是指压缩前源消息集到码字集之间的映射是固定的，出现在被压缩数据间的映射是固定的，出现在被压缩数据中的源消息每次都被映射为同一码字。中的源消息每次都被映射为同一码字。动态数据压缩是指源消息集到码字集的动态数据压缩是指源消息集到码字集的映射会随着压缩进度的变化而变化。映射会随着压缩进度的变化而变化。任务任务3 3 多媒体数据压缩和编码技多媒体数据压缩和编码技术术 静态压缩编码需要两步，先计算出源消静态压缩编码需要两步，先计算出源消息出现的频率，确定源消息到码字之间息出现的频率，确定源消息到码字之间的映射，然后完成映射。动态数据压缩的映射，然后完成映射。动态数据压缩则只需一步就能完成，它在压缩过程中则只需一步就能完成，它在压缩过程中只对源消息集扫描一次。也有些数据压只对源消息集扫描一次。也有些数据压缩算法是混合型的，综合应用了静态数缩算法是混合型的，综合应用了静态数据压缩和动态数据压缩技术。据压缩和动态数据压缩技术。任务任务3 3 多媒体数据压缩和编码技多媒体数据压缩和编码技术术 从实际应用来说，数据压缩可从两从实际应用来说，数据压缩可从两方面来衡量：数据压缩速度和数据压缩方面来衡量：数据压缩速度和数据压缩率。率。常用的评价标准有冗余度、平均源信常用的评价标准有冗余度、平均源信息长度、压缩率等。息长度、压缩率等。压缩技术可以简单的分成无损压缩压缩技术可以简单的分成无损压缩和有损压缩两种。和有损压缩两种。任务任务3 3 多媒体数据压缩和编码技多媒体数据压缩和编码技术术 目前，被国际社会广泛认可和应用目前，被国际社会广泛认可和应用的通用压缩编码标准大致有如下四种：的通用压缩编码标准大致有如下四种：H.261、JPEG、MPEG和和DVI。u H.261u JPEGu MPEGu DVI任务任务3 3 多媒体数据压缩和编码技多媒体数据压缩和编码技术术 根据数据压缩的原理进行划分，可根据数据压缩的原理进行划分，可以有以下几类：以有以下几类：u预测编码预测编码u变换编码变换编码u量化与向量量化编码量化与向量量化编码u统计编码（信息编码）统计编码（信息编码）u子带编码子带编码u模型编码模型编码任务任务3 3 多媒体数据压缩和编码技多媒体数据压缩和编码技术术任务任务4 4 图形图像处理技术图形图像处理技术 1.JPEG1.JPEG压缩编码大致分为以下压缩编码大致分为以下3 3个步骤：个步骤：（1）使用正向离散余弦变换（）使用正向离散余弦变换（FDCT）把空间域表示的图像变换成频率域表示的把空间域表示的图像变换成频率域表示的图像。图像。（2）使用加权函数对）使用加权函数对DCT系数进行量系数进行量化，这个加权函数对于人的视觉系统是非化，这个加权函数对于人的视觉系统是非常好的。常好的。（3）使用）使用Huffuman可变字长编码器对可变字长编码器对量化系数进行编码。量化系数进行编码。2.JPEG 2.JPEG压缩编码算法的主要计压缩编码算法的主要计算步骤如下：算步骤如下：（1）正向离散余弦变换（）正向离散余弦变换（FDCT）（2）量化量化（3）“之之”字形编码字形编码（4）使用差分脉冲编码调制（使用差分脉冲编码调制（DPCM）对直流系数对直流系数DC进行编码进行编码任务任务4 4 图形图像处理技术图形图像处理技术（5）使用行程长度编码（）使用行程长度编码（RLE）对交流系）对交流系数（数（AC）进行编码）进行编码（6）熵编码熵编码（7）组成位数据流组成位数据流任务任务4 4 图形图像处理技术图形图像处理技术 3.3.常用的位图处理软件有如下常用的位图处理软件有如下几种：几种：（1）Photoshop （2）Ulead公司的公司的PhotoImpact （3）Macromedia公司的公司的Fireworks任务任务4 4 图形图像处理技术图形图像处理技术任务任务5 5 音频信息处理技术音频信息处理技术 声音的三要素即为音调、音强和音色。声音的三要素即为音调、音强和音色。音调与声音的频率有关，频率快则声音高，音调与声音的频率有关，频率快则声音高，频率慢则声音低。人的听觉范围最低可以频率慢则声音低。人的听觉范围最低可以达到达到20Hz，最高可达，最高可达20KHz。音强又称为。音强又称为响度，取决于声音的幅度，即振幅的大小响度，取决于声音的幅度，即振幅的大小和强弱。而音色则是由混入基音的泛音所和强弱。而音色则是由混入基音的泛音所决定的，每个基音又都有其固定的频率和决定的，每个基音又都有其固定的频率和不同音强的泛音，从而使得每个声音具有不同音强的泛音，从而使得每个声音具有特殊的音色效果。特殊的音色效果。波形声音的获取就是一个采样量化波形声音的获取就是一个采样量化的过程，影响波形声音的技术参数有如的过程，影响波形声音的技术参数有如下几种：下几种：u采样频率采样频率u量化位数量化位数u声道数声道数u压缩比率压缩比率任务任务5 5 音频信息处理技术音频信息处理技术 数字化声音的优点，归纳起来有如数字化声音的优点，归纳起来有如下几点：下几点：（1）传输时抗干扰能力强传输时抗干扰能力强 （2）重放时声音效果好重放时声音效果好 （3）易进行编辑处理易进行编辑处理 （4）易纠错易纠错 （5）易形成数据流易形成数据流 （6）可进行数据压缩可进行数据压缩任务任务5 5 音频信息处理技术音频信息处理技术任务任务6 6 视频信息处理技术视频信息处理技术活动活动1 1 视频与动画的区别视频与动画的区别活动活动2 2 几个重要的技术参数几个重要的技术参数活动活动3 3 多媒体编辑软件多媒体编辑软件活动活动1 1 视频与动画的区别视频与动画的区别 由于人眼的视觉惰性作用，在亮度信由于人眼的视觉惰性作用，在亮度信号消失后亮度感觉仍可以保持号消失后亮度感觉仍可以保持1/201/10秒秒的时间。动态图像就是根据这个特征产生的时间。动态图像就是根据这个特征产生的。从物理意义上看，任何动态图像都是的。从物理意义上看，任何动态图像都是由多幅连续的图像序列构成的。如果沿着由多幅连续的图像序列构成的。如果沿着时间轴，每一幅图像保持一个时间轴，每一幅图像保持一个t时间，顺时间，顺序地以眼感觉不到的速度（一般为每秒序地以眼感觉不到的速度（一般为每秒2530帧）更换另一幅图像，连续不断的帧）更换另一幅图像，连续不断的单个图片就形成了运动图像。单个图片就形成了运动图像。动态图像序列根据每一幅图像的产动态图像序列根据每一幅图像的产生形式，又分为不同的种类。当每一帧生形式，又分为不同的种类。当每一帧图像是人工或计算机产生的图形时，称图像是人工或计算机产生的图形时，称为动画；当每一帧图像为实时获取的自为动画；当每一帧图像为实时获取的自然景物图像时，称为动态影像视频，简然景物图像时，称为动态影像视频，简称动态视频或视频；当每一帧图像为计称动态视频或视频；当每一帧图像为计算机产生的、具有真实感的图像时，称算机产生的、具有真实感的图像时，称为三维真实感动画。为三维真实感动画。活动活动1 1 视频与动画的区别视频与动画的区别 用计算机实现的动画有两种：一种是用计算机实现的动画有两种：一种是帧动画；另一种是造型动画。帧动画是由帧动画；另一种是造型动画。帧动画是由一幅幅连续的画面组成的图像或图形序列，一幅幅连续的画面组成的图像或图形序列，这是产生各种动画的基本方法。造型动画这是产生各种动画的基本方法。造型动画则是对每一个活动的对象分别进行设计，则是对每一个活动的对象分别进行设计，赋予每个对象一些特征（如形状、大小、赋予每个对象一些特征（如形状、大小、颜色等），然后用这些对象组成完整的画颜色等），然后用这些对象组成完整的画面。这些对象在设计要求下进行实时变换，面。这些对象在设计要求下进行实时变换，最后形成连续的动画过程。最后形成连续的动画过程。活动活动1 1 视频与动画的区别视频与动画的区别 视频大多数用于与电视、图像处理视频大多数用于与电视、图像处理有关技术的词汇中。与动画一样，由连有关技术的词汇中。与动画一样，由连续的画面组成，只是画面图像是自然景续的画面组成，只是画面图像是自然景物。因为在计算机中使用，所以就必须物。因为在计算机中使用，所以就必须为全数字化，但在处理过程中免不了受为全数字化，但在处理过程中免不了受到电视技术的各种影响。到电视技术的各种影响。活动活动1 1 视频与动画的区别视频与动画的区别 电视主要有三大制式，即电视主要有三大制式，即NTSC （526/60）、）、PAL（625/50）、）、SECAM （625/50）三种，括号中的数字为电视显示）三种，括号中的数字为电视显示的线行数和频率。的线行数和频率。活动活动1 1 视频与动画的区别视频与动画的区别活动活动2 2 几个重要的技术参数几个重要的技术参数 1.1.帧速帧速 2.2.数据量数据量 3.3.图像分辨率图像分辨率 4.4.图像质量图像质量活动活动3 3 多媒体编辑软件多媒体编辑软件 目前市场上视频编辑处理软件很多，目前市场上视频编辑处理软件很多，大致有微软的大致有微软的Windows Movie Maker、Adobe公司的公司的Premiere、品尼高公司的、品尼高公司的Pinnacle Studio、InterVideo公司的公司的Windvd Creator、友立公司的会声会影、友立公司的会声会影、Ahead 软件公司的视频编辑软件软件公司的视频编辑软件NeroVision Express等。等。任务任务7 7 多媒体数据库系统的基本多媒体数据库系统的基本 知识知识活动活动1 1 多媒体数据库的管理技术多媒体数据库的管理技术活动活动2 2 多媒体数据库的发展及特点多媒体数据库的发展及特点活动活动3 3 多媒体数据库的种类多媒体数据库的种类活动活动1 1 多媒体数据库的管理技术多媒体数据库的管理技术 1.1.文件系统管理方式文件系统管理方式 2.2.扩充关系数据库的方式扩充关系数据库的方式 3.3.面向对象数据库的方式面向对象数据库的方式 4.4.超媒体（或超文本）的方式超媒体（或超文本）的方式活动活动2 2 多媒体数据库的发展及特多媒体数据库的发展及特点点 数据库技术向着标准化、多媒体化、数据库技术向着标准化、多媒体化、网络化的方向发展。高效的多媒体管理模网络化的方向发展。高效的多媒体管理模式应该是面向对象高级语言、数据库语言、式应该是面向对象高级语言、数据库语言、多媒体技术、数据库技术和网络技术相结多媒体技术、数据库技术和网络技术相结合的产物。在数据类型定义、存储等方面合的产物。在数据类型定义、存储等方面要充分发挥支持面向对象的高级语言（如要充分发挥支持面向对象的高级语言（如VC、Delphi等）的等）的 作用；在查询、浏览等方面要利用关系作用；在查询、浏览等方面要利用关系数据库的优势，用数据库的优势，用SQL语言定义数据库语言定义数据库的逻辑结构和基本操作；在多媒体资料的逻辑结构和基本操作；在多媒体资料的播放及传输等方面要结合多媒体和网的播放及传输等方面要结合多媒体和网络技术。络技术。活动活动2 2 多媒体数据库的发展及特多媒体数据库的发展及特点点活动活动3 3 多媒体数据库的种类多媒体数据库的种类 从总体发展上来看，多媒体数据库从总体发展上来看，多媒体数据库的数据模型可分为关系数据模型、面向的数据模型可分为关系数据模型、面向对象的数据模型和超媒体数据模型三种对象的数据模型和超媒体数据模型三种类型。类型。