多媒体应用技术基础.ppt

1 第四章多媒体技术基础 本章内容 多媒体的概念声音处理图像处理动画处理视频处理 2 3 1多媒体的概念 媒体 Media 是指承载或传递信息的载体 媒体具有多种形式 1 存储信息的实体载体 如纸张 磁盘等 2 表述信息的逻辑载体 如文字 声音 图形 图像等 3 1 媒体的分类 根据CCITT的定义 媒体可分为五种 感觉媒体 例如声音 文字 图像及物质的质地 形状等 表示媒体 例如语言 图像 视频的编码方式 显示媒体 例如输入显示媒体 键盘等 和输出显示媒体 显示器等 存储媒体 例如磁盘 光盘等 传输媒体 例如双绞线 光纤等 4 2 多媒体与多媒体技术 通常人们将各种感觉媒体包括文字 声音 图形 图像 动画 视频称为多媒体 多媒体技术 以计算机为中心 把语音 图像和视频处理技术等集成在一起的技术 多媒体技术涉及 数字化信息处理技术 音频和视频技术 计算机软硬件技术 人工智能和模式识别技术 通信和网络技术 5 3 多媒体计算机系统 多媒体计算机系统的组成 硬件系统软件系统 操作系统 多媒体API 应用程序接口 多媒体创作工具软件多媒体应用系统 6 4 2声音处理基础 1 音频信号的类型音频信号可分为两类 语音信号和非语音信号 规则音频是一种连续变化的模拟信号 可用一条连续的曲线来表示 这条曲线可分解成一系列正弦波的线性叠加 7 2 音频的数字化过程 计算机要处理音频信息 首先要将模拟音频信号 如语音5 7Internet的服务与应用 音乐等 转变成数字信号 这个过程称之为模 数转换 A D 模拟信号数字化过程的三个步骤 采样 量化和编码 8 1 采样 采样是指用每隔一定时间间隔 在模拟声音的波形上取一个幅度值 把时间上的连续信号变成时间上的离散信号 采样周期 即采样的时间间隔 其倒数为采样频率 采样频率 每秒钟对模拟信号的采样次数目前最常用的三种采样频率分别为 电话效果 11kHz FM电台效果 22kHz 和CD效果 44 1kHz 9 2 量化 量化 对声波波形幅度的数字化 量化位数 量化时采用的二进制位数 位数越多 精度也越高 音质越细腻 例如 用16个二进制位 bit 表示声音 可将声音强度分为216 65536级 每秒声音的数据量 采样频率 量化位数 声道数 8 字节 10 采样率为2000Hz 量化等级为20的采样量化过程 在相同的采样频率下 量化位数愈高 声音的质量越好 在相同量化位数的情况下 采样频率越高 声音效果也就越好 11 编码 是按照一定的格式 把量化后的值用二进制数字表示 并加入一些纠错 同步和控制的数据 常用的编码方式 脉冲编码调制 PCM 特点是抗干扰能力强 失真小 传输特性稳定 3 编码 12 3 数字音频的文件格式 波形文件 wavWAV文件来源于对声音模拟波形的采样 并以不同的量化位数把这些采样点的值转换成二进制数 然后存入磁盘 WAV文件支持多种压缩算法 支持多种音频位数 采样频率和声道 但文件尺寸过大 Microsoft公司 13 MPEG音频文件 mp1 mp2 mp3这里的音频文件格式指的是MPEG标准中的音频部分 音频层 根据压缩质量和编码处理的不同分为3层 分别对 mp1 mp2 mp3这3种声音文件 MPEG音频文件的压缩是一种有损压缩 其中MPEG3音频编码具有10 1 12 1的高压缩率 用 mp3格式来储存 一般只有 wav文件的1 10 而音质要次于CD格式或WAV格式的声音文件 使用Winamp播放 14 RealAudio文件 RA RM RAM一种新型流式音频 StreamingAudio 文件格式 使用RealPlayer播放 特点 可以实时传输音频信息 尤其是在网速较慢的情况下 仍然可以较为流畅地传送数据 因此RealAudio主要适用于网络上的在线播放 RealNetworks公司出品 15 VOC文件VOC文件是Creative公司的波形音频文件格式 也是声霸卡使用的音频文件 AIFF文件 AIF AIFF苹果公司开发的声音文件格式 被Macintosh平台和应用程序所支持 CD音乐格式 CDACD存储采用了音轨的形式 其取样频率为44 1kHz 16位量化位数 是一种近似无损的格式 16 MIDI文件 MID RMIMIDI是数字乐器接口的国际标准 规定了使用数字编码来描述音乐乐谱的规范 计算机就是根据MIDI文件中存放的对MIDI设备的命令 即每个音符的频率 音量 通道号等指示信息进行音乐合成的 MID文件的优点是短小 缺点是播放效果因软 硬件而异 ASF文件 ASF WMAASF和WMA都是微软公司针对Real公司开发的新一代网上流式数字音频压缩技术 这种压缩技术的特点是同时兼顾了保真度和网络传输需求 所以具有一定的先进性 可以利用WinAMP或媒体播放机播放 17 4 3图像处理基础 1 计算机图像处理的概念图像处理就是对图像信息进行加工处理 以满足人的视觉和实际应用的要求 主要内容包括 图像数字化图像变换图像编码压缩图像增强与重构图像分割图像识别 图像来自客观世界 通常由扫描仪 数码相机或视频采集装置等设备获取 18 2 图像的数字化过程 图像数字化过程分为 采样 量化和编码 1 图像采样是将二维空间上模拟的连续亮度或色彩信息 转化为一系列有限的离散数值 像素 把图像分割成离散的小区域即像素 一幅图像是M N个像素的集合 M N表示图像的分辨率 19 2 图像量化是将采样值划分成各种等级 用一定位数的二进制数来表示采样的值 量化位数越大 则越能真实地反映原有图像的颜色 但得到的数字图像的容量也越大 3 图像编码是按一定的规则 将量化后的数据用二进制数据存储在文件中 位图文件 bmp MicrosoftWindows中使用的一种非压缩图像文件格式 20 常见的几种位图图像 黑白图像 每个像素点仅用1bit表示 灰度图像 每个点由从0 黑色 到2n 白色 的亮度值来表现 其中间的值来表现不同程度的灰 每个像素点用nbit表示 彩色图像 任何一种颜色均可台用红 绿 蓝三种原色调配出来 每种颜色用若干位来表示 21 例 一张分辨率为800 600的256色的图像需要多少的存储空间 位图存储量 像素点个数 每像素占用空间 位转换为字节 800 600 8 8 480000Byte 480KB 像素点个数 256 28个不同的色彩 用8位表示 22 3 位图与矢量图 计算机可以处理的图可以分成两类 数字图像和图形 数字图像 模拟图像经过采样 量化和编码得到的数字信号 以位图的形式存储 图形是由计算机软件生成或数学公式计算生成 形状 大小及色彩 以矢量图的形式存储 23 1 位图位图 Bitmap 是由许多的像素组合而成的平面点阵图 其中每个像素的颜色 亮度和属性是用一组二进制像素值来表示的 因此数据量大 适合表现层次和色彩丰富 细致的图像 常用图像处理软件 画笔 Photoshop 24 2 矢量图矢量图使用直线和曲线来描述图形 这些图形的元素是一些点 线 矩形 多边形 圆和弧线等等 它们都是通过数学公式计算获得的 因此矢量图形文件体积一般较小 矢量图形优点是无论放大 缩小或旋转等不会失真 缺点是难以表现色彩层次丰富的逼真图像效果 矢量图形设计软件 AutoCAD CorelDRAW等 25 图形与图像的联系在实际应用中 图形图像技术是相互关联的 二者结合可以使视觉效果和质量更完善 随着图形图像技术的发展 两者间相互交叉 相互渗透 26 4 图像的压缩与编码 数据之所以能够压缩是基于原始信源的数据存在着很大的冗余度 图像压缩 采用编码技术来压缩图像信息的比特量 图像压缩分类 有损压缩和无损压缩 经典压缩编码方法 预测编码和变化编码 27 5 图像文件格式 位图文件 bmp dibBMP Bitmap 是Windows中的标准图像文件格式 可达24位全彩色模式 与设备无关 一般不压缩 JPEG文件 jpg jpegJPEG压缩率高 并且最小化图像质量损失 它是数码照相时保存的格式 也可以用作网页图像 注意 由于采用有损压缩 一个太高的压缩率会导致图形质量变差 28 GIF文件 gifGIF图像色彩丰富 压缩率较高 GIF格式还支持动画 它是网页图片的标准格式 TIFF文件 tiffPCX文件 pcxMACPAINT MPT MACPHOTOShop格式 PSD 29 4 5视频处理 1 视频的定义视频是其内容随时间变化的一组动态图像 所以视频又叫运动图像或活动图像 视频信号的特点 图像内容随时间变化伴随有与画面动作同步的声音图像与视频的区别 静止的图片称为图像 视频是运动的图像 信源方式不同 30 2 视频的分类 按照处理方式的不同 视频分为模拟视频和数字视频 模拟视频 是一种传输图像和声音的连续的变动电信号 数字视频 digitalvideo DV 经过数字化的视频信号 31 3 常见的数字视频文件 1 AVI文件 AVIAVI是音频视频交错 AudioVideoInterleaved 的英文缩写 它是Microsoft公司开发允许视频和音频交错在一起同步播放 AVI文件目前主要应用在多媒体光盘上 用来保存电影 电视等各种影像信息 32 2 MPEG文件 MPEG MPG DATMPEG文件格式是运动图像压缩算法的国际标准 它包括MPEG视频 MPEG音频和MPEG系统 视频 音频同步 三个部分 MPEG的平均压缩比为50 1 最高可达200 1 压缩效率非常高 同时图像和音响的质量也非常好 MPEG1是VCD的视频图像压缩标准 MPEG2是DVD的视频图像压缩标准 MPEG4是网络视频图像压缩标准之一 特点是压缩比高 成像清晰 数据的损失很小 主要应用于视像电话 视像电子邮件等 对传输速率要求较低 33 3 RealVideo文件 RA RM RMVBRealVideo文件是RealNetworks公司开发的一种新型流式视频文件格式 主要用来在低速率的广域网上实时传输活动视频影像 可以根据网络数据传输速率的不同而采用不同的压缩比率 RMVB 从而实现影像数据的实时传送和实时播放 4 MICROSOFT流媒体文件 ASF WMV5 QuickTime文件 MOVApple公司开发的QuickTime文件格式作为开发MPEG 4规范的统一数字媒体存储格式