大一第二学期计算机多媒体技术

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第七章 多 媒 体 技 术,计算机应用基础,多媒体技术基础内容,媒体,传递信息的载体，如文字、声音、图像、动画、视频等,多媒体技术,通过各种外部设备，将文字、声音、图像、动画、视频等多媒体信息采集到计算机中，以数字化的形式进行加工、编辑、合成和存储，最终成为具有交互特征的多媒体产品。,多媒体系统,包括,多媒体硬件系统,和,多媒体软件系统,多媒体硬件系统包括支持各种媒体信息的采集、存储、展现所需要的各种外部设备，以及支持多媒体程序运行的,CPU,多媒体软件系统包括支持各种多媒体设备工作的操作系统，各种媒体采集、创作和处理工具，将各种媒体集成起来的创作工具，以及提供给最终用户使用的各种多媒体软件，这些软件可以通过光盘或网络的形式发布到用户的计算机中。,多媒体具体技术,7.1,音频信号的处理,7.2,图像信息的处理技术,7.3,动画处理技术,7.4,视频信息的处理技术,7.1,音频信号的处理,多媒体计算机中产生声音的方式,由外部声音源进行录制和重放（,Wave,波形音频）、,MIDI,音乐（,MIDI,音频）、,CD-Audio,（,CD,音频）。,音频文件,7.1.2 MIDI,合成音乐,7.1.3,音频处理,7.1.4,音频数据的压缩,7.1.5,声音文件的格式,7.1.6,语音合成与识别,音频文件,波形音频特征,（理解）,多媒体获得声音最直接、最简便的方式，通常以麦克风、立体声录音机或,CD,激光唱盘为声音的输入源，声卡以一定的采样频率和量化级对输入声音进行数字化采样，将其从模拟声音信号转换为数字信号（模/数转换），然后以适当的格式存在硬盘上。记录下来的声音重放时，声卡将文件中的数字信号还原成模拟信号（数/模转换），经混音器混合后由扬声器输出。,模数转换器,数字信号处理器,存储器器,00101100,11011011,11001100,00110011,模数转换器,信号放大器,扬声器,麦克风,原声,模拟信号,Wave,音频,Wave,音频文件的三个参数,采样频率,：,每秒从模拟声波中选择多少个点的声音样本。,一般有11.025,kHz,（电话音质）、,22.05kHz,（广播音质）、,44.1kHz,（,CD,音质）和,48KHz,等采样频率。,量化位数,：计算机对声音波形描述的精度，位数越多，精度越高。,一般有,8,、,16,、,32,位。,声道数：单声道,/,立体声,用不压缩的,PCM,格式存储,Wave,文件，所占存储空间：,存储空间,=（采样频率量化位数 声道）时间,/8,（字节）,例如，用,44.10 kHz,的采样频率，,16,位的精度存储，则录制,1,秒钟的立体声节目，其,WAV,文件所需的存储量为：,44 100162/8=176 400,（字节）,170kB,模拟音频的数字化,用计算机对音频信息处理，就要将模拟信号（如语音、音乐等）转换成维数字信号。,采样 每隔一定时间间隔对模拟波形上取一个幅度值。,量化 将每个采样点得到的幅度值以数字存储。,编码 将采样和量化后的数字数据以一定的格式记录下来,模拟信号,采样,量化,编码,数字信号,振幅,频率,1/T,采样点,T,振幅,1/T,T,2.Wave,音频文件和音频制作工具,2.Wave,音频文件,记录了对实际声音的采样数据。,主要缺点：产生的文件太大，不适合长时间记录。,常用软件压缩方法有,PCM（,均匀量化）和,ACM（,自适应差分量化）等，,一般人讲话的声音用8位量化级、11.025,KHz,采样频率就可较好还原。,3.Wave,音频文件制作工具,录音机,常用的音频输入设备,有话筒、录音机等，常用的视频输入设备有扫描仪、数码相机、摄像机、,CD,等。,7.1.2 MIDI,合成音乐,1.MIDI（musical instrument digital interface）,（知道）,是乐器数字接口的缩写，泛指数字音乐的国际标准，始建于1982年。,标准的多媒体,PC,平台能够通过内部合成器或连接到计算机,MIDI,端口的外部合成器播放,MIDI,文件。,合成器,合成器是利用数字信号处理器或其他芯片来产生音乐或声音的电子装置。数字信号处理器产生并修改波形，然后通过声音产生器和扬声器发出声音。,合成器存在于声卡里，分成,调频（,FM）,合成器,和,波表合成器,。,FM,合成器,采用频率调制的原理产生声音，用以模拟各种乐器的声音。,FM,合成器能发出128种乐器的声音，与真实乐器声音有差距。,波表合成器,是对真实乐器发出的声音进行采样，将采样值表保存在,ROM,中，可由数字信号处理器随时调用处理，再将合成后的数字音频信号经,D/A,转换器变成模拟音频信号，音效与真实乐音几乎无差别。,ROM,容量大，可存储的乐器音就越多。,一般声卡都带有波形表,ROM,的接口可配接波形子表，有的声卡本身就带有波形表,ROM,。,2.MIDI,音乐产生的原理,MIDI,标准,规定了不同厂家的电子乐器与计算机连接的,电缆和硬件,。,MIDI,标准还指定从一个装置传送数据到另一个装置的,通信协议,。,任何有,MIDI,信息处理器和适当的硬件接口的电子乐器都能成为,MIDI,装置。,MIDI,间靠接口传递消息，消息即,乐谱的数字描述,。,乐谱,由音符序列、定时和称作合成音色的乐器定义所组成。,MIDI,文件,是存放,MIDI,信息的标准文件格式，包含音符、定时和多达,16,个通道的演奏定义。,每个通道的,演奏音符,定义由键号、通道号、音长、音量和力度组成。,MIDI,文件是一系列指令，存储空间小。（,2,分钟不到,8K,）,演奏过程：,将电子乐器演奏时的指令信息通过声卡上的,MIDI,控制器输入计算机中，或利用一些,MIDI,乐曲处理软件编辑产生的音乐指令集合，以,MIDI,文件格式存储在硬盘上，即,MIDI,音频文件。,播放时，合成器将,MIDI,指令翻译成声音信号，再由声卡山的混音器混合后生成声波，最后由音响设备输出声音。,MIDI,音乐应用与,MIDI,设备,使用,MIDI,合成音乐比波形音频更合适的情况：,需要播放长时间高质量的音乐,需要以音乐为背景音响效果，同时从,CD-ROM,中装载其他数据,需要以音乐为背景音响效果，同时播放波形音频，如音乐与语音同时输出。,MIDI,设备,有三种端口：,MIDI In（,输入口）：接收其他,MIDI,设备送来的,MIDI,信息,MIDI Out（,输出口）：发送设备生成的原始,MIDI,信息,MIDI Thru（,传送口）：向其他连接,MIDI,的设备传送从,MIDI in,端口接收到的信息。,128,种不同的乐器，同一,MIDI,文件利用不同的合成器播放，效果不完全相同。,7.1.3,音频处理,声音的处理过程,（知道）,录音、剪辑、去除杂音、混音、合成。,声音处理软件：,Ulead Audio Editor、Creative,录音大师、,Cake Walk,等,实验：,录制一段本人的录音,为录音添加配乐,各种音频文件格式的转换,CD,音质,收音质量,电话音质,7.1.4,音频数据的压缩,1、音频压缩原理：,由于音频信号中存在着冗余，所以在计算机系统的音频数据的存储和传输中，数据压缩是必须的。通常音频信号的压缩会造成音频质量的下降和计算量的增加，因此在实施压缩的时，要在声音质量、数据率、计算量三方面进行综合考虑。,音频的压缩方法,（知道）,：,基于音频数据的统计特性进行编码,波形编码,，其目标是重建语音波形，保持原波形的形状。,基于音频的声学参数进行,参数编码,，可进一步提高压缩比，其目标是是重建音频保持远音频的特性。,将上述两种编码结合起来，就是,混合编码,方法。,基于人的,听觉特性,进行编码，从人的听觉特性出发，利用掩蔽效应，设计声学心理波形，从而实现更高效率的数字音频压缩。其中以,MPEG,标准中的高频编码最有影响。,2、MP3,音乐,MP3（MPEG layer 3）,：,实际上就是一种音频压缩技术，它的压缩比可以从10：1到12：1；,目前具有最高的压缩比的波形音频文件的压缩标准，在保证,CD,音质水平下压缩比可达12：1,MP3,的原理,（知道）,：,一方面通过先进的编码技术，让未压缩的原始声音重新编码压缩；,另一方面利用人耳的特点进行数据的缩减，由于人耳对于超过15,KHZ,的声音就不是很灵敏了，所以将一些高频的声音删除掉不会对声音效果有很大影响，这样就可以缩小声音存储所需占用的空间。,音频信号的压缩方法分为：有损压缩和无损压缩,无损压缩,霍夫曼编码、游程长度编码,有损压缩,波形编码、参数编码、混合编码,最常用,波形编码中的,PCM,方法。,（知道）,MP3,的制作软件：,MP3 Compressor,（知道）,MP3,的播放软件：,Winamp,7.1.5,声音文件的格式,WAV,格式,支持多种压缩算法，支持多种音频位数、采样频率和声道,类似格式,AIFF、AU,MP3,格式,常用、牺牲高频,MIDI,格式,短小,播放效果因软、硬件而异,CD,格式,音质最好的数码音频格式,44.1,K,采样、速率88,K/,秒、16位量化,RealAudio,格式,RA、RM、RMX,在线播放，随带宽不同而改变声音质量,WMA,格式,微软开发的格式，可选择压缩率,7.1.6,语音合成与识别,语音处理的内容,（知道）,：,一是使人们从用语音来代替键盘输入和编辑文字，使计算机,“,听懂,”,语音,语音识别技术；,二是要赋予计算机,“,讲话,”,的能力，用语音输出结果,语音合成技术。,语音合成技术：,途径一：同录音机，计算机再生一个预先存入的语音信号，存入足够的语音单元，在合成时采用恰当的技术手段挑选出所需的语音单元，将它们,拼接,，可生成高自然度的语句,波形拼接的语音合成方法，先压缩，再保存语音。,途径二：采用数字信号处理方法，用能表征声道谐振特性的时变数字滤波器来,模拟人类发声,过程。调整滤波器的参数等同于改变口腔及声道形状，达到控制发不同声音的目的，而调整激励源脉冲序列的周期或强度，将改变合成语音的音调、重音等只要正确控制激励源和滤波器的参数（一般10,ms30ms,送一组），就可灵活合成各种语句,参数合成,方法。,语音合成的目标,：可懂、清晰、自然、具有表现力,成果：60年代，英语,TTS（,文语转换）研制成功,语音识别技术,成果：97，,IBM,中文连续语音识别系统,ViaVoice，,适用于,WIN95/98,系统的普通话语音识别听写系统及其相应的开发工具，150字/分钟，识别率95%，6万条词组。,语音识别技术所涉及的领域：信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能。,7.2,图像信息的处理技术,7.2.1,数字图形、图像文件的格式,7.2.2,数字图像数据压缩类型,7.2.3,数字图像的获取,7.2.1,数字图形、图像文件的格式,图形特征,图形是由图元（直线、圆、园弧、矩形、任意曲线）组成的矢量图。,图形是用一组指令来描述，是一种不会因放大、缩小而失真的矢量图。,图形的编辑处理通常选用具有矢量图形处理功能的软件，如,CorelDRAW,等,.,图像特征,图像是由像素组成的位图,图像是由摄象机或扫描仪输入到计算机中由像素构成的数字信息（如照片）,图像的编辑处理应选用机遇图像处理的软件，如,Photoshop、,画图等,常用图形图像格式的特点和应用,1,（理解）,BMP,格式,与硬件无关的图像文件格式,有压缩和非压缩之分,文件所占空间大，是,Windows,环境中交换与图有关的数据的一种标准，所有软件都支持。,GIF,格式（,graphics interchange format）,图像互换,压缩率,50%,左右，软件都支持。,图像经过压缩，图像深度,1-8,位（最多显示256色）,在一个,GIF,文件中可以存多幅彩色图像，逐