《数字声音及应用》PPT课件.ppt

5.3 数字声音及应用 5.3.1 波形声音的获取与播放 5.3.2 波形声音的表示与应用 5.3.3 波形声音的编辑 5.3.4 计算机合成声音 2 5.3 数字声音及应用 5.3.1 波形声音的获取与播放 3 5.3 数字声音及应用 声音的特性 和类型 声音由振动产生，通过空气进行传播 声音是一种波，它由许多不同频率的 谐波组成 谐波的频率范围称为声音的“带宽” 计算机处理的声音类型： 话音或语音 (speech)，专指人的说话声音，带宽仅为 300 3400Hz 全频带声音 (如音乐声、风雨声、汽车声等 )，其带宽可达到 20Hz 20kHz 人耳可听到的声音统称“可听声” (audio) ， 20Hz 20kHz 4 5.3 数字声音及应用 数字波形声音的获取 步骤： 2. 量化（ quantization，模数转换 ) 3. 编码（ encoding） 1. 取样（ sampling） 取 样 模 拟 声 音 信 号 取样的目的是把时间上连 续的信号转换成时间上离 散的信号 量 化 量化是把每个样本从模拟 量转换成为数字量 (8位或 16位整数表示 ) 数字 声音 01100011001 编 码 将所有样本的二进制 代码组织在一起，并 进行数据压缩 5 5.3 数字声音及应用 数字波形声音的获取设备 声音的联机获取设备 (声卡 ) 声波转换 为电信号 声音的脱机获取设备：数码录音笔 麦克风 （ microphone） 声音卡 （ sound card） 模 拟 声 音 数 字 声 音 取样、量 化和编码 6 5.3 数字声音及应用 声音的重建与播放 计算机输出声音分为两步： 1 声音的重建：把声音从数字形式转换成模拟信号形式，由声 卡完成 2 声音播放：将模拟声音信号经处理和放大后送到音箱 (扬声器 ) 关于音箱： 普通音箱 接收的是重建的模拟声音信号 数字音箱 直接接收数字声音信号，失真更小 数字 声音 011010011101 插 值 数模转换 解 码 把压缩编码的数字 声音恢复为压缩编 码前的状态 把声音样本从 数字量转换为 模拟量 把时间上离散的一组 样本转换成在时间上 连续的模拟声音信号 重建的模拟 声音信号 7 5.3 数字声音及应用 声卡的功能与逻辑组成 波形声音的获取与编码 波形声音的重建与播放 MIDI消息的输入 MIDI音乐的合成 DSP DMA接口 PC总线 取样，量化 D/A 重建，滤波 声音输出 声音输入 音乐合成器 mixer MIDI接口 声卡的主要功能 8 5.3 数字声音及应用 选讲： 声卡的物理实现 声卡主要由 2块芯片组成： 主处理芯片：包括数字信号处理器、 MIDI控制、 I/O控制等 CODEC芯片：负责多声道取样、 A/D与 D/A转换、混音处理等 音频 主芯片 音频混合 芯片 运 算 放大器 功 率 放大器 MIDI/ joystick MIC输入 / 线路输入 P C I 总 线 线路输出 扬声器 Audio CODEC芯片 当前 PC机的声卡大多已不再做成独立的插卡形式，而是 与主板集成在一起，称为集成声卡 2种音频技术规范： - AC97音频技术规范 - HD Audio 9 5.3 数字声音及应用 选讲： 声卡的几种类型 硬声卡： 除 CODEC芯片外，主板上还 有 1块音频主处理芯片，很多音效处理 任务无需 CPU参与就可独立完成 声卡的类型 独立声卡：以扩展卡形式插在机箱中使用 集成声卡 软声卡 ：主板上仅 1块 CODEC芯片， 负责取样与量化处理， I/O控制器部分 集成在主板上的南桥芯片中， DSP的功 能需由 CPU协助完成 声卡的组成部 分均集成在主 板上 10 5.3 数字声音及应用 5.3.2 波形声音的 表示与应用 11 5.3 数字声音及应用 数字波形声音的表示及其参数 数字波形声音是使用二进位表示的一种串行比特流，其数 据按时间顺序进行组织，文件扩展名为“ .wav” 数字波形声音的主要参数有： 取样频率： 语音的取样频率低，一般为 8k 16k Hz 全频带声音 (如音乐 )取样频率高，一般为 44.1k 48k Hz 量化位数：通常为 8位、 12位或 16位 声道数目：单声道为 1，双声道为 2 码率 (比特率 )，每秒钟的数据量 12 5.3 数字声音及应用 数字波形声音码率的计算 未压缩时数字波形声音的码率计算公式 码率 = 取样频率 量化位数 声道数 例： 声音类型 声音信号带宽 (Hz) 取样频率 (kHz) 量化位数 (bits) 声道 数 未压缩时的 码率 数字语音 300 3 400 8 8 1 64 kb/s CD立体声 20 20 000 44.1 16 2 1411.2(kb/s) 压缩编码之后数字波形声音的码率为： 压缩后的码率 = 未压缩时的码率 /压缩倍数 例：上面 CD唱片的立体声音乐压缩为 MP3后，若压缩倍数 是 12倍，则该 MP3音乐的码率是： 118 kb/s左右 13 5.3 数字声音及应用 数字波形声音的数据压缩 数据压缩的必要性： 为了降低存储成本和提高在网络上的传输效率 数据压缩的可能性： 声音中包含有大量冗余信息； 人耳灵敏度有限，允许有一定失真而不易察觉 数字波形声音压缩编码的方法： 全频带声音：国际标准 MPEG；工业标准 Dolby AC-3 数字语音：固定电话使用 ADPCM编码 手机使用高效率的混合编码技术 所谓“ MP3音乐”，它是一种采用 MPEG-1层 3编码的高 质量数字声音 , 压缩比大约 10 12倍，使一张普通 CD光 盘上可以存储大约 100首 MP3歌曲，可连续播放 10小时。 14 5.3 数字声音及应用 选讲： MP3播放器的结构与原理 程序 存储器 闪烁 存储器 液晶显示 D/A转换 嵌入式处理器 及 DSP 声音输出 控制按键 USB接口 嵌入式处理器用于运行控制程序，控制各个部件 协调工作：它接收控制按键的操作命令，从闪烁 存储器读取 MP3音乐数据送到 DSP去解码；显示 播放器的工作状态；负责与主机连接并交换数据 等等 数字信号处理器 DSP完成 MP3数据流的解码操作，并 输出波形格式的数字音频信 号，经数模转换和功率放大 之后，用户即可听到声音 存放 MP3音乐数 据，容量越大， 可存放的歌曲数 目就越多 固定存放 MP3 播放器的控制 程序 显示 MP3 播放器的 工作状态 和歌曲的 歌词 15 5.3 数字声音及应用 波形声音的文件类型及其应用 文件类型 开发者 编码类型 效果 主要应用 WAV 微软公司 未压缩 声音达到 CD品质 支持多种采样频率和量化位数，获得广泛支持 FLAC Xiph.Org 基金会 无损压缩 压缩比为 2:1左右 高品质数字音乐 APE Matthew T. Ashland 无损压缩 压缩比为 2:1左右 高品质数字音乐 M4A 苹果公司 无损压缩 压缩比为 2:1左右 QuickTime, iTunes, iPod， Real Player MP3 ISO 有损压缩 MPEG-1 audio层 3 压缩比为 8:1 12:1 因特网， MP3音乐 WMA 微软公司 有损压缩 压缩比高于 MP3 使用数字版权保护 因特网，音乐 AC3、 AAC 美国 Dolby公司 有损压缩 压缩比可调，支持 5.1、7.1声道 DVD, 数字电视，家庭影 院等 16 5.3 数字声音及应用 什么是流媒体？ 在因特网上收听 (看 )音 (视 )频节目的 2种方式： 下载存储方式：先下载存储在计算机中，下载完毕后再播放（缺点： 需要等待很长时间，并需要较大的存储容量） 流式传输方式：边下载、边播放（优点：只需要下载一部分数据之 后 , 就可以开始一边播放一边下载，等待时间短、存储需求小） 流媒体 就是一种允许在网络上让用户一边下载一边收看 (听 ) 音视频媒体的 媒体分发 (delivery)技术 目前流行的主要有 3个公司的流媒体技术： 1. Real Networks公司的 Real Media （ RealAudio和 RealVideo） 2. 微软公司的 Windows Media Services (WMA、 WMV和 ASF) 3. 苹果公司的 Quick Time 17 5.3 数字声音及应用 选讲： 流媒体是如何工作的？ 流媒体 播放软件 Web服务器 Web 浏览器 流媒体 专用服务器 音频 (视频 ) 流媒体文件 网 页 （客户计算机） http协议 3 点击 流媒体 节目， 启动流 媒体播 放程序 RTSP/TCP RTP/UDP 6 播放器 可以边播 放边接收 数据，并 可以控制 播放、暂 停、快进 、快倒等 5 将音 (视 )频 节目传输给客 户计算机 RTCP/UDP HTML网页 1 请求网页 2 服务器送回网页 4 向流媒体服 务器发出请求 18 5.3 数字声音及应用 5.3.3 波形声音的编辑 19 5.3 数字声音及应用 波形声音编辑软件的功能 主要功能： 1 编辑声音：如声音剪 辑、复制、调节音量 2 声音的效果处理：如 混响、回声、淡入、 淡出等 3 录音 4 声音的格式转换 5 播放声音 数字声音 的参数 左声道 信号波形 右声道 信号波形 淡入 淡出 时间刻度 播放标尺 声音编辑软件的 典型用户界面 20 5.3 数字声音及应用 5.3.4 计算机合成声音 21 5.3 数字声音及应用 什么是计算机合成声音？ 计算机合成声音就是计算机模仿人说话或演奏音乐 计算机合成声音有两类： 计算机合成话音（语音）： 计算机模仿人把一段文字朗读出来，即把文字转换为说话声 音（简称为 TTS） 应用：有声查询、文稿校对、语言学习、语音秘书、自动报 警、残疾人服务等 计算机合成音乐： 计算机模拟各种乐器发声并按照乐谱演奏音乐 应用：计算机作曲、配器等 22 5.3 数字声音及应用 例：计算机合成的语音 Hello， everybody （ 1） 你好，我是贝尔实验室的中文语音合成系统 （ BellTTS1） 南京大学计算机系 2002年招收了 202名本科生， 22名博士 生， 130多名硕士生。 （中科大讯飞公司） （ Bell） 安徽中科大讯飞信息科技有限公司是专门从事中文语音及 语言技术软件 （讯飞） 我们都是同行，我们一路同行，去参加人参培植研讨会 （讯飞） （ Bell） 需要进一步提高之处：发音和断句要正确，提高自然度，丰富表现力 23 5.3 数字声音及应用 计算机合成音乐（ MIDI） 音乐 合成器 音乐 MIDI 文件 媒体 播放器 MIDI 消息 计算机合成音乐需要三个要素：乐器、乐谱和“演奏员” 声卡上的音乐合成 器能像电子琴一样 模仿几十种不同的 乐器发出声音，它 按照 MIDI消息合成 出不同音色和音调 的音符，通过扬声 器播放出音乐来 乐谱在计算机中使用 一种叫做 MIDI的音 乐描述语言来表示。 使用 MIDI描述的音 乐称为 MIDI音乐。 一首乐曲对应一个 MIDI文件，其文件 扩展名为 .MID 或 .MIDI 媒体播放器软件相当 于“演奏员”。播放 MIDI音乐时，它先 从磁盘上读入 .MID 文件，解释其内容， 然后以 MIDI消息的 形式向声卡上的音乐 合成器发出各种指令 24 5.3 数字声音及应用 选讲： 音乐合成器 PC机声卡一般都带有 MIDI音源（音乐合成器） MIDI音源有两种： 调频合成器 （一种受控的电子振荡器）。音色单调，效果较 差，已很少使用 波表合成器 。音色丰富，效果很好，可扩展，现广泛使用 波表合成器的原理 预先将真实乐器演奏的各个音符的波形数字化，把它们组织 成一个个波表文件存放在存储器中 播放时合成器软件根据乐器类型和音符参数等将相应的波形 数据修饰成所要求的音强和时长，然后合成、加工后播放 低通滤波 采样、量化 加工处理 乐器演奏 波表 文件 录音 25 5.3 数字声音及应用 例：计算机合成的 MIDI音乐 例 1 音乐之声 （ 6KB） 例 2 军港之夜 （ 7KB） MIDI的优点： 数据量极小（比 CD立体声少 3个数量级，比 MP3少 3个数量级） 易于制作和编辑修改 可以与波形声音同时播放 MIDI的不足： 只能合成音乐，不能合成歌曲和语言 音质与硬件设备相关 26 5.3 数字声音及应用 小结：计算机中的数字声音 数字声音的特点： 是一种连续媒体，传输与播放有实时性要求 数据量大，对存储和传输的要求比较高，必须进行压缩 数字声音的类型： 取样（波形）声音 数字语音：应用于电话、手机、多媒体配音等 全频带声音： CD和 DVD音乐，数字电视伴音等 计算机合成声音 合成语音 合成音乐（ MIDI）