《声音的合成》PPT课件

第 二 章 声 音 的 合 成 l一 、 音 频 信 号 1 .声 音 是 一 种 波 声 波 可 以 在 空 气 中 传 播 ， 也 可 以 在 液 体 及固 体 中 传 播 。 声 音 三 要 素 (1) 音 调 (高 低 ) (2) 音 强 (强 弱 ) (3) 音 色 (特 质 ) 2 .音 质音 质 与 频 率 范 围 成 正 比 ， 频 率 范 围越 宽 音 质 越 好 3 .声 音 采 样 把 声 音 信 号 按 固 定 的 时 间 间 隔 ， 转换 成 有 限 个 数 字 表 示 的 离 散 序 列 。 0000000100100011100110101011 常 用 声 音 信 号 与 采 样 频 率 声 音 信 号CD音 乐数 字 电 话 采 样 频 率 信 号 带 宽数 字 电 话 44.1K16K8K 20K7K3.4K 4 .音 频 文 件 的 种 类 及 特 点 (1)MIDI文 件 （ 电 子 乐 器 数 字 接 口 ） 是 用 于 在 音 乐 合 成 器 、 电 子 乐 器 、音 序 器 和 计 算 机 之 间 交 换 音 乐 信 息的 一 种 标 准 协 议 。 MIDI实 质 上 是 由 MIDI控 制 器 （ 或 MIDI文 件 ）产 生 的 指 示 电 子 音 乐 合 成 器 要 做 什 么 、 怎么 做 （ 如 演 奏 某 个 音 符 、 加 大 音 量 、 生 成音 响 效 果 ） 的 一 套 标 准 指 令 。 MIDI不 是 声音 信 号 ， 在 MIDI电 缆 上 传 送 的 不 是 声 音 ，而 是 动 作 指 令 。 由 于 MIDI只 是 记 录 音 乐 信 息 的 数 字 代 码 ，所 以 生 成 的 文 件 比 较 小 ， 便 于 传 播 ， 也 便于 编 辑 修 改 与 Mp3、 Wav等 音 频 格 式 不 同 的 是 MIDI的 播放 质 量 很 大 程 度 上 取 决 于 硬 件 或 软 件 的 音源 环 境 ， 也 就 是 说 同 样 的 MIDI文 件 在 不 同的 电 脑 上 可 能 有 非 常 明 显 的 效 果 差 别 ， 究其 原 因 是 因 为 它 们 调 用 的 波 表 音 色 库 不 一样 声 音 文 件 :24.9K 声 音 文 件 :16K (2) 标 准 格 式 的 WAV文 件 和 CD格 式 一 样 ， 也 是44.1K的 采 样 频 率 ， 速 率 88K/秒 ， 16位 量 化位 数 WAV格 式 的 声 音 文 件 质 量 和 CD相 差 无 几 MP3也 就 是 指 的 是 MPEG标 准 中 的 音 频 部 分 ，也 就 是 MPEG音 频 层 。 根 据 压 缩 质 量 和 编 码处 理 的 不 同 分 为 3层 ， 分 别 对 应“ *.mp1” /“ *.mp2” /“ *.mp3” 这 3种 声音 文 件 。 MPEG音 频 文 件 的 压 缩 是 一 种 有 损 压 缩 ， MPEG3高 压 缩 率 ， 基 本 保 持 低 音 频 部 分 不失 真 ， 但 是 牺 牲 了 声 音 文 件 中 12KHz到16KHz高 音 频 这 部 分 的 质 量 来 换 取 文 件 的 尺寸 相 同 长 度 的 音 乐 文 件 ，用 .mp3格 式 来 储 存 ，一 般 只 有 .wav文 件的 1/10， 而 音 质 要 次于 CD格 式 或 WAV格 式的 声 音 文 件 。 文 件 尺寸 小 ， 音 质 好 二 、 录 音 编 辑 1.基 于 句 子 和 单 词 的 录 音 编 辑 方 式 可 以 预 先 将 句 子 、 单 词 作 为 录 音 的 单 位 ，对 录 音 、 讲 话 所 涉 及 的 有 关 句 子 或 单 词 逐 个进 行 录 音 并 保 存 为 了 实 现 这 种 录 音 编 辑 方 式 ， 应 事 先 存入 大 量 的 有 关 单 词 、 句 子 （ 即 需 要 大 量 的 存储 空 间 ） ， 声 音 合 成 时 还 需 要 快 速 地 检 出 和呈 现 （ 需 要 高 速 的 检 索 和 控 制 ） 。 2.基 于 音 节 的 编 辑 合 成 方 式在 任 何 语 言 中 ， 音 节 的 数 量 比 单 词 的 数 量 少很 多 ；基 于 音 节 的 编 辑 方 式 在 合 成 时 的 检 索 、 控 制变 得 十 分 方 便 ；基 于 音 节 的 合 成 方 式 的 音 质 较 差 ， 很 难 表 现人 们 在 讲 话 时 的 各 种 情 感 和 声 调 的 变 化 ；根 据 发 音 耦 合 的 原 理 和 要 求 ， 人 们 对 单 词 的发 音 制 定 了 一 定 的 规 则 ， 基 于 这 种 规 则 进行 声 音 合 成 ， 可 以 得 到 较 好 的 声 音 效 果 。 3.录 音 编 辑 声 音 合 成 的 分 析（ 1） 以 录 音 编 辑 的 方 式 进 行 声 音 合 成 ， 需 要大 容 量 的 存 储 设 备（ 2） 为 了 让 一 定 容 量 的 存 储 设 备 能 存 储 更 多的 声 音 信 息 ， 需 要 对 声 音 信 息 的 数 据 量 进行 压 缩（ 3） 通 过 编 码 的 方 式 ， 减 少 声 音 信 息 中 的 冗余 性 是 实 现 声 音 信 息 压 缩 的 基 本 方 法 。 三 、 脉 冲 代 码 调 制 PCM 脉 冲 代 码 调 制 PCM（ pulse code modulation）是 一 种 对 模 拟 信 号 的 编 辑声 音 信 号 是 一 种 模 拟 信 号 ， 经 PCM编 码 后 ， 变成 数 字 信 号通 常 所 说 的 PCM录 音 就 是 一 种 数 字 录 音 。 1.基 本 原 理PCM编 码 过 程 ：（ 1） 对 模 拟 声 音 信 号 进 行 采 样 采 样 周 期采 样 信 号 t振幅 （ 2） 将 各 个 采 样 点 的 声 音 信 号 值 通 过 模 数变 换 （ A D转 换 ） 变 换 成 由 0和 1组 成 的脉 冲 变 换 序 列 0011001000010000111111101101 正 值负 值 模 拟 信 号码 字 序 列 （ 3） 在 PCM（ 脉 冲 代 码 调 制 ） 中 所 分 配 码 字的 首 位 为 符 号 位 ，信 号 为 正 时 ， 首 位 为 0信 号 为 负 时 ， 首 位 为 1（ 4） 对 声 音 采 样 的 频 率 称 为 采 样 频 率 ： f经 采 样 后 对 每 一 个 采 样 点 分 配 的 码 字 为 a位 ，用 于 存 储 1秒 钟 的 声 音 信 号 所 需 的 存 储 容 量 为fa ， 它 也 表 示 了 传 递 声 音 信 号 所 需 的 速 率 。 例 ：设 声 音 信 号 的 采 样 频 率 为 10KHz， PCM编 码 所分 配 码 字 长 度 为 8bit， 传 送 该 声 音 信 号 所需 的 传 递 速 率 应 不 低 于 10 103 8=8 104 bits （ 5） PCM录 音 及 其 声 音 合 成 系 统 扬 声 器AD变 换 器 录 音 话 筒 大 容 量存 储 器 DA变 换 器 2.采 样 与 量 化（ 1） 在 PCM调 制 中 ， 采 样 频 率 应 是 声 音 信 号中 最 高 频 率 的 两 倍 以 上（ 2） 声 音 信 号 中 包 括 有 多 种 不 同 的 频 率 成 分 ，为 使 各 种 不 同 的 频 率 成 分 都 能 很 好 地 传 递 、呈 现 ， 所 需 的 带 宽 应 是 20Hz-20KHz 采 样 频 率 应 选 为 40Hz（ 3） 对 于 连 续 的 声 音 信 息 ， 由 于 其 相 关 性 ，通 过 前 、 后 的 有 关 信 息 可 以 实 现 信 息 的 预测 和 识 别 ， 声 音 合 成 时 采 样 频 率 选 为 8KHz就 足 够 了 （ 至 多 10KHz） （ 4） PCM编 码 中 ， 除 需 要 以 一 定 的 频 率 进 行采 样 外 ， 还 需 要 对 每 一 个 样 本 进 行 量 化 ，分 配 一 定 的 码 字（ 5） 量 化 的 精 度 ， 即 分 配 码 字 的 长 度 ， 对 声音 的 失 真 度 有 很 大 影 响 。 声 音 信 号 与 量 化 精 度 的 关 系 量 化 噪 音 与 量 化 精 度 ， 即 分 配 码 字 长 度 a之 间有 如 下 关 系 ： 6（ a-1） dB 例 如 ： 要 求 噪 音 的 信 噪 比 S N不 低 于 60dB 6（ a-1） =60 a=11说 明 ： 在 PCM编 码 时 ， 分 配 的 码 字 长 度 应 不 低于 11bit 如 采 样 频 率 为 10kHz 分 配 的 码 字 长 度 为 11bit，记 录 1秒 钟 的 声 音 信 息 所 需 要 的 存 储 容 量 为 ： 11 10 103=110（ kb）若 以 字 节 计 算 ， 记 录 1分 钟 的 声 音 信 号 所 需 存储 容 量 ： 110 1038=14（ KB）40KB的 存 储 容 量 ， 只 能 存 3秒 钟 3.高 频 滤 波为 提 高 声 音 合 成 效 果 ， 进 行 预 处 理 ： 采 样 频 率 为 f 将 声 音 信 号 中 高 于 f 2的高 频 成 分 滤 掉 ， 这 种 处 理 是 通 过 低 通 滤 波 器 完 成 低 通 滤 波 器 四 、 增 量 调 制 1.基 本 原 理 增 量 调 制 是 一 种 以 最 低 的 一 位 数 进 行 数 据压 缩 的 编 码 方 式 在 DM系 统 中 ， 应 预 先 确 定 具 有 一 定 振 幅值 的 增 量 ， 并 根 据 当 前 信 号 与 基 于 预 测编 码 的 预 测 值 之 间 的 差 值 进 行 编 码 。 设 当 前 时 刻 n的 声 音 信 号 值 为 Sn ， 基 于 预测 编 码 的 n-1时 刻 的 声 音 信 号 预 测 值 为 Sn-1其 间 的 误 差 值 en 为 en = Sn -Sn-1 e n为 预 测 误 差 预 测 编 码 是 按 照 不 断 减 少 预 测 误 差 的 方向 进 行 编 码 的 ， 通 过 编 码 ， 使 预 测 值 Sn-1不断 逼 近 Sn 在 DM方 式 中 ， 预 测 值 是 以 Sn = Sn-1+ 确 定 的下 面 以 声 音 信 号 采 样 序 列 ： 4， 5， 1， 0， 3 在 编 码 前 ， 应 预 先 确 定 增 量 ， 设 =2， 并给 定 编 码 的 初 始 条 件 为 S0=0 n=1时 刻 ： 声 音 信 号 为 4， 由 于 初 始 条 件 为 S0=0 e1=S1 - S0 =4-0=4由 于 e1 0 分 配 增 量 =2， 以 码 字 0表 示 ， 预 测 值 为 S1= S0 + =2 n=2时 刻 ： 声 音 信 号 为 5， 预 测 误 差 为 e2=S2 S1 =5-2=3由 于 e2 0 分 配 增 量 =2， 以 码 字 1表 示 ， 预 测 值 为 S2= S1 + =4 n=3时 刻 ： 声 音 信 号 为 1， 预 测 误 差 为 e3=S3 S2 =1-4= -3由 于 e3 0 分 配 增 量 为 - ， 以 码 字 0表 示 ， 预 测 值 为 S3= S2 - =4-2=2声 音 信 号 、 预 测 值 、 预 测 误 差 与 码 字 序 列 及其 相 互 间 的 关 系 如 下 图 所 示 DM方 式 的 信 号 波 形 l 通 过 上 述 DM编 码 的 过 程 ， 可 得 到 声 音 信 号的 DM编 码 的 0、 1符 号 序 列 。 根 据 这 样 的 符号 序 列 ， 通 过 DM编 码 的 逆 操 作 ， 可 进 行 解码 ， 恢 复 原 声 音 信 号 。l 例 如 ， =2的 情 况 下 ， 接 收 的 码 字 序 列 为“ 1101 1100” ， 当 码 字 “ 1” 到 来 时 ， 进行 +2的 操 作 ， 当 码 字 “ 0” 到 来 时 ， 进 行 -2的 操 作 ， 由 此 可 得 到 解 调 后 的 声 音 信 号 为“ 2， 4， 2， 4， 6， 8， 6， 4” 。 2.粒 状 噪 声 与 超 载 噪 声 增 量 调 制 是 一 种 一 位 数 的 编 码 方 式 ， 它根 据 预 测 误 差 的 正 、 负 分 配 相 应 的 在 很 多 情 况 下 ， 信 号 的 变 化 很 小 ， 甚 至不 变 ， 在 这 种 情 况 下 ， DM编 码 仍 然 要 分 配+ 或 - . 2.粒 状 噪 声 与 超 载 噪 声 l 如 上 图 ， 在 原 声 音 信 号 不 变 ， 或 缓 慢 变 化时 ， DM编 码 的 码 字 序 列 却 是 010101 这 样变 化 的 码 字 序 列 。l 这 种 变 化 的 0、 1序 列 ， 经 解 码 后 产 生 一 种 噪 声 ， 对 原 声 音 符 号 的 音 质 造 成 一 定 的 影响 ， 称 这 种 噪 声 为 粒 状 噪 声(GranularNoise)。 为 了 减 小 粒 状 噪 声 的 影响 ， 应 减 小 增 量 的 幅 度 。 显 然 ， 的 幅 度越 小 ， 粒 状 噪 音 越 小 。 l 当 增 量 的 幅 值 减 小 时 ， 会 给 DM方 式 的 声 音信 号 带 来 超 载 噪 声 (OverloadNoise)l 对 于 一 定 的 增 量 幅 值 ， 当 声 音 信 号 变 化 比较 大 时 ， DM编 码 信 号 值 的 变 化 跟 不 上 声 音信 号 的 变 化 ， 使 得 编 码 信 号 值 的 变 化 比 原声 音 信 号 产 生 一 种 延 迟 如 图 所 示 超 载 噪 声 为 了 减 少 超 载 噪 声 应 增 大 增 量 的 幅 值 ，这 与 减 小 粒 状 噪 声 是 相 矛 盾 的 。 一 般 地 ， 人 们 对 超 载 噪 声 噪 声 的 感 知 不太 敏 感 ， 而 粒 状 噪 声 在 整 个 频 谱 范 围 上 都会 产 生 一 定 的 影 响 ， 它 对 音 质 的 影 响 较 大 。因 此 ， 在 决 定 增 量 的 幅 值 时 ， 与 实 际 的 声音 信 号 大 小 相 比 较 ， 应 选 择 增 量 足 够 小 的幅 值 增 量 的 幅 值 过 小 ， 必 将 使 超 载 噪 声 增加 ， 为 减 少 超 载 噪 声 ， 可 增 加 采 样 频 率 ，使 得 在 一 定 的 采 样 间 隔 内 声 音 信 号 的 变 化减 少 。 所 以 ， 在 DM编 码 时 ， 应 慎 重 选 择 采样 频 率 和 增 量 幅 值 。 五 、 差 分 脉 冲 代 码 调 制 基 本 原 理DPCM方 式 的 基 本 原 理 与 DM方 式 相 同 ， 要 求 声音 信 号 相 邻 的 两 个 采 样 信 号 间 不 应 有 很 大的 变 化 ， 即 声 音 信 号 是 一 种 连 续 性 的 信 号 。不 同 的 是 ,DM是 一 位 数 的 编 码 ， DPCM则 是 多 位数 的 编 码 。 DPCM编 码 解 码 的 原 理 图 DPCM编 码 中 的 各 信 号 波 形