图像信息处理技术

第 4章 图 像 信 息 处 理 技 术 第 4章 图 像 信 息 处 理 技 术 4.1 图 像 信 号 概 述 4.2 图 像 信 号 数 字 化 4.3 数 字 图 像 压 缩 方 法 的 分 类 4.4 典 型 的 熵 编 码 方 法 4.5 预 测 编 码 4.6 变 换 编 码 *4.7 新 型 图 像 编 码 技 术 4.8 静 态 图 像 压 缩 编 码 标 准 4.9 动 态 图 像 压 缩 编 码 标 准练 习 与 思 考 题 第 4章 图 像 信 息 处 理 技 术 4.1 图 像 信 号 概 述 图 像 是 一 种 可 视 化 的 信 息 ， 图 像 信 号 是 图 像 信 息的 理 论 描 述 方 法 ， 图 像 信 号 按 其 内 容 变 化 与 时 间 的 关系 来 分 ， 主 要 包 括 静 态 图 像 和 动 态 图 像 两 种 。 静 态 图像 其 信 息 密 度 随 空 间 分 布 ， 且 相 对 时 间 为 常 量 ； 动 态图 像 也 称 时 变 图 像 ， 其 空 间 密 度 特 性 是 随 时 间 而 变 化的 。 人 们 经 常 用 静 态 图 像 的 一 个 时 间 序 列 来 表 示 一 个动 态 图 像 。 第 4章 图 像 信 息 处 理 技 术 图 像 分 类 还 可 以 按 其 他 方 式 进 行 ： 如 按 其 亮 度 等 级的 不 同 可 分 为 二 值 图 像 和 灰 度 图 像 ； 按 其 色 调 的 不 同 可分 为 黑 白 图 像 和 彩 色 图 像 ； 按 其 所 占 空 间 的 维 数 不 同 可分 为 平 面 的 二 维 图 像 和 立 体 的 三 维 图 像 等 等 。 图 像 信 号 的 记 录 、 存 储 和 传 输 可 以 采 用 模 拟 方 式 或数 字 方 式 。 传 统 的 方 式 为 模 拟 方 式 ， 例 如 ， 目 前 我 们 在电 视 上 所 见 到 的 图 像 就 是 以 一 种 模 拟 电 信 号 的 形 式 来 记录 ， 并 依 靠 模 拟 调 幅 的 手 段 在 空 间 传 播 的 。 将 模 拟 图 像信 号 经 A/D变 换 后 就 得 到 数 字 图 像 信 号 ， 数 字 图 像 信 号便 于 进 行 各 种 处 理 ， 例 如 最 常 见 的 压 缩 编 码 处 理 就 是 在此 基 础 上 完 成 的 。 本 书 介 绍 的 图 像 信 息 处 理 技 术 就 是 针 对 数 字 图 像 信 号 的 。 第 4章 图 像 信 息 处 理 技 术 1 彩 色 图 像 信 号 的 分 量 表 示 对 于 黑 白 图 像 信 号 ， 每 个 像 素 点 用 灰 度 级 来 表 示 ， 若 用 数 字 表 示 一 个 像 素 点 的 灰 度 ， 有 8比 特 就 够 了 ， 因 为 人 眼 对 灰 度 的 最 大 分 辨 力 为 26。 对 于 彩 色 视 频 信号 （ 例 如 常 见 的 彩 色 电 视 信 号 ） 均 基 于 三 基 色 原 理 ， 每 个 像 素 点 由 红 （ R） 、 绿 （ G） 、 蓝 （ B） 三 基 色 混合 而 成 。 若 三 个 基 色 均 用 8比 特 来 表 示 ， 则 每 个 像 素点 就 需 要 24比 特 ， 由 于 构 成 一 幅 彩 色 图 像 需 要 大 量 的像 素 点 ， 因 此 ， 图 像 信 号 采 样 、 量 化 后 的 数 据 量 就 相当 大 ， 不 便 于 传 输 和 存 储 。 第 4章 图 像 信 息 处 理 技 术 为 了 解 决 此 问 题 ， 人 们 找 到 了 相 应 的 解 决 方 法 ： 利 用 人 的 视 觉 特 性 降 低 彩 色 图 像 的 数 据 量 ， 这 种 方 法 往往 把 RGB空 间 表 示 的 彩 色 图 像 变 换 到 其 他 彩 色 空 间 ， 每 一 种 彩 色 空 间 都 产 生 一 种 亮 度 分 量 和 两 种 色 度 分 量 信号 。 常 用 的 彩 色 空 间 表 示 法 有 YUV、 YIQ和 YCbCr等 。 第 4章 图 像 信 息 处 理 技 术 （ 1） YUV彩 色 空 间 。 通 常 我 们 用 彩 色 摄 像 机 来 获取 图 像 信 息 ， 摄 像 机 把 彩 色 图 像 信 号 经 过 分 色 棱 镜 分 成R0、 G0、 B0三 个 分 量 信 号 ， 分 别 经 过 放 大 和 r校 正 得到 RGB， 再 经 过 矩 阵 变 换 电 路 得 到 亮 度 信 号 Y和 色 差 信号 U、 V， 其 中 亮 度 信 号 表 示 了 单 位 面 积 上 反 射 光 线 的强 度 ， 而 色 差 信 号 （ 所 谓 色 差 信 号 ， 就 是 指 基 色 信 号中 的 三 个 分 量 信 号 R、 G、 B与 亮 度 信 号 之 差 ） 决 定 了彩 色 图 像 信 号 的 色 调 。 最 后 发 送 端 将 Y、 U、 V三 个 信号 进 行 编 码 ， 用 同 一 信 道 发 送 出 去 ， 这 就 是 在 PAL彩色 电 视 制 式 中 使 用 的 YUV彩 色 空 间 。 YUV与 RGB彩 色空 间 变 换 的 对 应 关 系 如 式 （ 4.1-1） 所 示 。 第 4章 图 像 信 息 处 理 技 术 YUV彩 色 空 间 的 一 个 优 点 是 ， 它 的 亮 度 信 号 Y和色 差 信 号 U、 V是 相 互 独 立 的 ， 即 Y信 号 分 量 构 成 的 黑白 灰 度 图 与 用 U、 V两 个 色 彩 分 量 信 号 构 成 的 两 幅 单 色图 是 相 互 独 立 的 。 因 为 YUV是 独 立 的 ， 所 以 可 以 对 这些 单 色 图 分 别 进 行 编 码 。 此 外 ， 利 用 YUV之 间 的 独 立性 解 决 了 彩 色 电 视 机 与 黑 白 电 视 机 的 兼 容 问 题 。 BGRVUY 100.0515.0615.0 436.0289.0147.0 114.0587.0299.0 （ 4.1-1） 第 4章 图 像 信 息 处 理 技 术 YUV表 示 法 的 另 一 个 优 点 是 ， 可 以 利 用 人 眼 的 视觉 特 性 来 降 低 数 字 彩 色 图 像 的 数 据 量 。 人 眼 对 彩 色 图像 细 节 的 分 辨 能 力 比 对 黑 白 图 像 细 节 的 分 辨 能 力 低 得多 ， 因 此 就 可 以 降 低 彩 色 分 量 的 分 辨 率 而 不 会 明 显 影响 图 像 质 量 ， 即 可 以 把 几 个 相 同 像 素 不 同 的 色 彩 值 当做 相 同 的 色 彩 值 来 处 理 （ 即 大 面 积 着 色 原 理 ） ， 从 而减 少 了 所 需 的 数 据 量 。 在 PAL彩 色 电 视 制 式 中 ， 亮 度信 号 的 带 宽 为 4.43 MHz， 用 以 保 证 足 够 的 清 晰 度 ， 而把 色 差 信 号 的 带 宽 压 缩 为 1.3 MHz， 达 到 了 减 少 带 宽的 目 的 。 第 4章 图 像 信 息 处 理 技 术 在 数 字 图 像 处 理 的 实 际 操 作 中 ， 就 是 对 亮 度 信 号Y和 色 差 信 号 U、 V分 别 采 用 不 同 的 采 样 频 率 。 目 前 常用 的 Y、 U、 V采 样 频 率 的 比 例 有 4 2 2和 4 1 1， 当 然 ， 根 据 要 求 的 不 同 ， 还 可 以 采 用 其 他 比 例 。 例 如要 存 储 R G B 8 8 8的 彩 色 图 像 ， 即 R、 G、 B分 量 都 用 8比 特 表 示 ， 图 像 的 大 小 为 640 480像 素 ， 那 么 所 需 要 的 存 储 容 量 为 640 480 3 8/8 921 600字 节 ； 如 果 用 Y U V 4 1 1来 表 示 同 一 幅 彩 色图 像 ， 对 于 亮 度 信 号 Y， 每 个 像 素 仍 用 8比 特 表 示 ， 而 对 于 色 差 信 号 U、 V， 每 4个 像 素 用 8比 特 表 示 ， 则存 储 量 变 为 640 480 (8+4)/8 460 800字 节 。 尽 管 数 据 量 减 少 了 一 半 ， 但 人 眼 察 觉 不 出 有 明 显 变 化 。 第 4章 图 像 信 息 处 理 技 术 （ 2） YIQ彩 色 空 间 。 在 NTSC彩 色 电 视 制 式 中 选用 YIQ彩 色 空 间 ， 其 中 Y表 示 亮 度 ， I、 Q是 两 个 彩 色分 量 。 I、 Q与 U、 V是 不 相 同 的 。 人 眼 的 彩 色 视 觉 特性 表 明 ， 人 眼 对 红 、 黄 之 间 颜 色 变 化 的 分 辨 能 力 最 强 ； 而 对 蓝 、 紫 之 间 颜 色 变 化 的 分 辨 能 力 最 弱 。 在 YIQ彩色 空 间 中 ， 色 彩 信 号 I表 示 人 眼 最 敏 感 的 色 轴 ， Q表 示人 眼 最 不 敏 感 的 色 轴 。 在 NTSC制 式 中 ， 传 送 人 眼 分辨 能 力 较 强 的 I信 号 时 ， 用 较 宽 的 频 带 （ 1.3 1.5 MHz） ； 而 传 送 人 眼 分 辨 能 力 较 弱 的 Q信 号 时 ， 用 较窄 的 频 带 （ 0.5 MHz） 。 YIQ与 RGB彩 色 空 间 变 换 的 对 应 关 系 如 式 (4.1-2)所 示 。 第 4章 图 像 信 息 处 理 技 术 BGRQIY 311.0523.0212.0 321.0275.0596.0 114.0587.0299.0 （ 4.1-2） 第 4章 图 像 信 息 处 理 技 术 （ 3） YCbCr彩 色 空 间 。 YCbCr彩 色 空 间 是 由 ITU-R（ 国 际 电 联 无 线 标 准 部 ， 原 国 际 无 线 电 咨 询 委 员 会CCIR） 制 定 的 彩 色 空 间 。 按 照 CCIR601-2标 准 ， 将 非线 性 的 RGB信 号 编 码 成 YCbCr， 编 码 过 程 开 始 是 先 采用 符 合 SMPTE-CRGB（ 它 定 义 了 三 种 荧 光 粉 ， 即 一 种参 考 白 光 ， 应 用 于 演 播 室 监 视 器 及 电 视 接 收 机 标 准 的RGB） 的 基 色 作 为 r校 正 信 号 。 第 4章 图 像 信 息 处 理 技 术 非 线 性 RGB信 号 很 容 易 与 一 个 常 量 矩 阵 相 乘 而 得 到 亮度 信 号 Y和 两 个 色 差 信 号 Cb、 Cr。 YCbCr通 常 在 图 像 压缩 时 作 为 彩 色 空 间 ， 而 在 通 信 中 是 一 种 非 正 式 标 准 。 YCbCr与 RGB彩 色 空 间 变 换 的 对 应 关 系 如 式 （ 4.1-3） 所示 ， 可 以 看 到 ： 数 字 域 中 的 彩 色 空 间 变 换 与 模 拟 域 中的 彩 色 空 间 变 换 是 不 同 的 。 128128081.0419.0500.0 500.0331.0169.0 114.0587.0299.0 RCCYrb （ 4.1-3） 第 4章 图 像 信 息 处 理 技 术 2 彩 色 图 像 信 号 的 分 量 编 码 通 过 图 像 信 号 的 表 示 方 法 的 讨 论 可 以 看 到 ： 对 于 彩色 图 像 信 号 数 字 压 缩 编 码 ， 可 以 采 用 两 种 不 同 的 编 解 码方 案 。 一 种 是 复 合 编 码 ， 它 直 接 对 复 合 图 像 信 号 进 行采 样 、 编 码 和 传 输 ； 另 一 种 是 分 量 编 码 ， 它 首 先 把 复合 图 像 中 的 亮 度 和 色 度 信 号 分 离 出 来 ， 然 后 分 别 进 行 取样 、 编 码 和 传 输 。 目 前 分 量 编 码 已 经 成 为 图 像 信 号 压缩 的 主 流 ， 在 20世 纪 90年 代 以 来 颁 布 的 一 系 列 图 像 压 缩国 际 标 准 中 均 采 用 分 量 编 码 方 案 。 以 YUV彩 色 空 间 为例 ， 分 量 编 码 系 统 的 基 本 框 图 如 图 4.1-1所 示 ， 其 中 对亮 度 信 号 Y使 用 较 高 的 采 样 频 率 ， 对 色 差 信 号 U、 V则使 用 较 低 的 采 样 频 率 。 第 4章 图 像 信 息 处 理 技 术 图 4.1-1 彩 色 图 像 信 号 分 量 编 码 系 统 的 基 本 框 图 复 合 视 频 信 号 R B G 编 码 数据流 亮 色 分 离 Y V U A/D变换 A/D变换 A/D变换 映 射 变 换 量 化 编 码 第 4章 图 像 信 息 处 理 技 术 4.2 图 像 信 号 数 字 化 图 像 信 号 数 字 化 与 音 频 数 字 化 一 样 主 要 包 括 两 方面 的 内 容 ： 取 样 和 量 化 。 图 像 在 空 间 上 的 离 散 化 称 为 取 样 ， 即 使 空 间 上 连续 变 化 的 图 像 离 散 化 ， 也 就 是 用 空 间 上 部 分 点 的 灰 度值 来 表 示 图 像 ， 这 些 点 称 为 样 点 （ 或 像 素 ， 像 元 ， 样本 ） 。 一 幅 图 像 应 取 多 少 样 点 呢 ？ 其 约 束 条 件 是 ： 由这 些 样 点 采 用 某 种 方 法 能 够 正 确 重 建 原 图 像 。 第 4章 图 像 信 息 处 理 技 术 取 样 的 方 法 有 两 类 ： 一 类 是 直 接 对 表 示 图 像 的 二 维 函数 值 进 行 取 样 ， 即 读 取 各 离 散 点 上 的 信 号 值 ， 所 得 结果 就 是 一 个 样 点 值 阵 列 ， 所 以 也 称 为 点 阵 取 样 ； 另 一类 是 先 将 图 像 函 数 进 行 正 交 变 换 ， 用 其 变 换 系 数 作 为取 样 值 ， 故 称 为 正 交 系 数 取 样 。 对 样 点 灰 度 级 值 的 离 散 化 过 程 称 为 量 化 ， 也 就 是对 每 个 样 点 值 数 字 化 ， 使 其 和 有 限 个 可 能 电 平 数 中 的一 个 对 应 ， 即 使 图 像 的 灰 度 级 值 离 散 化 。 量 化 也 可 分为 两 种 ： 一 种 是 将 样 点 灰 度 级 值 等 间 隔 分 档 取 整 ， 称为 均 匀 量 化 ； 另 一 种 是 将 样 点 灰 度 级 值 不 等 间 隔 分 档取 整 ， 称 为 非 均 匀 量 化 。 第 4章 图 像 信 息 处 理 技 术 4.2.1 取 样 点 数 和 量 化 级 数 的 选 取 假 定 一 幅 图 像 取 M N个 样 点 ， 对 样 点 值 进 行 Q级分 档 取 整 。 那 么 对 M， N和 Q如 何 取 值 呢 ？ 首 先 ， M， N， Q一 般 总 是 取 2的 整 数 次 幂 ， 如 Q = 2b ， b为 正 整 数 ， 通 常 称 为 对 图 像 进 行 b比 特 量 化 ， M、 N可 以 相 等 ， 也 可 以 不 相 等 。 若 取 相 等 ， 则 图 像距 阵 为 方 阵 ， 分 析 运 算 方 便 一 些 。 其 次 ， 关 于 M、 N和 b(或 Q)数 值 大 小 的 确 定 。 对 b来 讲 ， 取 值 越 大 ， 重 建 图 像 失 真 越 小 。 若 要 完 全 不 失真 地 重 建 原 图 像 ， 则 b必 须 取 无 穷 大 ， 否 则 一 定 存 在失 真 ， 即 所 谓 的 量 化 误 差 。 第 4章 图 像 信 息 处 理 技 术 一 般 供 人 眼 观 察 的 图 像 ， 由 于 人 眼 对 灰 度 分 辨 能力 有 限 ， 用 58比 特 量 化 即 可 。 对 M N 的 取 值 主 要依 据 取 样 的 约 束 条 件 。 也 就 是 在 M N大 到 满 足 取 样定 理 的 情 况 下 ， 重 建 图 像 就 不 会 产 生 失 真 ， 否 则 就 会因 取 样 点 数 不 够 而 产 生 所 谓 混 淆 失 真 。 为 了 减 少 表 示图 像 的 比 特 数 ， 应 取 M N点 数 刚 好 满 足 取 样 定 理 。 这 种 状 态 的 取 样 即 为 奈 奎 斯 特 取 样 。 M N常 用 的尺 寸 有 512 512， 256 256， 64 64， 32 32等 。 第 4章 图 像 信 息 处 理 技 术 再 次 ， 在 实 际 应 用 中 ， 如 果 允 许 表 示 图 像 的 总 比特 数 M N b给 定 ， 对 M N和 b的 分 配 往 往 是 根 据 图像 的 内 容 和 应 用 要 求 以 及 系 统 本 身 的 技 术 指 标 来 选 定的 。 例 如 ， 若 图 像 中 有 大 面 积 灰 度 变 化 缓 慢 的 平 滑 区域 如 人 图 像 的 特 写 照 片 等 ， 则 M N取 样 点 可 以 少 些 ， 而 量 化 比 特 数 b多 些 ， 这 样 可 使 重 建 图 像 灰 度 层 次 多 些 。 若 b太 少 ， 在 图 像 平 滑 区 往 往 会 出 现 “ 假 轮 廓 ” 。 第 4章 图 像 信 息 处 理 技 术 反 之 ， 对 于 复 杂 景 物 图 像 ， 如 群 众 场 面 的 照 片 等 ， 量化 比 特 数 b可 以 少 些 ， 而 取 样 点 数 M N要 多 些 ， 这 样就 不 会 丢 失 图 像 的 细 节 。 究 竟 M N和 b如 何 组 合 才 能获 得 满 意 的 结 果 很 难 讲 出 一 个 统 一 的 方 案 ， 但 是 有 一点 是 可 以 肯 定 的 ： 不 同 的 取 样 点 数 和 量 化 比 特 数 组 合可 以 获 得 相 同 的 主 观 质 量 评 价 。 第 4章 图 像 信 息 处 理 技 术 *4.2.2 点 阵 取 样 在 分 析 取 样 和 重 建 图 像 时 ， 往 往 认 为 取 样 系 统 的输 入 图 像 是 一 个 确 定 的 图 像 场 ， 即 为 确 知 函 数 ， 如 一幅 照 片 或 胶 片 。 但 是 在 某 些 情 况 下 ， 如 电 视 图 像 由 于噪 声 影 响 和 取 样 方 式 变 化 ， 把 这 种 取 样 看 成 是 二 维 随机 过 程 的 取 样 更 为 有 益 ， 当 然 实 际 取 样 还 有 一 些 问 题要 注 意 。 第 4章 图 像 信 息 处 理 技 术 1. 确 定 图 像 场 的 点 阵 取 样 原 理 对 理 想 取 样 而 言 ， 其 取 样 函 数 为 空 间 抽 样 函 数 S（ x,y） ， 离 散 形 式 可 表 示 为 ),(),( yjyxixyxS ji （ 4.2-1） 函 数 的 取 样 阵 列 如 图 4.2-1所 示 。 第 4章 图 像 信 息 处 理 技 术 图 4.2-1 函 数 的 取 样 阵 列 x y 第 4章 图 像 信 息 处 理 技 术 令 fI(x,y)代 表 一 理 想 的 无 限 大 连 续 图 像 场 ， 其 点 阵取 样 方 法 就 是 用 空 间 抽 样 函 数 S(x,y)和 连 续 图 像 函 数fI(x,y)相 乘 。 设 fS(x,y)表 示 取 样 后 的 图 像 ， 理 想 取 样 数学 模 型 如 图 4.2-2所 示 。 图 4.2-2 理 想 取 样 数 学 模 型 乘法器fI(x, y) S(x, y) fS(x, y) 重 建 )( y,xf 第 4章 图 像 信 息 处 理 技 术 由 此 可 以 得 到 ( , ) ( , ) ( , )( , ) ( , )( , ) ( , )S II i j Ii jf x y f x y S x yf x y x i x y j yf i x j y x i x y j y （ 4.2-2） 第 4章 图 像 信 息 处 理 技 术 式 中 , 连 续 函 数 fI(x,y)移 入 求 和 式 内 变 为 离 散 形 式fI(ix, jy)， 表 明 只 是 在 取 样 点 (ix, jy)上 计 值 。 根 据二 维 傅 立 叶 变 换 卷 积 定 理 ， 可 以 得 到 频 域 关 系 式 为 yxu juiuyxu uuFuFS ji I 22 ),(4),( ),(),(41),( 22 （ 4.2-3） 式 中 第 4章 图 像 信 息 处 理 技 术 假 定 理 想 图 像 的 频 谱 是 有 限 的 ， 截 止 频 率 为 uc和 vc， 根 据 函 数 的 筛 选 性 质 对 式 (4.2-3)进 一 步 运 算 可 以 得 式(4.2-4)和 如 图 4.2-3所 示 的 取 样 图 像 频 谱 示 意 图 。 ),(1),( juiuFyxuF IjiS （ 4.2-4） 第 4章 图 像 信 息 处 理 技 术 图 4.2-3 取 样 图 像 频 谱 示 意 图 uc u uv(a) (b)xu 2 yv 2Fs(u, v)F(u, v)v 第 4章 图 像 信 息 处 理 技 术 由 式 （ 4.2-4） 和 图 4.2-3可 以 看 出 ， 取 样 图 像 频 谱是 原 图 像 频 谱 在 频 域 中 的 无 穷 多 个 重 复 。 重 复 频 谱 之间 间 隔 u和 v取 决 于 取 样 间 隔 x和 y的 大 小 ， 只 要 选取 合 适 的 x、 y， 就 能 保 证 u、 v等 于 或 大 于 原 图像 截 止 频 率 2uc、 2vc， 那 么 各 个 重 复 频 谱 之 间 就 不 会重 叠 。 在 这 种 情 况 下 ， 选 用 合 适 的 二 维 重 建 滤 波 器 ， 就 可 以 取 出 一 个 完 整 的 原 图 像 频 谱 （ 即 除 所 有 i, j0的频 谱 成 分 ） ， 再 由 二 维 傅 立 叶 反 变 换 获 得 和 原 图 像 一样 的 重 建 图 像 。 ),( yxf 第 4章 图 像 信 息 处 理 技 术 取 样 正 确 与 否 的 原 则 是 能 否 由 取 样 图 像 不 失 真 地 重 建原 图 像 ， 而 正 确 取 样 的 关 键 是 取 样 间 隔 x、 y的 选 择 ， 因 此 保 证 正 确 取 样 的 条 件 是222 2 ccu uu xy 因 为 （ 4.2-5） 第 4章 图 像 信 息 处 理 技 术 所 以 2 22 2 cc cc uxyx uy 则 （ 4.2-6） 第 4章 图 像 信 息 处 理 技 术 满 足 式 (4.2-5)和 式 (4.2-6)中 “ 等 于 ” 条 件 的 取 样 称为 奈 奎 斯 特 取 样 。 满 足 两 式 中 小 于 条 件 的 取 样 称 为 过取 样 ， 而 不 满 足 上 述 两 条 件 的 取 样 称 为 欠 取 样 。 在 欠取 样 情 况 下 ， 会 产 生 混 淆 失 真 。 混 淆 失 真 是 取 样 中 应注 意 的 一 个 重 要 问 题 。 防 止 出 现 混 淆 失 真 的 办 法 ， 从理 论 上 讲 ， 若 已 知 原 图 像 频 谱 的 最 高 频 率 成 分 ， 则 使用 过 取 样 或 奈 奎 斯 特 取 样 ， 而 不 要 使 用 欠 取 样 ； 第 4章 图 像 信 息 处 理 技 术 但 若 不 知 道 原 图 像 频 谱 的 最 高 频 率 成 分 ， 则 应 先采 用 已 知 截 止 频 率 的 低 通 滤 波 器 预 先 过 滤 图 像 ， 限 制其 高 频 率 成 分 ， 再 针 对 低 通 滤 波 器 截 止 频 率 进 行 过 取样 或 奈 奎 斯 特 取 样 。 在 实 际 取 样 系 统 中 ， 取 样 脉 冲 宽带 效 应 相 当 于 一 个 低 通 滤 波 器 ， 另 外 光 学 系 统 的 透 镜散 焦 ， 孔 阑 衍 射 也 都 可 以 等 效 为 低 通 滤 波 器 的 作 用 ， 尽 管 会 引 起 图 像 模 糊 降 质 ， 但 对 防 止 混 淆 失 真 却 是 有好 处 的 。 第 4章 图 像 信 息 处 理 技 术 2. 随 机 图 像 场 取 样 实 际 图 像 往 往 有 噪 声 ， 这 种 附 加 有 噪 声 的 确 定 图像 场 可 以 认 为 是 随 机 图 像 场 ， 因 此 这 里 简 单 介 绍 一 下随 机 图 像 场 的 取 样 。 ),(),(),( 2211 yxfyxfER IIyxf I 式 中 , x=x1-x2; y=y1-y2。 第 4章 图 像 信 息 处 理 技 术 用 狄 拉 克 取 样 函 数 S（ x,y） 对 这 个 随 机 过 程 进 行 取样 所 获 得 的 取 样 场 为 ),(),(),(),(),( yjyxixyxfyxSyxfyxf jiIIS （ 4.2-8） 因 而 取 样 场 的 自 相 关 函 数 为 ),;,(),(),( ),(),(),;,( 21212211 22112121 yyxxSyxfyxfE yxfyxfEyyxxR SI SSfS （ 4.2-9） 第 4章 图 像 信 息 处 理 技 术 根 据 狄 拉 克 函 数 性 质 ： 两 个 狄 拉 克 函 数 相 乘 还 是一 个 狄 拉 克 函 数 ， 即 S(x1,y1)S(x2,y2)=S(x1-x2,y1-y2)=S(x,y) （ 4.2-10）将 式 （ 4.2-7） 和 式 （ 4.2-10） 代 入 式 （ 4.2-9） 即 可 得 ),(),(),( yxyxIyxf SRfR S 第 4章 图 像 信 息 处 理 技 术 对 上 式 两 边 取 二 维 傅 立 叶 变 换 ， 根 据 傅 氏 变 换 定 理 得),(),(41),( 2 uuFuF IS ff （ 4.2-11） ),(4),( 2 jxiuFyxuF IS fjif （ 4.2-12） 第 4章 图 像 信 息 处 理 技 术 图 4.2-4 有 噪 声 图 像 的 取 样 （ 一 维 示 意 图 ） u 信号谱 噪声谱 u 取样信号谱 u 取样噪声谱 u 第 4章 图 像 信 息 处 理 技 术 4.2.3 图 像 信 号 量 化 经 过 取 样 的 图 像 只 是 在 空 间 上 被 离 散 为 像 素 （ 样本 ） 的 阵 列 ， 而 每 一 个 样 本 灰 度 值 还 是 一 个 有 无 穷 多个 取 值 的 连 续 变 化 量 ， 必 须 将 其 转 化 为 有 限 个 离 散 值 ， 赋 予 不 同 码 字 才 能 真 正 成 为 数 字 图 像 ， 再 由 计 算 机 或其 他 数 字 设 备 进 行 处 理 运 算 ， 这 样 的 转 化 过 程 称 为 量化 。 将 样 本 连 续 灰 度 等 间 隔 分 层 量 化 方 式 称 为 均 匀 量化 ， 不 等 间 隔 分 层 量 化 方 式 称 为 非 均 匀 量 化 。 量 化 既然 以 有 限 个 离 散 值 来 近 似 表 示 无 限 多 个 连 续 量 ， 就 一定 会 产 生 误 差 ， 这 就 是 所 谓 的 量 化 误 差 。 第 4章 图 像 信 息 处 理 技 术 由 此 产 生 的 失 真 叫 量 化 失 真 或 量 化 噪 声 ， 对 均 匀 量 化来 讲 ， 量 化 分 层 越 多 ， 量 化 误 差 越 小 ， 但 编 码 时 占 用比 特 数 就 越 多 。 在 一 定 比 特 数 下 ， 为 了 减 少 量 化 误 差 ， 往 往 要 用 非 均 匀 量 化 ， 如 按 图 像 灰 度 值 出 现 的 概 率 大小 不 同 进 行 非 均 匀 量 化 ， 即 对 灰 度 值 经 常 出 现 的 区 域进 行 细 量 化 ， 反 之 进 行 粗 量 化 。 在 实 际 图 像 系 统 中 ， 由 于 存 在 着 成 像 系 统 引 入 的 噪 声 及 图 像 本 身 的 噪 声 ， 因 此 量 化 等 级 取 得 太 多 （ 量 化 间 隔 太 小 ） 是 没 有 必 要的 ， 因 为 如 果 噪 声 幅 度 值 大 于 量 化 间 隔 ， 量 化 器 输 出的 量 化 值 就 会 产 生 错 误 ， 得 到 不 正 确 的 量 化 。 第 4章 图 像 信 息 处 理 技 术 在 应 用 屏 幕 显 示 其 输 出 图 像 时 ， 灰 度 邻 近 区 域 边 界 会出 现 “ 忙 动 ” 现 象 。 假 设 噪 声 是 高 斯 分 布 ， 均 值 为 0， 方 差 为 2， 在 有 噪 声 情 况 下 ， 最 佳 量 化 层 选 取 有 两 种方 法 ， 一 是 令 正 确 量 化 的 概 率 大 于 某 一 个 值 ， 二 是 使量 化 误 差 的 方 差 等 于 噪 声 方 差 。 针 对 输 出 图 像 是 专 供 人 观 察 评 价 的 应 用 ， 研 究 出了 一 些 按 人 的 视 觉 特 性 进 行 非 均 匀 量 化 方 式 ， 如 图 像灰 度 变 化 缓 慢 部 分 细 量 化 ， 而 图 像 灰 度 变 化 快 的 细 节部 分 粗 量 化 ， 这 是 由 于 视 觉 掩 盖 效 应 被 发 现 而 产 生 的 。 再 如 按 人 的 视 觉 灵 敏 度 特 征 进 行 对 数 形 式 量 化 分 层 等 。 第 4章 图 像 信 息 处 理 技 术 4.3 数 字 图 像 压 缩 方 法 的 分 类 图 像 压 缩 的 基 本 目 标 就 是 减 小 数 据 量 ， 但 最 好 不要 引 起 图 像 质 量 的 明 显 下 降 ， 在 大 多 数 实 际 应 用 中 ， 为 了 取 得 较 低 的 比 特 率 ， 轻 微 的 质 量 下 降 是 允 许 的 。 至 于 图 像 压 缩 到 什 么 程 度 而 没 有 明 显 的 失 真 ， 则 取 决于 图 像 数 据 的 冗 余 度 。 较 高 的 冗 余 度 形 成 较 大 的 压 缩 ， 而 典 型 的 图 像 信 号 都 具 有 很 高 的 冗 余 度 ， 正 是 这 些 冗余 度 的 存 在 允 许 我 们 对 图 像 进 行 压 缩 。 第 4章 图 像 信 息 处 理 技 术 例 如 ， 我 们 在 第 2章 介 绍 的 空 间 冗 余 和 时 间 冗 余 是图 像 信 号 最 常 见 的 冗 余 ， 所 有 的 这 些 冗 余 度 都 可 以 被除 去 而 不 会 引 起 显 著 的 信 息 损 失 ， 但 压 缩 编 码 无 法 减少 冗 余 度 。 不 同 的 出 发 点 有 不 同 的 分 类 ， 按 照 信 息 论的 角 度 ， 数 字 图 像 压 缩 方 法 一 般 可 分 为 ： （ 1） 可 逆 编 码 （ Reversible Coding 或 Information Preserving Coding） ， 也 称 为 无 损 压 缩 。 这 种 方 法 的解 码 图 像 与 原 始 图 像 严 格 相 同 ， 压 缩 是 完 全 可 恢 复 的或 无 偏 差 的 ， 无 损 压 缩 不 能 提 供 较 高 的 压 缩 比 。 第 4章 图 像 信 息 处 理 技 术 （ 2） 不 可 逆 编 码 （ Non-Reversible Coding） ， 也称 为 有 损 压 缩 。 用 这 种 方 法 恢 复 的 图 像 较 原 始 图 像 存在 一 定 的 误 差 ， 但 视 觉 效 果 一 般 是 可 接 受 的 ， 它 可 提供 较 高 的 压 缩 比 。 第 4章 图 像 信 息 处 理 技 术 按 照 压 缩 方 法 的 原 理 ， 数 字 图 像 压 缩 方 法 可 分 为 ： （ 1） 预 测 编 码 （ Predictive Coding） 。 预 测 编 码是 一 种 针 对 统 计 冗 余 进 行 压 缩 的 方 法 ， 它 主 要 是 减 少数 据 在 空 间 和 时 间 上 的 相 关 性 ， 达 到 对 数 据 的 压 缩 ， 是 一 种 有 失 真 的 压 缩 方 法 。 预 测 编 码 中 典 型 的 压 缩 方法 有 DPCM和 ADPCM等 ， 它 们 比 较 适 合 于 图 像 数 据 的压 缩 。 第 4章 图 像 信 息 处 理 技 术 （ 2） 变 换 编 码 （ Transform Coding） 。 变 换 编 码也 是 一 种 针 对 统 计 冗 余 进 行 压 缩 的 方 法 。 这 种 方 法 将图 像 光 强 矩 阵 （ 时 域 信 号 ） 变 换 到 系 数 空 间 （ 频 域 ）上 进 行 处 理 。 常 用 的 正 交 变 换 有 DFT（ 离 散 傅 氏 变换 ） 、 DCT（ 离 散 余 弦 变 换 ） 、 DST（ 离 散 正 弦 变换 ） 、 哈 达 码 变 换 和 Karhunen-Loeve变 换 。 第 4章 图 像 信 息 处 理 技 术 （ 3） 量 化 和 矢 量 量 化 编 码 （ Vector Quantization） 。 量 化 和 矢 量 量 化 编 码 本 质 上 也 还 是 一 种 针 对 统 计 冗 余进 行 压 缩 的 方 法 。 当 我 们 对 模 拟 量 进 行 数 字 化 时 ， 必然 要 经 历 一 个 量 化 的 过 程 。 在 这 里 量 化 器 的 设 计 是 一个 很 关 键 的 步 骤 ， 量 化 器 设 计 的 好 坏 对 于 量 化 误 差 的大 小 有 直 接 的 影 响 。 矢 量 量 化 是 相 对 于 标 量 量 化 而 提出 的 ， 如 果 我 们 一 次 量 化 多 个 点 ， 则 称 为 矢 量 量 化 。 第 4章 图 像 信 息 处 理 技 术 （ 4） 信 息 熵 编 码 （ Entropy Coding） 。 根 据 信 息 熵原 理 ， 用 短 的 码 字 表 示 出 现 概 率 大 的 信 息 ， 用 长 的 码字 表 示 出 现 概 率 小 的 信 息 。 常 见 的 方 法 有 哈 夫 曼 编 码 、 游 程 编 码 以 及 算 术 编 码 。 （ 5） 子 带 编 码 （ Sub-band Coding） 。 子 带 编 码 将图 像 数 据 变 换 到 频 域 后 ， 按 频 率 分 带 ， 然 后 用 不 同 的量 化 器 进 行 量 化 ， 从 而 达 到 最 优 的 组 合 。 或 者 是 分 步渐 近 编 码 ， 在 初 始 时 对 某 一 频 带 的 信 号 进 行 解 码 ， 然后 逐 渐 扩 展 到 所 有 频 带 ， 随 着 解 码 数 据 的 增 加 ， 解 码图 像 也 逐 渐 地 清 晰 起 来 。 此 方 法 对 于 远 程 图 像 模 糊 查 询 与 检 索 的 应 用 比 较 有 效 。 第 4章 图 像 信 息 处 理 技 术 （ 6） 结 构 编 码 （ Structure Coding） ， 也 称 为 第 二代 编 码 （ Second Generation Coding） 。 编 码 时 首 先 求出 图 像 中 的 边 界 、 轮 廓 、 纹 理 等 结 构 特 征 参 数 ， 然 后保 存 这 些 参 数 信 息 。 解 码 时 根 据 结 构 和 参 数 信 息 进 行合 成 ， 从 而 恢 复 出 原 图 像 。 （ 7） 基 于 知 识 的 编 码 （ Knowledge-Based Coding） 。 对 于 人 脸 等 可 用 规 则 描 述 图 像 ， 利 用 人 们 对 其 的 知 识形 成 一 个 规 则 库 ， 据 此 将 人 脸 的 变 化 等 特 征 用 一 些 参数 进 行 描 述 ， 从 而 用 参 数 加 上 模 型 就 可 以 实 现 人 脸 的图 像 编 码 与 解 码 。 图 像 压 缩 算 法 的 总 体 框 图 如 图 4.3-1 所 示 。 第 4章 图 像 信 息 处 理 技 术 图 4.3-1 图 像 压 缩 算 法 的 总 体 框 图 无失真压缩 (熵编码) 有失真 压 缩 哈夫曼编码、香农编码、LZW编码、游程编码、算术编码 预测编码：点线性预测、帧内预测、帧间预测 变换编码：KL、DFT、DCT、DST、HADAMARD、小波 量化编码：标量量化、矢量量化 子带编码：子带编码、块切割法 模型编码：结构模型、知识基模型 混合编码：H.261、JPEG、MPEG、H.263等等 图 像 压 缩 算 法 第 4章 图 像 信 息 处 理 技 术 下 面 几 节 主 要 介 绍 几 种 常 见 的 压 缩 编 码 方 法 ： 信息 熵 编 码 方 法 （ 如 哈 夫 曼 编 码 、 游 程 编 码 和 算 术 编码 ） 、 预 测 编 码 和 变 换 编 码 ， 并 介 绍 新 一 代 编 码 方 法（ 如 知 识 基 编 码 和 分 形 编 码 ） 等 以 及 相 关 知 识 。 由 于矢 量 量 化 编 码 和 子 带 编 码 方 法 在 上 一 章 中 结 合 音 频 编码 已 经 介 绍 ， 它 们 在 应 用 于 图 像 时 原 理 基 本 相 同 ， 这里 不 再 赘 述 。 第 4章 图 像 信 息 处 理 技 术 4.4 典 型 的 熵 编 码 方 法 4.4.1 基 本 概 念 1 图 像 熵 和 平 均 码 字 长 度 1） 图 像 熵 （ Entropy） 设 数 字 图 像 像 素 灰 度 级 集 合 为 （ W 1, W2,Wk，,WM） ， 其 对 应 的 概 率 分 别 为 P1， P2， ， Pk， ， PM。 按 信 息 论 中 信 源 信 息 熵 定 义 ， 数 字 图 像 的 熵 H为 第 4章 图 像 信 息 处 理 技 术 由 此 可 见 ， 一 幅 图 像 的 熵 就 是 这 幅 图 像 的 平 均 信 息量 度 ， 也 是 表 示 图 像 中 各 个 灰 度 级 比 特 数 的 统 计 平 均 值 。 式 (4.4-1)所 表 示 的 熵 值 是 在 假 定 图 像 信 源 无 记 忆 （ 即 图像 的 各 个 灰 度 级 不 相 关 ） 的 前 提 下 获 得 的 ， 这 样 的 熵 值常 称 为 无 记 忆 信 源 熵 值 ， 记 为 H 0()。 对 于 有 记 忆 信 源 ， 假 如 某 一 像 素 灰 度 级 与 前 一 像 素 灰 度 级 相 关 ， 那 么 公 式(4.4-1)中 的 概 率 要 换 成 条 件 概 率 P(Wi/Wi-1)和 联 合 概 率P(Wi, Wi-1)， 则 图 像 信 息 熵 公 式 变 为)(1 bitIbPPH kkMk （ 4.4-1） 第 4章 图 像 信 息 处 理 技 术 式 中 ， P(Wi, Wi-1)=P(Wi)P(Wi/Wi-1), 则 称 H(Wi/Wi-1)为 条 件 熵 。 因 为 只 与 前 面 一 个 符 号 相 关 ， 故 称 为 一 阶熵 H1()。 如 果 与 前 面 两 个 符 号 相 关 ， 求 得 的 熵 值 就称 为 二 阶 熵 H 2()。 依 此 类 推 可 以 得 到 三 阶 和 四 阶 等 高阶 熵 ， 并 且 可 以 证 明 H0（） H1（） H2（） H3（） )/()/()/( 11111 iiiiMkMkii WWIbWWPWWH (4.4-2) 第 4章 图 像 信 息 处 理 技 术 香 农 信 息 论 已 证 明 ： 信 源 熵 是 进 行 无 失 真 编 码 的理 论 极 限 。 低 于 此 极 限 的 无 失 真 编 码 方 法 是 不 存 在 的 ， 这 是 熵 编 码 的 理 论 基 础 。 而 且 可 以 证 明 ， 如 果 考 虑 像素 间 的 相 关 性 ， 使 用 高 阶 熵 一 定 可 以 获 得 更 高 的 压 缩 比 。 第 4章 图 像 信 息 处 理 技 术 2） 平 均 码 字 长 度 设 k为 数 字 图 像 第 k个 码 字 Ck的 长 度 (二 进 制 代 数 的位 数 )， 其 相 应 出 现 的 概 率 为 Pk， 则 该 数 字 图 像 所 赋 予的 码 字 平 均 长 度 R为 )( 1 bitPR kkMk （ 4.4-3） 第 4章 图 像 信 息 处 理 技 术 3） 编 码 效 率在 一 般 情 况 下 ， 编 码 效 率 往 往 用 下 列 简 单 公 式 表 示%RH （ 4.4-4） 式 中 ， H为 信 源 熵 ， R为 平 均 码 字 长 度 。 第 4章 图 像 信 息 处 理 技 术 根 据 信 息 论 中 信 源 编 码 理 论 ， 可 以 证 明 在 RH条件 下 总 可 以 设 计 出 某 种 无 失 真 编 码 方 法 。 若 编 码 结 果使 R远 大 于 H， 表 明 这 种 编 码 方 法 效 率 很 低 ， 占 用 比特 数 太 多 。 例 如 对 图 像 样 本 量 化 值 直 接 采 用 PCM编 码 ， 其 结 果 平 均 码 字 长 度 R就 远 比 图 像 熵 H大 。 若 编 码 结 果使 R等 于 或 很 接 近 于 H， 这 种 状 态 的 编 码 方 法 称 为 最 佳编 码 。 它 既 不 丢 失 信 息 而 引 起 图 像 失 真 ， 又 占 用 最 少的 比 特 数 ， 例 如 下 面 要 介 绍 的 哈 夫 曼 编 码 即 属 于 最 佳编 码 方 法 。 第 4章 图 像 信 息 处 理 技 术 若 要 求 编 码 结 果 RH， 则 必 然 丢 失 信 息 而 引 起 图 像失 真 。 这 就 是 在 允 许 失 真 条 件 下 的 一 些 失 真 编 码 方 法 。 熵 编 码 的 目 的 就 是 要 使 编 码 后 的 图 像 平 均 比 特 数 R尽 可 能 接 近 图 像 熵 H。 一 般 是 根 据 图 像 灰 度 级 数 出 现 的概 率 大 小 赋 予 不 同 长 度 的 码 字 ， 概 率 大 的 灰 度 级 用 短码 字 ， 反 之 ， 用 长 码 字 。 可 以 证 明 ， 这 样 的 编 码 结 果所 获 得 的 平 均 码 字 长 度 最 短 。 这 就 是 下 面 要 介 绍 的 变长 最 佳 编 码 定 理 。 第 4章 图 像 信 息 处 理 技 术 2. 变 长 最 佳 编 码 定 理 【 定 理 】 在 变 长 编 码 中 ， 对 出 现 概 率 大 的 信 息 符号 赋 予 短 码 字 ， 而 对 于 出 现 概 率 小 的 信 息 符 号 赋 予 长码 字 。 如 果 码 字 长 度 严 格 按 照 所 对 应 符 号 出 现 概 率 大小 逆 序 排 列 ， 则 编 码 结 果 平 均 码 字 长 度 一 定 小 于 任 何其 他 排 列 方 式 。 这 个 定 理 就 是 下 面 要 介 绍 的 哈 夫 曼 编 码 方 法 的 理论 基 础 。 设 图 像 灰 度 级 为 W 1, W2, , Wi, WN； 各 灰 度级 出 现 的 概 率 分 别 为 P1， P2， ， Pi， ， PN； 第 4章 图 像 信 息 处 理 技 术 编 码 所 赋 予 的 码 字 长 度 分 别 为 t1， t2， ， ti， ， tN； 则 编 码 后 图 像 平 均 码 字 长 度 R应 为iiN i tPR 1 第 4章 图 像 信 息 处 理 技 术 再 令 严 格 按 照 定 理 规 则 进 行 编 码 ， 其 结 果 平 均 码字 长 度 为 R1； R2为 将 其 中 任 两 个 灰 度 级 不 按 定 理 规 则编 码 （ 即 概 率 大 的 灰 度 级 赋 予 长 码 字 。 反 之 ， 用 短 码字 ） ， 而 其 他 所 有 灰 度 级 仍 按 定 理 规 则 编 码 所 得 的 图像 平 均 码 字 长 度 ， 那 么 R2应 等 于 R1加 上 “ 不 按 定 理 规则 编 码 所 增 加 的 平 均 码 字 长 度 ” R。 只 要 证 明 R大 于0， 即 可 以 证 明 上 述 定 理 。 第 4章 图 像 信 息 处 理 技 术 3. 可 变 长 最 佳 编 码 的 平 均 码 字 长 度 设 可 变 长 编 码 所 用 码 元 进 制 为 D， 被 编 码 的 信 息符 号 总 数 为 N， 第 i个 符 号 出 现 的 概 率 为 Pi， 与 其 对 应的 码 字 长 度 为 ti， 则 可 以 证 明 这 种 编 码 结 果 平 均 码 字 长度 R落 在 下 列 区 间 内 1 IbDHRIbDH 第 4章 图 像 信 息 处 理 技 术 式 中 , , 由 此 可 以 引 导 出对 某 一 信 息 符 号 存 在 下 式 iiNi IbPPH 1 1 IbDIbPtIbDIbP iii （ 4.4-5） 对 二 进 制 码 进 一 步 简 化 为 -lbP iti -lbPi+1 （ 4.4-6） 第 4章 图 像 信 息 处 理 技 术 4. 惟 一 可 译 编 码 有 些 情 况 下 ， 为 了 减 少 表 示 图 像 的 平 均 码 字 长 度 ， 往 往 对 码 字 之 间 不 加 同 步 码 。 但 是 ， 这 样 就 要 求 所 编码 字 序 列 能 被 惟 一 地 译 出 来 。 满 足 这 个 条 件 的 编 码 称为 惟 一 可 译 编 码 ， 也 常 称 为 单 义 可 译 码 。 单 义 可 译 码往 往 是 采 用 非 续 长 代 码 。 第 4章 图 像 信 息 处 理 技 术 1） 续 长 代 码 和 非 续 长 代 码 若 代 码 中 任 何 一 个 码 字 都 不 是 另 一 个 码 字 的 续 长 ， 也 就 是 不 能 在 某 一 码 字 后 面 添 加 一 些 码 元 而 构 成 另 一个 码 字 ， 称 其 为 非 续 长 代 码 。 反 之 ， 称 其 为 续 长 代 码 。 如 二 进 制 代 码 0， 10， 11 即 为 非 续 长 代 码 ， 而 0， 01， 11 则 为 续 长 代 码 。 因 为 码 字 01可 由 码 字 “ 0”后加 上 一 个 码 元 “ 1”构 成 。 第 4章 图 像 信 息 处 理 技 术 2） 单 义 代 码 在 介 绍 单 义 代 码 前 ， 先 简 单 介 绍 一 下 克 劳 夫 特(Kraft)不 等 式 ： 若 信 源 符 号 有 m种 取 值 ， 其 码 字 长 度分 别 为 li(i=1， 2， , m)； 又 设 最 长 的 码 字 长 度 为 L， 码 元 种 类 （ 即 多 少 进 制 码 ） 为 D， 长 度 为 li的 码 字 占 用了 个 长 度 为 L的 码 字 ， 也 就 是 必 须 有 LlLmi DD i 1对 于 二 进 制 , 则 有 ilLD 121 ilmi 。 第 4章 图 像 信 息 处 理 技 术 任 意 有 限 长 的 码 字 序 列 ， 只 能 被 惟 一 地 分 割 成 一个 个 码 字 ， 则 这 样 的 码 字 序 列 称 为 单