深度学习入门理论简介

深 度 学 习 入 门 理 论 1 2 主 要 内 容人 脑 视 觉 机 理1 关 于 特 征2 深 度 学 习 思 想3 训 练 过 程45 常 用 模 型 人 脑 视 觉 机 理 人 的 视 觉 系 统 的 信 息 处 理 是 分 级 的 ， 神 经 -中 枢 -大 脑 的 工 作 过 程 是 一 个 不 断 迭 代 、 不 断 抽 象 的 过 程 。 3 目 前 我 们 通 过 机 器 学 习 去 解 决 这 些 问 题 的 思 路 都 是 这 样 的 （ 以 视 觉 感 知 为 例 ） ： 4 关 于 特 征 特 征 是 机 器 学 习 系 统 的 原 材 料 。 如 果 数 据 被 很 好 的 表达 成 了 特 征 ， 通 常 线 性 模 型 就 能 达 到 满 意 的 精 度 。 对 于 特 征 ， 我 们 需 要 考 虑 四 个 方 面 ： 1、 特 征 表 示 的 粒 度 2、 初 级 （ 浅 层 ） 特 征 表 示 3、 结 构 性 特 征 表 示 4、 需 要 有 多 少 个 特 征 5 关 于 特 征1、 特 征 表 示 的 粒度 学 习 算 法 在 一 个 什么 粒 度 上 的 特 征 表 示 ，才 有 能 发 挥 作 用 ？ 6 关 于 特 征2、 初 级 （ 浅 层 ） 特征 表 示 像 素 级 的 特 征 表 示 方法 没 有 作 用 ， 那 怎 样 的 表示 才 有 用 呢 ？ 7 关 于 特 征3、 结 构 性 特 征 表 示 小 块 的 图 形 可 以 由 基 本 edge构 成 ， 更 结 构 化 ，更 复 杂 的 ， 具 有 概 念 性 的 图 形 如 何 表 示 呢 ？ 8 关 于 特 征 在 不 同 对 象 上 做 训 练 时 ， 所 得 的 边 缘 基 底 是 非 常 相 似 的 ， 但 对 象 部 分和 模 型 就 会 完 全 不 同 了 。 9 关 于 特 征4、 需 要 有 多 少 个特 征 我 们 知 道 需 要 层次 的 特 征 构 建 ， 由 浅入 深 ， 但 每 一 层 该 有多 少 个 特 征 呢 ？ 1 0 深 度 学 习 思 想 对 堆 叠 多 个 层 ， 也 就 是说 这 一 层 的 输 出 作 为 下 一 层的 输 入 。 通 过 这 种 方 式 ， 并且 使 得 输 入 与 输 出 的 差 别 尽可 能 地 小 ， 就 可 以 实 现 对 输入 信 息 进 行 分 级 表 达 了 。 深 度 学 习 的 实 质 ， 是 通过 构 建 具 有 很 多 隐 层 的 机 器学 习 模 型 和 海 量 的 训 练 数 据 ，来 学 习 更 有 用 的 特 征 ， 从 而最 终 提 升 分 类 或 预 测 的 准 确性 。 因 此 ， “ 深 度 模 型 ” 是手 段 ， “ 特 征 学 习 ” 是 目 的 。 1 1 深 度 学 习 训 练 过 程 1 ） 使 用 自 下 上 升 非 监 督 学 习 从 底 层 开 始 ， 一 层 一 层 的 往 顶 层 训 练 ， 采 用 无 标 定数 据 （ 有 标 定 数 据 也 可 ） 分 层 训 练 各 层 参 数 。 2 ） 自 顶 向 下 的 监 督 学 习 就 是 通 过 带 标 签 的 数 据 去 训 练 ， 误 差 自 顶 向 下 传 输 ，对 网 络 进 行 微 调 ， 基 于 第 一 步 得 到 的 各 层 参 数 进 一 步 微 调整 个 多 层 模 型 的 参 数 ， 这 一 步 是 一 个 有 监 督 训 练 过 程 1 2 深 度 学 习 的 常 用 模 型 1 、 AutoEncoder自 动 编 码 器 自 动 编 码 器 就 是 一 种 尽 可 能 复 现 输 入 信 号 的 神 经 网 络 。 具体 过 程 简 单 的 说 明 如 下 ： 1 ） 给 定 无 标 签 数 据 ， 用 非 监 督 学 习 学 习 特 征 ： 1 3 AutoEncoder自 动 编 码 器通 过 调 整 encoder和 decoder的 参 数 ， 使 得 重 构 误 差 最 小 ， 这 时 候 我 们 就 得 到了 输 入 input信 号 的 第 一 个 表 示 了 ， 也 就 是 编 码 code了 。 因 为 是 无 标 签 数 据 ，所 以 误 差 的 来 源 就 是 直 接 重 构 后 与 原 输 入 相 比 得 到 。 1 4 AutoEncoder自 动 编 码 器 2 ） 通 过 编 码 器 产 生 特 征 ， 然 后 训 练 下 一 层 。 这 样 逐 层 训练 ：将 第 一 层 输 出 的 code当 成 第 二 层 的 输 入 信 号 ， 同 样 最 小 化 重 构 误 差 ， 就 会 得 到 第 二 层 的 参 数 ， 并 且 得 到 第 二 层 输 出 的 code， 也 就 是 原 输 入 信 息 的 第二 个 表 达 了 。 其 他 层 就 用 同 样 的 方 法 炮 制 。 1 5 AutoEncoder自 动 编 码 器 3 ） 有 监 督 微 调 ： 到 这 里 ， 这 个 AutoEncoder还 不 能 用 来 分 类 数 据 ， 可以 在 AutoEncoder的 最 顶 的 编 码 层 添 加 一 个 分 类 器 ， 然 后通 过 标 准 的 多 层 神 经 网 络 的 监 督 训 练 方 法 （ 梯 度 下 降 法 ）去 训 练 。 微 调 分 为 两 种 ， 一 个 是 只 调 整 分 类 器 （ 黑 色 部 分 ） ： 1 6 AutoEncoder自 动 编 码 器 另 一 种 ： 通 过 有 标 签 样 本 ， 微 调 整 个 系 统 ： 在 研 究 中 可 以 发 现 ， 如 果 在 原 有 的 特 征 中 加 入 这 些 自 动 学 习 得 到 的 特征 可 以 大 大 提 高 精 确 度 ， 甚 至 在 分 类 问 题 中 比 目 前 最 好 的 分 类 算 法 效 果 还 要 好 ！ 1 7 AutoEncoder自 动 编 码 器 AutoEncoder存 在 的 一 些 变 体 ： a） Sparse AutoEncoder稀 疏 自 动 编 码 器 b） Denoising AutoEncoders降 噪 自 动 编 码 器 1 8 深 度 学 习 的 常 用 模 型 2 、 Sparse Coding稀 疏 编 码 将 一 个 信 号 表 示 为 一 组 基 的 线 性 组 合 ， 而 且 要 求 只 需 要 较少 的 几 个 基 就 可 以 将 信 号 表 示 出 来 。 稀 疏 编 码 算 法 是 一 种 无 监 督 学 习 方 法 ， 它 用 来 寻 找 一 组“ 超 完 备 ” 基 向 量 来 更 高 效 地 表 示 样 本 数 据 。目 标 函 数 ：Min |I O| + u*(|a1 | + |a2 | + + |an |) 1 9 Sparse Coding稀 疏 编 码 2 0 Sparse Coding稀 疏 编 码 Sparse coding分 为 两 个 部 分 ：1） Training阶 段 ： 给 定 一 系 列 的 样 本 图 片 x1, x 2, ， 我 们 需 要 学习 得 到 一 组 基 1, 2, ， 也 就 是 字 典 。 训 练 过 程 就 是 一 个 重 复 迭 代 的 过 程 ， 交 替 更 改 a和 使 得 下 面 这 个 目 标 函 数 最 小 。 2 1 Sparse Coding稀 疏 编 码 2 ） Coding阶 段 ： 给 定 一 个 新 的 图 片 x， 由 上 面 得 到 的 字 典 ， 通 过 解 一个 LASSO问 题 得 到 稀 疏 向 量 a。 这 个 稀 疏 向 量 就 是 这 个 输 入向 量 x的 一 个 稀 疏 表 达 了 。 2 2 深 度 学 习 的 常 用 模 型 3 、 Restricted Boltzmann Machine (RBM)限制 波 尔 兹 曼 机 4 、 Deep Belief Networks深 信 度 网 络 5 、 Convolutional Neural Networks卷 积 神 经网 络 2 3 2 4