FastRCNN神经网络.ppt

Fast RCNN 继 2014年 的 RCNN之 后 ， Ross Girshick在 15年 推 出 Fast RCNN， 构 思 精 巧 ， 流 程 更 为 紧 凑 ，大 幅 提 升 了 目 标 检 测 的 速 度 。 在 Github上 提 供 了 源 码 。 同 样 使 用 最 大 规 模 的 网 络 ， Fast RCNN和 RCNN相 比 ， 训 练 时 间 从 84小 时 减 少 为 9.5小 时 ， 快了 9倍 ， 测 试 时 间 从 47秒 减 少 为 0.32秒 ， 快 了 213倍 。 在 PASCAL VOC 2007上 的 准 确 率 相 差 无 几 ，约 在 66%-67%之 间 。为 什 么 有 了 RCNN还 要 提 出 Fast RCNN?因 为 前 者 有 3个 缺 点 ：1. 训 练 是 多 阶 段 的 。 先 提 proposal， 然 后 CNN提 取 特 征 ， 之 后 用 SVM分 类 器 ， 最 后 再 做bounding-box regression。2. 训 练 非 常 耗 费 时 间 和 空 间 （ 存 储 ） 。 在 训 练 SVM和 bbox regression的 时 候 ， 需 要 先 将之 前 提 取 出 来 的 特 征 写 入 磁 盘 中 ， 这 些 特 征 需 要 花 费 的 空 间 很 大 ； 这 个 过 程 也 非 常 耗 费 时 间 。3. 物 体 检 测 非 常 慢 。 测 试 的 时 候 ， 特 征 需 要 从 每 个 图 片 中 的 每 个 proposal提 取 ， 使 用 VGG16网 络 大 概 每 张 图 片 耗 费 47s（ 在 一 个 GPU上 ） 。 Fast RCNN方 法 解 决 了 RCNN方 法 的 三 个 问 题 ：问 题 一 ： 测 试 时 速 度 慢 RCNN一 张 图 像 内 候 选 框 之 间 大 量 重 叠 ， 提 取 特 征 操 作 冗 余 。 FRCNN将 整 张 图 像 归 一 化 后 直 接 送 入 深 度 网 络 。 在 邻 接 时 ， 才 加 入 候 选 框 信 息 ， 在 末 尾 的 少 数几 层 处 理 每 个 候 选 框 。问 题 二 ： 训 练 时 速 度 慢 原 因 同 上 。 在 训 练 时 ， FRCNN先 将 一 张 图 像 送 入 网 络 ， 紧 接 着 送 入 从 这 幅 图 像 上 提 取 出 的 候 选 区 域 。 这 些候 选 区 域 的 前 几 层 特 征 不 需 要 再 重 复 计 算 。问 题 三 ： 训 练 所 需 空 间 大 RCNN中 独 立 的 分 类 器 和 回 归 器 需 要 大 量 特 征 作 为 训 练 样 本 。 FRCNN把 类 别 判 断 和 位 置 精 调 统 一 用 深 度 网 络 实 现 ， 不 再 需 要 额 外 存 储 。 Fast RCNN的 优 点 （ 相 比 于 RCNN） ：1. 比 R-CNN更 高 的 检 测 质 量 （ mAP） ；2. 把 多 个 任 务 的 损 失 函 数 写 到 一 起 ， 实 现 单 级 的 训 练 过 程 ；3. 在 训 练 时 可 更 新 所 有 的 层 ；4. 不 需 要 在 磁 盘 中 存 储 特 征 。 Fast RCNN的 整 体 框 架整 体 框 架 如 Figure 1， 如 果 以 AlexNet（ 5个 卷 积 和 3个 全 连 接 ）为 例 ， 大 致 的 训 练 过 程 可 以 理 解 为 ：第 一 步 ， 将 这 个 完 整 的 图 片 经 过 若 干 卷 积 层 与 max pooling层 ，得 到 一 个 feature map。第 二 步 ， 用 selective search算 法 从 这 完 整 的 图 片 中 提 取 出object proposals， 即 RoI。第 三 步 ， 根 据 映 射 关 系 ， 可 以 得 到 每 个 object proposal对 应 的feature map。第 四 步 ， 将 第 三 步 得 到 的 feature map经 过 RoI pooling layer得 到 固 定 大 小 的 feature map（ 变 小 了 ） 。第 五 步 ， 经 过 2层 全 连 接 层 （ fc） ， 得 到 固 定 大 小 的 RoI特 征 向量 。第 六 步 ， 特 征 向 量 经 由 各 自 的 FC层 ， 得 到 两 个 输 出 向 量 ： 第 一 个 是 分 类 ， 使 用 softmax， 第 二 个 是 每 一 类 的 bounding box回 归 。 简 要 流 程 图 如 下 ：说明：在训练的时候，分类与回归是一起训练的，总的loss是分类的loss加上回归的loss。计算公式如下： 再 用 几 句 话 总 结 ：1.用 selective search在 一 张 图 片 中 生 成 约 2000个 object proposal， 即 RoI。2.把 它 们 整 体 输 入 到 全 卷 积 的 网 络 中 ， 在 最 后 一 个 卷 积 层 上 对 每 个 ROI求 映 射 关 系 ， 并用 一 个 RoI pooling layer来 统 一 到 相 同 的 大 小 (fc)feature vector 即 提 取 一个 固 定 维 度 的 特 征 表 示 。3.继 续 经 过 两 个 全 连 接 层 （ FC） 得 到 特 征 向 量 。 特 征 向 量 经 由 各 自 的 FC层 ， 得 到 两 个 输出 向 量 ：第 一 个 是 分 类 ， 使 用 softmax， 第 二 个 是 每 一 类 的 bounding box回 归 。 Rol pooling layerRol pooling layer的 作 用 主 要 有 两 个 ， 一 个 是 将 image中 的 rol定 位 到 feature map中 对 应 patch，另 一 个 是 用 一 个 单 层 的 SPP layer将 这 个 feature map patch下 采 样 为 大 小 固 定 的 feature再 传 入全 连 接 层 。Multi-task lossFRCN有两个loss，以下分别介绍。对于分类loss，是一个N+1路的softmax输出，其中的N是类别个数，1是背景。对于回归loss，是一个4xN路输出的regressor，也就是说对于每个类别都会训练一个单独的regressor的意思，比较有意思的是，这里regressor的loss不是L2的，而是一个平滑的L1，形式如下： 这样设置的目的是想让loss对于离群点更加鲁棒，控制梯度的量级使得训练时不容易跑飞。 仿 真 结 果 ：method mAP S M L train time(h) S M L test rate (s/im) S M LSPPnet BB 63.1 25 2.3R-CNN BB 58.5 60.2 66.0 22 28 84 9.8 12.1 47.0FRCN 57.1 59.2 66.9 1.2 2.0 9.5 0.10 0.15 0.32for VOC2007