《神经网络BP算法》PPT课件.ppt

第 7章 7.2 典 型 神 经 网 络 -BP 反 向 传 播 网 络 BackPropagation Network，由 于 其 权 值 的 调 整 采 用 反 向 传 播（ Backpropagation） 的 学 习 算 法 ，因 此 被 称 为 BP网 络 。 BP网 络 是 一 种 单 向 传 播 的 多 层 前 向 网 络其 神 经 元 的 变 换 函 数 是 S型 函 数 ，因 此 输 出 量 为 0到 1之 间 的 连 续 量它 可 以 对 非 线 性 可 微 分 函 数 进 行权 值 训 练 ， 从 而 实 现 输 入 到 输 出的 任 意 的 非 线 性 映 射 。 网 络 中 心 思 想 是 梯 度 下 降 法 通 过 梯 度 搜 索 技 术 ， 使 网络 实 际 输 出 值 与 期 望 输 出 值的 误 差 均 方 值 最 小 。 网 络 的 学 习 过 程 是 一 种 误 差边 向 后 传 播 边 修 正 权 系 数 的过 程 7.2.2 BP网 络 结 构 BP神 经 网 络 模 型 结 构 输 入 层 隐 层 输 出 层输 入 输 出 BP网 络 是 一 种 多 层 前 向 神 经 网 络v一 般 分 三 层 ： 输 入 层 ， 隐 层 ， 输 出 层 ， 也 可 以有 2层 或 更 多 个 隐 层 。v层 与 层 之 间 采 用 全 互 联 方 式 ， 同 一 层 单 元 之间 不 存 在 相 互 连 接 。 1） 输 入 层 单 元 无 转 换 函 数 ， 直 接 接 收 信 号 传 给下 一 层 ， 所 以 有 些 书 不 认 为 输 入 层 是 一 个 网 络 层 。2） 在 一 般 情 况 下 ， 均 是 在 隐 含 层 采 用 S 型 激 活函 数 ， 而 输 出 层 采 用 线 性 激 活 函 数 。 x1x 2xn y1yp只 有 当 希 望 对 网络 的 输 出 进 行 限制 ， 如 限 制 在 0和1之 间 ， 那 么 则 在输 出 层 包 含 S 型激 活 函 数 BP网 络 特 点是 多 层 网 络 ， 包 括 输 入 层 、 隐 层 和 输 出 层层 与 层 之 间 采 用 全 互 连 方 式 ， 同 一 层 神 经元 之 间 不 连 接权 值 通 过 学 习 算 法 进 行 调 节神 经 元 激 发 函 数 为 S函 数层 与 层 的 连 接 是 单 向 的 ， 信 息 传 播 是 双 向的 感 知 机 网 络 利 用 输 出 误 差 只 能修 改 最 后 一 层 的 权 值而 BP网 络 实 现 了 多 层 学 习 ， 每一 层 的 权 值 均 可 训 练 学 习 修 改 。 BP学 习 规 则 BP算 法 属 于 算 法 ， 是 一 种监 督 式 的 学 习 算 法 。 其 主 要 思 想 为 ：对 于 q个 输 入 学 习 样 本 ： P1， P2， Pq，已 知 与 其 对 应 的 输 出 样 本 为 ： T1， T2， Tq。学 习 的 目 的 ： 是 用 网 络 的 实 际 输 出 A1， A2， Aq与 目 标矢 量 T1， T2， Tq之 间 的 误 差 来 修 改 其 权 值 使 Al (l l， 2， q)与 期 望 的 Tl尽 可 能 地 接 近 ；即 ： 使 网 络 输 出 层 的 误 差 平 方 和 达 到 最 小 。 BP算 法 的 学 习 过 程 由 正 向 传 播 和 反 向 传 播 组 成 BP算 法 是 由 两 部 分 组 成 ： 信 息的 正 向 传 递 与 误 差 的 反 向 传 播 。 在 正 向 传 播 过 程 中 ， 输 入 信 息从 输 入 经 隐 含 层 逐 层 计 算 传 向 输出 层 ， 每 一 层 神 经 元 的 状 态 只 影响 下 一 层 神 经 元 的 状 态 。 如 果 在 输 出 层 没 有 得 到 期 望的 输 出 ， 则 计 算 输 出 层 的 误差 变 化 值 ， 然 后 转 向 反 向 传播 ， 通 过 网 络 将 误 差 信 号 沿原 来 的 连 接 通 路 反 传 回 来 修改 各 层 神 经 元 的 权 值 直 至 达到 期 望 目 标 。 BP网 络 用 途1)函 数 逼 近 ： 用 输 入 矢 量 和 相 应 的 输 出 矢量 训 练 一 个 网 络 逼 近 个 函 数 ；2)模 式 识 别 ： 用 一 个 特 定 的 输 出 矢 量 将 它与 输 入 矢 量 联 系 起 来 ；3)分 类 ： 把 输 入 矢 量 以 所 定 义 的 合 适 方 式进 行 分 类 ；4)数 据 压 缩 ： 减 少 输 出 矢 量 维 数 以 便 于 传输 或 存 储 。 BP网 络 的 逼 近 用 于 逼 近 的 BP网 络 前 向 传 播 ： 计 算 网 络 输 出 i iijj xx jxjj exfx 1 1输 出 层 输 出 j jjn xky 2隐 层 输 出 采 用 S函 数 隐 层 输 入 ： 11 22 22 kk xkekk jj jjj 11 22222 kkkk jjjjj 11 kkkk ijijijijij 1 )1( 11 2 kk xxxkek kkkk ijij ijjjij ijijijijij BP网 络 逼 近 仿 真Chap7_1.m 23 11 1 kykykuky 23 11 kykykuky )t6sin(5.0ku 5.005.0设 计 的 网 络 结 构 为 2-6-1；权 值 w1,w2的 初 值 取 -1,+1之 间 的 随 机 值 ，取 初 始 化 加 输 入 和 期 望 输 出计 算 隐 层 和 输 出 层 的 输 出 迭 代 次 数 加 1调 节 输 出 层 和 隐 层 的 连 接 权 值 pjopjhjihkj kpjopkokjokj xtwtw Otwtw )()1( )()1( 改 变 训 练 样 板训 练 样 终 止 ？迭 代 终 止 ？ BP算 法 的 基 本 流 程NoNo y y BP网 络 模 式 识 别 一 、 由 于 神 经 网 络 具 有 自 学 习 、 自 组 织 和 并 行 处 理等 特 征 ， 并 具 有 很 强 的 容 错 能 力 和 联 想 能 力 ，因 此 ， 神 经 网 络 具 有 模 式 识 别 能 力 。 在 神 经 网 络 识 别 中 ， 根 据 标 准 的 输 入 输 出 模 式对 ， 采 用 神 经 网 络 学 习 算 法 ， 以 标 准 的 模 式 作为 学 习 样 本 进 行 训 练 ， 通 过 学 习 调 整 神 经 网 络的 连 接 权 值 。 当 训 练 满 足 要 求 后 ， 得 到 知 识 库 ， 利 用 神 经 网络 并 行 推 理 算 法 便 可 对 所 需 的 输 入 模 式 进 行 识别 。 BP网 络 的 训 练 过 程 为 了 训 练 一 个 BP网 络 ， 需 要 计 算 网 络 加 权输 入 矢 量 以 及 网 络 输 出 和 误 差 矢 量 ， 然 后 求 得误 差 平 方 和 。 当 所 训 练 矢 量 的 误 差 平 方 和 小 于 误 差 目 标 ，训 练 则 停 止 ， 否 则 在 输 出 层 计 算 误 差 变 化 ， 且采 用 反 向 传 播 学 习 规 则 来 调 整 权 值 ， 并 重 复 此过 程 。 当 网 络 完 成 训 练 后 ， 对 网 络 输 入 一 个 不 是训 练 集 合 中 的 矢 量 ， 网 络 将 给 出 输 出 结 果 。 为 了 能 够 较 好 地 掌 握 BP网 络 的 训 练过 程 ， 我 们 再 用 两 层 网 络 为 例 来 叙 述 BP网 络 的 训 练 步 骤 。 1)用 小 的 随 机 数 对 每 一 层 的 权 值 W初 始 化 ，以 保 证 网 络 不 被 大 的 加 权 输 入 饱 和 ；2)计 算 网 络 各 层 输 出 矢 量 A1和 A2以 及 网 络误 差 E 3)计 算 各 层 反 传 的 误 差 变 化 并 计 算 各 层 权 值的 修 正 值 以 及 新 权 值4)再 次 计 算 权 值 修 正 后 误 差 平 方 和 ：5)检 查 误 差 是 否 小 于 给 定 误 差 ， 若 是 ， 训 练结 束 ； 否 则 继 续 。 以 上 所 有 的 学 习 规 则 与 训 练 的 全 过 程 ， 仍 然 可 以 用函 数 trainbp.m来 完 成 。 它 的 使 用 同 样 只 需 要 定 义有 关 参 数 ： 显 示 间 隔 次 数 ， 最 大 循 环 次 数 ， 目 标 误差 ， 以 及 学 习 速 率 ， 而 调 用 后 返 回 训 练 后 权 值 ， 循环 总 数 和 最 终 误 差 ： TP disp_freq max_epoch err_goal 1r；W， B， epochs， errors trainbp(W， B， F，P， T， TP)； 基 于 BP算 法 的 多 层 前 馈 网 络 用 图 像 压 缩 编 码Ackley和 H inton等 人 1985年 提 出 了 利 用 多 层 前 馈神 经 网 络 的 模 式 变 换 能 力 实 现 数 据 编 码 的 基 本 思想 。其 原 理 是 ， 把 一 组 输 入 模 式 通 过 少 量 的 隐 层 节 点映 射 到 一 组 输 出 模 式 ， 并 使 输 出 模 式 等 同 于 输 入模 式 。 当 中 间 隐 层 的 节 点 数 比 输 入 模 式 维 数 少 时 ，就 意 味 着 隐 层 能 更 有 效 的 表 现 输 入 模 式 ， 并 把 这种 表 现 传 给 输 出 层 。 在 这 个 过 程 中 ， 输 入 层 和 隐层 的 变 换 可 以 看 成 是 压 缩 编 码 的 过 程 ； 而 隐 层 和输 出 层 的 变 换 可 以 看 成 是 解 码 过 程 。 用 多 层 前 馈 网 实 现 图 像 数 据 压 缩 时 ， 只 需 一 个 隐 层 ， 如 图原 图 像nn 重 建 图 像 n n 输 入 层 和 输 出 层 均 含 有 n*n个 神 经 元 ， 每 个 神 经 元对 应 于 n*n图 像 分 块 中 的 一 个 像 素 。 隐 层 神 经 元 的数 量 由 图 像 压 缩 比 决 定 ， 如 n=16时 ， 取 隐 层 神 经元 数 为 m=8， 则 可 将 256像 素 的 图 像 块 压 缩 为 像 素 。通 过 调 整 权 值 使 训 练 集 图 像 的 重 建 误 差 达 到 最 小 。训 练 后 的 网 络 就 可 以 用 来 执 行 图 像 的 数 据 压 缩 任务 了 ， 此 时 隐 层 输 出 向 量 便 是 数 据 压 缩 结 果 ， 而输 出 层 的 输 出 向 量 便 是 图 像 重 建 的 结 果 。 黑 白 图 像 的 边 缘 检 测 ： 分 析 BP网 络 结 构 特 点 ： 1. BP网 络 具 有 一 层 或 多 层隐 含 层 ， 与 其 他 网 络 模 型 除了 结 构 不 同 外 ， 主 要 差 别 表现 在 激 活 函 数 上 。 BP网 络 的 设 计 2. BP网 络 的 激 活 函 数 必 须是 处 处 可 微 的 ， 所 以 它 就 不能 采 用 二 值 型 的 阀 值 函 数 0，1或 符 号 函 数 1， 1， BP网 络 经 常 使 用 的 是 S型 的 对 数或 正 切 激 活 函 数 和 线 性 函 数 。 3. 只 有 当 希 望 对 网 络 的 输 出进 行 限 制 ， 如 限 制 在 0和 1之间 ， 那 么 在 输 出 层 应 当 包 含 S型 激 活 函 数 ， 在 一 般 情 况 下 ，均 是 在 隐 含 层 采 用 S型 激 活 函数 ， 而 输 出 层 采 用 线 性 激 活函 数 。 4、 输 入 和 输 出 是 并 行 的 模 拟量 ；5、 网 络 的 输 入 输 出 关 系 是 各层 连 接 的 权 因 子 决 定 ， 没 有固 定 的 算 法 ； 6、 权 因 子 是 通 过 学 习 信 号 调节 的 ， 这 样 学 习 越 多 ， 网 络越 聪 明 ；7、 隐 含 层 越 多 ， 网 络 输 出 精度 越 高 ， 且 个 别 权 因 子 的 损坏 不 会 对 网 络 输 出 产 生 大 的影 响 BP网 络 的 设 计 1 网 络 的 层 数 ： 理 论 上 已 经 证 明 ： 具 有 偏 差 和 至 少 一 个 S型隐 含 层 加 上 一 个 线 性 输 出 层 的 网 络 ， 能 够 逼 近任 何 有 理 函 数 。 增 加 层 数 主 要 可 以 更 进 一 步 的 降 低 误 差 ， 提高 精 度 ， 但 同 时 也 使 网 络 复 杂 化 ， 从 而 增 加 了网 络 权 值 的 训 练 时 间 。 一 般 情 况 下 ， 应 优 先 考 虑 增 加 隐 含 层 中 的 神经 元 数 。 能 不 能 仅 用 具 有 非 线 性 激 活 函 数 的 单 层 网 络来 解 决 问 题 呢 ？ 结 论 是 ： 没 有 必 要 或 效 果 不 好 。 2 隐 含 层 的 神 经 元 数 网 络 训 练 精 度 的 提 高 ， 可 以 通 过 采 用一 个 隐 含 层 ， 而 增 加 其 神 经 元 数 的 方 法来 获 得 。 这 在 结 构 实 现 上 ， 要 比 增 加 更多 的 隐 含 层 要 简 单 得 多 。 在 具 体 设 计 时 ， 比 较 实 际 的 做 法 是 通过 对 不 同 神 经 元 数 进 行 训 练 对 比 ， 然 后适 当 地 加 上 一 点 余 量 。 3） 初 始 权 值 的 选 取一 般 取 初 始 权 值 在 (-1， 1)之 间 的 随 机 数 。在 MATLAB工 具 箱 中 可 采 用 函 数 initff.m来 初 始化 权 值 阈 值 。 由 于 每 次 训 练 时 都 对 权 值 进 行 随 机 初 始 化 ， 所以 每 次 训 练 得 到 的 网 络 权 值 都 是 不 一 样 的 。 4 学 习 速 率 学 习 速 率 决 定 每 一 次 循 环 训 练 中 所 产生 的 权 值 变 化 量 。 大 的 学 习 速 率 可 能 导 致 系 统 的 不 稳 定 。 小 的 学 习 速 率 导 致 较 长 的 训 练 时 间 ，可 能 收 敛 很 慢 ， 不 过 能 保 证 网 络 的 误 差值 不 跳 出 误 差 表 面 的 低 谷 而 最 终 趋 于 最小 误 差 值 。 所 以 在 一 般 情 况 下 ， 倾 向 于 选 取 较 小的 学 习 速 率 以 保 证 系 统 的 稳 定 性 。 学 习速 率 的 选 取 范 围 在 0 010 8之 间 。 5 期 望 误 差 的 选 取 在 设 计 网 络 的 训 练 过 程 中 ， 期 望 误 差 值 也应 当 通 过 对 比 训 练 后 确 定 一 个 合 适 的 值 。 这 个 所 谓 的 “ 合 适 ” ， 是 相 对 于 所 需 要 的隐 含 层 的 节 点 数 来 确 定 ， 因 为 较 小 的 期 望 误 差值 是 要 靠 增 加 隐 含 层 的 节 点 ， 以 及 训 练 时 间 来获 得 的 。 一 般 情 况 下 ， 作 为 对 比 ， 可 以 同 时 对 两 个不 同 期 望 误 差 值 的 网 络 进 行 训 练 ， 最 后 通 过 综合 因 素 的 考 虑 来 确 定 采 用 其 中 一 个 网 络 。 BP网 络 的 局 限 与 不 足(1)需 要 较 长 的 训 练 时 间 因 为 涉 及 到 求 导 的 运 算 ， 需 要 的 时 间 较 长(2)训 练 瘫 痪 问 题通 常 为 了 避 免 这 种 现 象 的 发 生 ， 一 是 选 取 较 小 的初 始 权 值 ， 二 是 采 用 较 小 的 学 习 速 率 ， 但 这 又 增加 了 训 练 时 间 。 (3)局 部 极 小 值BP算 法 可 以 使 网 络 权 值 收 敛 到 一 个 解 ， 但 它并 不 能 保 证 所 求 为 误 差 超 平 面 的 全 局 最 小 解 ，很 可 能 是 一 个 局 部 极 小 解 。WE W初 始 值 不 合 适 时 ，可 能 落 入 局 部 极 小 值 。 7.2.11 反 向 传 播 法 的 改 进 方 法 目 标 ： 为 了 加 快 训 练 速 度 ， 避 免 陷 入 局 部 极 小 值 。1 附 加 动 量 法 附 加 动 量 法 使 网 络 在 修 正 其 权 值 时 ， 不 仅 考 虑 误差 在 梯 度 上 的 作 用 ， 而 且 考 虑 在 误 差 曲 面 上 变化 趋 势 的 影 响 ， 其 作 用 如 同 一 个 低 通 滤 波 器 ，它 允 许 网 络 忽 略 网 络 上 的 微 小 变 化 特 性 。 利 用 附 加 动 量 的 作 用 则 有 可 能 滑 过 局 部 极 小 值 。 该 方 法 是 在 反 向 传 播 法 的 基 础 上 在 每 一 个权 值 的 变 化 上 加 上 一 项 正 比 于 前 次 权 值 变 化 量的 值 ， 并 根 据 反 向 传 播 法 来 产 生 新 的 权 值 变 化 。 附 加 动 量 法 的 实 质 是 将 最 后 一 次 权 值 变 化的 影 响 ， 通 过 一 个 动 量 因 子 来 传 递 。 当 动 量 因子 取 值 为 零 时 ， 权 值 的 变 化 仅 是 根 据 梯 度 下 降法 产 生 ； 当 动 量 因 子 取 值 为 1时 ， 新 的 权 值 变化 则 是 设 置 为 最 后 一 次 权 值 的 变 化 ， 而 依 梯 度法 产 生 的 变 化 部 分 则 被 忽 略 掉 了 。 2 误 差 函 数 的 改 进 包 穆 (Baum)等 人 于 1988年 提 出 一 种 误 差 函 数 为 ： 不 会 产 生 不 能 完 全 训 练 的 瘫 痪 现 象 。 3 自 适 应 学 习 速 率 学 习 率 也 称 步 长 ， 在 标 准 BP 算 法 中 定 为 常 数 ，然 而 在 实 际 应 用 中 ， 很 难 确 定 一 个 从 始 至 终 都合 适 的 最 佳 学 习 率 ， 从 误 差 曲 面 可 以 看 出 ， 平坦 区 域 内 太 小 会 使 训 练 次 数 增 加 而 希 望 增 大 值 ； 而 在 误 差 变 化 剧 烈 的 区 域 ， 太 大 会 因 调 整量 过 大 而 跨 过 较 宰 的 “ 坑 凹 ” 处 ， 使 训 练 出 现振 荡 ， 反 而 使 迭 代 次 数 增 加 。为 了 加 速 收 敛 过 程 ， 一 个 较 好 的 思 路 是 自 适 应改 变 学 习 率 ， 使 其 该 大 时 增 大 ， 该 小 时 减 小 。 通 常 调 节 学 习 速 率 的 准 则 是 ： 检 查 权 值 的修 正 值 是 否 真 正 降 低 了 误 差 函 数 ， 如 果 确 实如 此 ， 则 说 明 所 选 取 的 学 习 速 率 值 小 了 ， 可以 对 其 增 加 一 个 量 ； 若 不 是 这 样 ， 而 产 生 了过 调 ， 那 么 就 应 该 减 小 学 习 速 率 的 值 。 下 式给 出 了 一 种 自 适 应 学 习 速 率 的 调 整 公 式 ：MATLAB工 具 箱 中 带 有 自 适 应 学 习 速 率 进 行 反 向 传 播 训练 的 函 数 为 ： trainbpa.m。 它 可 以 训 练 直 至 三 层 网 络 。使 用 方 法 为 ：W， B， epochs， TE trainbpa(W， B， F， P， T， TP) 可 以 将 动 量 法 和 自 适 应 学 习 速 率 结 合 起 来 以 利 用两 方 面 的 优 点 。 这 个 技 术 已 编 入 了 函 数trainbpx.m之 中 。 这 个 函 数 的 调 用 和 其 他 函 数 一样 ， 只 是 需 要 更 多 的 初 始 参 数 而 已 ：TP disp_freq max_epoch error_goal lr 1r_inc 1r_dec mom_const err_ratio；W， B， epochs， error; lr trainbpx(W， B，F， P， T， TP) 本 章 小 结 1)反 向 传 播 法 可 以 用 来 训 练 具 有 可 微 激 活 函 数 的多 层 前 向 网 络 以 进 行 函 数 逼 近 ， 模 式 分 类 等 工作 ；2)反 向 传 播 网 络 的 结 构 不 完 全 受 所 要 解 决 的 问 题所 限 制 。 网 络 的 输 入 神 经 元 数 目 及 输 出 层 神 经元 的 数 目 是 由 问 题 的 要 求 所 决 定 的 ， 而 输 入 和输 出 层 之 间 的 隐 含 层 数 以 及 每 层 的 神 经 元 数 是由 设 计 者 来 决 定 的 ；3)已 证 明 ， 两 层 S型 线 性 网 络 ， 如 果 S型 层 有 足 够的 神 经 元 ， 则 能 够 训 练 出 任 意 输 入 和 输 出 之 间的 有 理 函 数 关 系 ； 4)反 向 传 播 法 沿 着 误 差 表 面 的 梯 度 下 降 ， 使 网 络误 差 最 小 ， 网 络 有 可 能 陷 入 局 部 极 小 值 ；5)附 加 动 量 法 使 反 向 传 播 减 少 了 网 络 在 误 差 表 面陷 入 低 谷 的 可 能 性 并 有 助 于 减 少 训 练 时 间 ；6)太 大 的 学 习 速 率 导 致 学 习 的 不 稳 定 ， 太 小 值 又导 致 极 长 的 训 练 时 间 。 自 适 应 学 习 速 率 通 过 在保 证 稳 定 训 练 的 前 提 下 ， 达 到 了 合 理 的 高 速 率 ，可 以 减 少 训 练 时 间 ；7)80 90 的 实 际 应 用 都 是 采 用 反 向 传 播 网 络的 。 改 进 技 术 可 以 用 来 使 反 向 传 播 法 更 加 容 易实 现 并 需 要 更 少 的 训 练 时 间 。 1985年 Powell提 出 多 变 量 插 值 的 径 向 基 函数 （ Radial Basis Function, RBF） 方 法 ； 1988年 Broomhead&Lowe将 RBF应 用于 神 经 网 络7.3 RBF神 经 网 络 RBF网 络 径 向 基 函 数 网 络 （ Radial Basis Function ， 简 称 RBFNN） x1x2xn y1yp输 入 输 出是 一 种 三 层 前 馈 网 络 网 络 特 点 ： ） 结 构 相 对 简 单 ） 在 参 数 （ 节 点 数 ， , ） 选 择 合 适 时 ， 收 敛速 度 快三 层 输 入 层隐 层 神 经 元 函 数 多 采 用 高 斯 函 数输 出 层 线 性 神 经 元 函 数 构 成 RBF网 络 的 基 本 思 想 ： 1） 用 RBF作 为 隐 单 元 的 “ 基 ” 构 成 隐含 层 空 间 ， 将 输 入 矢 量 直 接 映 射 到 隐 空间 （ 不 通 过 权 连 接 ） ； 2） 网 络 输 出 时 隐 单 元 输 出 的 线 性 加 权和 ， （ 通 过 权 连 接 可 调 参 数 ） 输 入 隐 层 输 出 非 线 性 线 性 （ 高 斯 核 函 数 ） c该 激 活 函 数 具 有 局 部 感 受 能 力 ， 只 有 输 入 落入 某 个 范 围 内 ， 才 有 明 显 输 出 ， 不 象 BP， 输入 在 （ ， ） 均 有 输 出 。 隐 含 层 节 点 核 函 数 作 用 ： 对 输 入 信 号 在 局 部 产 生 响 应 网 络 输 出 采 用 高 斯 基 函 数 的 优 点 ： 1） 表 示 形 式 简 单 2） 径 向 对 称 3） 光 滑 性 好 ， 任 意 阶 导 数 存 在 4） 便 于 进 行 理 论 分 析 学 习 过 程 分 为 两 个 阶 段 ：第 一 阶 段 无 教 师 学 习 （ 根 据 样 本 决定 隐 含 层 各 节 点 的 高 斯 核 函 数 的 中 心 向量 ci和 标 准 化 常 数 bi）第 二 阶 段 有 教 师 学 习 （ 求 权 值 wki)RBF网 络 的 学 习 算 法 ： ） 无 教 师 （ 监 督 ） 学 习 修 改 j， j ） 有 教 师 （ 监 督 ） 学 习 修 改 wj， j 无 教 师 学 习 阶 段 将 训 练 样 本 集 中 的 输 入 向 量 分 为 若 干 族 ， 在 每 个数 据 族 内 找 出 一 个 径 向 基 函 数 中 心 向 量 ， 使 得 该族 内 各 样 本 向 量 距 该 族 中 心 的 距 离 最 小 算 法 步 骤 ： 1） 给 定 初 始 中 心 向 量 和 判 定 停 止 计 算 的 2） 计 算 距 离 并 求 最 小 距 离 节 点 3） 调 整 中 心 4） 判 定 聚 类 质 量 BP全 局 逼 近 的 神 经 网 络RBF局 部 逼 近 的 神 经 网 络 BP算 法 ： 在 函 数 逼 近 时 采 用 负 梯 度 下 降 法调 节 权 值 缺 点 ： 收 敛 速 度 慢 ； 局 部 极 小 值 RBF算 法 ： 按 时 间 片 训 练 网 络 ， 局 部 逼 近 ， 可以 以 任 意 精 度 逼 近 任 一 连 续 函 数 。 BP与 RBF结 构 的 区 别 ：隐 含 层激 发 函 数 RBF结 构 ： 具 有 单 隐 含 层 的 两 层 前 向 网 络 ，隐 含 层 的 激 发 函 数 ： RBF结 构 比 较 反 传 （ BP） 网 络 的 结 构 图 一 个 输 入 层 ， 一 个 输 出 层 ， 多 个 隐 层 。j pp1xp1x pn t pkt pmOp1O pnOp2隐 层 wj1wjn输 入 层 隐 层 输 出 层信 息 流hjpS hpjO pm激 发 函 数 ： S函 数 RBF网 络 有 关 问 题 RBF与 BP主 要 不 同 点 在 非 线 性 映 射 上 采 用 了 不同 的 作 用 函 数 RBF网 络 具 有 唯 一 最 佳 逼 近 ， 无 局 部 极 小 RBF网 络 难 点 在 于 中 心 向 量 和 标 准 化 常 数 的 求解 如 何 选 择 合 适 径 向 基 函 数 ， 如 何 确 定 隐 节 点 数无 解 决 办 法 由 于 隐 节 点 的 中 心 难 求 ， 影 响 其 发 展 推 广 RBF学 习 速 度 快 ， 适 于 在 线 实 时 控 制