《神经网络课堂讲义》PPT课件.ppt

人 工 神 经 网 络 主 要 内 容 人 工 神 经 网 络 人 工 神 经 网 （ Artificial Neural Network， ANN） 是 20世 纪 80年 代 后 期 迅 速 发 展 起 来 的 人 工 智 能 技 术 ， 对 未 经 训 练 的 数 据 具 有 分类 模 拟 的 能 力 ， 因 此 在 网 站 信 息 、 生 物 信 息 和 基 因 以 及 文 本 的 数 据挖 掘 等 领 域 得 到 了 越 来 越 广 泛 的 应 用 。 人 工 神 经 网 络 分 为 前 馈 和 递 归 。在 前 馈 神 经 网 络 中 ,每 一 层 的 节 点 仅 和 下 一 层 的 节 点 相 连 。 其 中 最简 单 的 模 型 是 感 知 器 。在 递 归 神 经 网 络 中 ， 允 许 同 一 层 节 点 或 一 层 的 节 点 连 到 前 面 各 层 中的 节 点 。 感 知 器人的视觉是重要的感觉器官，人通过视觉接受的信息占全部信息量的8085%。感知器是模拟人的视觉，接受环境信息，并由神经冲动进行信息传递的神经网络。感知器分单层与多层，是具有学习能力的神经网络。 单 层 感 知 器 单 层 感 知 器 模 型 三 要 素 常 见 形 式 的 激 活 函 数符 号 函 数 线 性 函 数用 于 多 层 感 知 器 模 型 。 双 曲 正 切 函 数 以 符 号 函 数 为 例 学 习 单 层 感 知 器 模 型 学 习 单 层 感 知 器 模 型 (续 ) 单 层 感 知 器 学 习 算 法 的 流 程 图 单 层 感 知 器 训 练 步 骤 可 总 结 如 下 ： 线 性 可 分 问 题 0 0 01 0 00 1 01 1 1 线 性 不 可 分 问 题 2u 1u 异或（XO R）问题 在二维平面中不存在一条直线，将输入模式分为两类。可见：单层感知器不能解决异或问题。 单 层 感 知 器 的 局 限 性 由 于 单 层 感 知 器 的 激 活 函 数 是 符 号 函 数 ， 则 感 知 器 神 经 网 络 的 输出 只 能 取 -1 或 1 。 因 此 单 层 感 知 器 只 能 用 于 简 单 的 分 类 问 题 。 只 能 解 决 线 性 可 分 问 题 ， 而 大 量 的 分 类 问 题 是 线 性 不 可 分 的 。 当 输 入 矢 量 中 有 一 个 数 比 其 他 数 都 大 或 小 得 很 多 时 ， 可 能 导 致 较慢 的 收 敛 速 度 。 多 层 感 知 器 多 层 感 知 器 (MLP)是 一 种 多 层 前 馈 网 络 模 型 ， 它 通 常 由 三 部 分 组 成 ：(1 )一 组 感 知 单 元 组 成 输 入 层(2 )一 层 或 多 层 计 算 节 点 的 隐 藏 层(3 )一 层 计 算 节 点 的 输 出 层 它 广 泛 应 用 于 模 式 识 别 、 图 像 处 理 、 函 数 逼 近 、 优 化 计 算 等 领 域 。 根 据 Kolmogorov定 理 ， 只 要 给 定 足 够 数 量的 隐 藏 层 节 点 、 适 当 的 非 线 性 函 数 、以 及 权 重 ， 任 何 由 输 入 向 输 出 的 连 续 映 射函 数 均 可 用 一 个 三 层 前 馈 神 经 网 络 实 现 。 三 层 感 知 器 的 预 测 公 式 三 层 感 知 器 解 决 异 或 (XOR)问 题 网 络 拓 扑 结 构 网 络 拓 扑 结 构 (续 ) 网 络 拓 扑 结 构 (续 ) 学 习 多 层 感 知 器 模 型 学 习 多 层 感 知 器 模 型 (续 ) 学 习 多 层 感 知 器 模 型 (续 ) 人 工 神 经 网 络 的 特 点 具 有 自 学 习 功 能 。 例 如 实 现 图 像 识 别 时 ， 只 在 先 把 许 多 不 同 的 图像 样 板 和 对 应 的 应 识 别 的 结 果 输 入 人 工 神 经 网 络 ， 网 络 就 会 通 过自 学 习 功 能 ， 慢 慢 学 会 识 别 类 似 的 图 像 。 自 学 习 功 能 对 于 预 测 有特 别 重 要 的 意 义 。 至 少 含 有 一 个 隐 藏 层 的 多 层 神 经 网 络 是 一 种 普 适 近 似 ， 即 可 以 用来 近 似 任 何 目 标 函 数 。 可 以 处 理 冗 余 特 征 。 神 经 网 络 对 训 练 数 据 中 的 噪 声 非 常 敏 感 。 训 练 ANN是 一 个 很 耗 时 的 过 程 ， 特 别 当 隐 藏 节 点 数 量 很 大 时 。 可 以 建 构 非 线 性 的 模 型 ， 模 型 的 准 确 度 高 。 数 据 的 准 备 问 题 神 经 网 络 对 数 据 量 有 最 低 要 求 ， 一 般 情 况 下 ， 一 个 权 重 至 少 需 要1 0 个 训 练 数 据 。 通 过 输 入 节 点 将 输 入 变 量 加 以 标 准 化 ， 标 准 化 后 的 变 量 数 值 落 在0和 1之 间 ， 或 者 是 -1和 1之 间 。 数 据 不 能 含 有 缺 失 值 和 离 群 点 。 属 性 变 量 必 须 是 数 值 型 。 当 有 成 百 上 千 个 属 性 变 量 时 ， 神 经 网 络 效 果 就 不 是 很 好 。 最 近 邻 分 类 器右 图 中 显 示 的 分 类 框 架 包 括 两 个 步 骤 ：(1 )归 纳 步 ， 由 训 练 数 据 建 立 分 类 模 型 ；(2 )演 绎 步 ， 把 模 型 应 用 于 测 试 样 例 。 两 种 学 习 方 法 最 近 邻 分 类 器 最 近 邻 分 类 器 的 特 点