《神经网络方法》PPT课件.ppt

7 神 经 网 络 方 法7.1 人 工 神 经 网 络 综 述7.2 人 工 神 经 元 模 型7.3 人 工 神 经 网 络 的 结 构 模 型7.4 人 工 神 经 网 络 的 学 习 算 法7.5 人 工 神 经 网 络 的 特 点 和 优 越 性7.6 人 工 神 经 网 与 信 息 融 合 的 结 合7.7 神 经 网 络 融 合 实 例 2 7.1 人 工 神 经 网 络 综 述 二 十 世 纪 八 十 年 代 ， 人 工 神 经 网 络 取 得 了 重 大 进 展 ， 在 诸 如手 写 体 邮 政 编 码 判 读 ， 蛋 白 质 二 级 结 构 的 识 别 ， 热 力 学 参 数的 求 取 ， 催 化 剂 设 计 等 许 多 方 面 取 得 成 功 ， 发 展 成 为 一 门 介于 物 理 、 数 学 、 计 算 机 科 学 、 神 经 生 物 学 之 间 的 交 叉 学 科 。 人 工 神 经 网 络 就 是 采 用 物 理 可 实 现 的 系 统 来 模 仿 人 脑 神 经 细胞 的 结 构 和 功 能 的 系 统 。 它 是 由 很 多 处 理 单 元 有 机 地 联 接 起来 ， 进 行 并 行 的 工 作 ， 它 的 处 理 单 元 十 分 简 单 ， 其 工 作 是“ 集 体 ” 进 行 的 ， 它 的 信 息 传 播 ， 存 贮 方 式 与 神 经 网 络 相 似 ，没 有 运 算 器 、 存 贮 器 、 控 制 器 这 些 现 代 计 算 机 的 基 本 单 元 ，而 是 相 同 的 简 单 处 理 器 的 组 合 。 它 的 信 息 是 存 贮 在 处 理 单 元之 间 的 连 接 上 ， 因 而 它 是 与 现 代 计 算 机 完 全 不 同 的 系 统 。 3 7.2 人 工 神 经 元 模 型 神 经 组 织 的 基 本 特 征 4 7.2 人 工 神 经 元 模 型 MP模 型从 全 局 看 ， 多 个 神 经 元 构 成 一 个 网 络 ， 因 此 神 经 元 模 型 的 定 义要 考 虑 整 体 ， 包 含 如 下 要 素 ：（ 1） 对 单 个 人 工 神 经 元 给 出 某 种 形 式 定 义 ；（ 2） 决 定 网 络 中 神 经 元 的 数 量 及 彼 此 间 的 联 结 方 式 ；（ 3） 元 与 元 之 间 的 联 结 强 度 （ 加 权 值 ） 。1943年 ， 仿 照 人 类 神 经 元 的 基 本 特 征 ， McCulloch和 Pitts提 出了 历 史 上 第 一 个 神 经 元 模 型 ， 称 为 M-P模 型 ， 这 一 模 型 形 式 上 表示 为 ： )()1( ij jiji tswts 01xx 其 他 0 x 5 7.3 人 工 神 经 网 络 的 结 构 模 型单 层 人 工 神 经 网 络 两 层 人 工 神 经 网 络根 据 神 经 元 之 间 连 接 方 式 的 不 同 ， 人 工 神 经 网 络 可 分 为 :不含 反 馈 的 前 向 网 络 、 从 输 出 层 到 输 入 层 有 反 馈 的 前 向 网 络 、层 内 有 相 互 连 接 的 前 向 网 络 、 相 互 组 合 型 网 络 。 从 学 习 方 式角 度 可 分 为 有 教 师 学 习 网 络 和 无 教 师 学 网 络 ； 按 层 次 划 分 ，可 分 为 单 层 、 两 层 和 多 层 （ 但 一 般 不 超 过 3层 ） 。 6 7.4 人 工 神 经 网 络 的 学 习 算 法 NN的 工 作 过 程 分 学 习 、 训 练 阶 段 和 回 忆 阶 段 。 其 学 习 方式 有 如 下 几 种 : (1)死 记 式 学 习 :将 网 络 事 先 设 计 成 特 殊 记 忆 的 模 式 ， 以后 当 给 定 有 关 该 系 统 的 输 入 信 息 时 ， 它 们 就 被 回 忆 起 来 。 (2)从 例 子 中 学 习 :在 学 习 时 给 网 络 提 供 一 个 输 入 信 息 ，教 师 给 出 正 确 的 输 出 信 息 ， 对 系 统 进 行 训 练 ， 调 节 系 统 权 值 ，以 使 系 统 输 出 更 接 近 期 望 结 果 ， 感 知 器 就 是 这 种 教 师 学 习 的例 子 。 (3)无 导 师 学 习 :将 网 络 设 计 成 不 需 要 教 师 直 接 指 点 的 学习 方 式 ， 如 竞 争 学 习 系 统 。 7 7.5 人 工 神 经 网 络 的 特 点 和 优 越 性第 一 ， 具 有 自 学 习 功 能 。 例 如 图 像 识 别 ， 只 需 先 把 不 同 的 图 像样 板 和 对 应 的 应 识 别 的 结 果 输 入 人 工 神 经 网 络 ， 网 络 就 会 通 过自 学 习 功 能 ， 慢 慢 学 会 识 别 类 似 的 图 像 。第 二 ， 具 有 联 想 存 储 功 能 。 人 的 大 脑 是 具 有 联 想 功 能 的 。 用 人工 神 经 网 络 的 反 馈 网 络 就 可 以 实 现 这 种 联 想 。第 三 ， 具 有 容 错 性 。 神 经 网 络 可 以 从 不 完 善 的 数 据 图 形 进 行 学习 和 作 出 决 定 。 由 于 知 识 存 在 于 整 个 系 统 而 不 是 一 个 存 储 单 元中 ， 一 些 结 点 不 参 与 运 算 ， 对 整 个 系 统 性 能 不 会 产 生 重 大 影 响 。所 以 ， 神 经 网 络 承 受 硬 件 损 坏 的 能 力 比 一 般 计 算 机 强 得 多 。第 四 ， 具 有 高 速 寻 找 优 化 解 的 能 力 。 寻 找 一 个 复 杂 问 题 的 优 化解 ， 往 往 需 要 很 大 的 计 算 量 ， 利 用 一 个 针 对 某 问 题 而 设 计 的 反 馈 型 人 工 神 经 网 络 ， 发 挥 计 算 机 的 高 速 运 算 能 力 ， 可 能 很 快 找到 优 化 解 。 8 7.6 人 工 神 经 网 络 与 信 息 融 合 的 结 合利 用 神 经 网 络 实 现 信 息 融 合 技 术 ， 具 有 很 多 优 越 性 :(1)神 经 网 络 的 信 息 存 储 在 网 络 的 连 接 权 值 和 连 接 结 构 上 ， 使 得传 感 器 的 信 息 表 示 具 有 统 一 的 形 式 ， 便 于 管 理 和 建 立 知 识 库 ;(2)神 经 网 络 可 增 加 信 息 处 理 的 容 错 性 ， 当 某 个 信 源 的 数 据 出 现差 错 时 ， 神 经 网 络 的 容 错 功 能 可 以 使 系 统 正 常 工 作 ， 并 输 出 可靠 的 信 息 ;(3)神 经 网 络 的 自 学 习 和 自 组 织 功 能 ， 使 系 统 能 适 应 环 境 的 不 断变 化 以 及 输 入 数 据 的 不 确 定 性 ;(4)神 经 网 络 的 并 行 结 构 和 并 行 处 理 机 制 。 使 得 信 息 处 理 速 度 快 ，能 够 满 足 信 息 的 实 时 处 理 要 求 。 9 7.7 神 经 网 络 实 例 火 灾 探 测 是 一 种 特 殊 类 型 的 信 号 检 测 ， 由 传 感 器 采 集 的 火 情参 数 一 方 面 具 有 不 确 定 性 ， 另 一 方 面 其 不 仅 随 火 灾 特 征 而 变化 ， 也 可 能 随 环 境 变 化 和 存 在 噪 声 等 而 有 所 改 变 ， 而 且 这 种变 化 往 往 与 火 灾 参 数 变 化 特 征 基 本 相 似 ， 容 易 引 起 误 报 。 因 此 近 年 来 出 现 了 复 合 火 灾 探 测 器 ， 即 采 用 多 通 道 传 感 器 获得 多 个 信 号 参 数 如 温 度 、 烟 雾 等 经 过 处 理 后 判 断 火 灾 情 况 ，然 而 如 何 由 多 种 信 号 分 析 合 成 得 到 最 终 的 判 断 结 果 ， 并 能 适应 各 种 不 同 环 境 情 况 的 有 效 算 法 还 亟 待 研 究 。 10 神 经 网 络 实 例 (续 ) 11 局 部 决 策 鉴 于 不 同 火 情 下 多 传 感 器 系 统 测 试 的 多 个 火 情 信 息 具 有很 大 的 相 关 不 确 定 性 ， 如 ： 明 火 条 件 下 伴 随 着 温 度 和 烟 雾 信 号 的 急 剧 增 大 同 时 湿 度 的下 降 ； 阴 燃 火 发 生 时 则 往 往 伴 随 着 烟 雾 的 增 大 同 时 温 度 和 湿 度 的基 本 稳 定 ； 而 一 些 典 型 的 干 扰 信 号 如 厨 房 内 是 烟 雾 、 温 度 、 湿 度 信 号同 时 增 大 ； 因 此 分 布 式 检 测 系 统 首 先 对 一 种 传 感 器 采 集 的 单 一 信 号 进行 局 部 决 策 ， 再 送 入 融 合 中 心 根 据 其 关 联 性 得 出 最 终 决 策 。 12 局 部 决 策 局 部 决 策 采 用 单 传 感 器 探 测 的 分 析 算 法 ， 如 速 率 持 续法 ， 即 通 过 检 测 信 号 的 变 化 速 率 是 否 持 续 超 过 一 定 数 值 来判 别 火 情 。设 采 样 信 号 原 始 序 列 为 )(),(),()(X 321 nxnxnxn 式 中 ， 分 别 为 温 度 、 烟 雾 和 温 度 采 样 信 号 。)3,2,1()( inxi 13 局 部 决 策定 义 一 累 加 函 数 为 多 次 累 加 相 邻 采 样 值 的 差 值 之 和则 局 部 决 策 结 果 为 )(mai )(nxi 3,2,1)()1()( 0 inxnxna mn iii iu iii STDmafu )(式 中 ， 为 单 位 阶 跃 函 数 ， 、 分 别 为 温 度 、烟 雾 或 湿 度 信 号 的 决 策 结 果 和 局 部 报 警 门 限 。 )(f iu )3,2,1( iSTDi 14 局 部 决 策 当 局 部 决 策 结 果 中 的 任 一 个 输 出 为 1时 ， 则 表 示 温 度 、 烟雾 或 湿 度 信 号 中 有 一 种 出 现 非 平 稳 变 化 ， 即 提 请 数 据 融 合 中心 对 所 有 信 息 进 行 融 合 处 理 ， 得 出 最 终 判 别 。 这 样 一 方 面 可由 局 部 决 策 器 分 别 实 现 各 信 号 的 预 处 理 、 标 准 化 并 滤 除 噪 声 ，减 轻 了 融 合 中 心 的 数 据 处 理 工 作 ， 具 有 并 行 分 块 处 理 的 优 点 ；另 一 方 面 当 局 部 决 策 结 果 中 至 少 有 一 个 为 报 警 输 出 1时 ， 就 进行 后 级 数 据 融 合 ， 否 则 不 送 融 合 中 心 。 这 样 既 可 以 最 大 限 度的 采 集 火 情 信 息 ， 并 在 早 期 识 别 火 灾 隐 患 ， 又 可 减 少 对 具 有非 显 著 火 灾 特 征 信 息 的 计 算 处 理 ， 降 低 误 报 警 。 15 基 于 神 经 网 络 的 融 合 算 法湿 度 信 号 为 归 一 化 值 ， 取 值 范 围 为 0-1； 输 出 层 的 两 个 单 元 为明 火 判 决 和 阴 燃 火 判 决 系 数 ， 取 值 为 0-1； 输 入 层 与 阴 层 之 间为 七 个 神 经 元 的 隐 藏 。 输 入 层 与 隐 层 之 间 的 权 值 矩 阵 为 ，隐 层 与 输 入 层 之 间 的 权 值 矩 阵 为 。采 用 BP算 法 ， 执 行 过 程 如 下 ： 1） 首 先 确 定 训 练 模 式 对 并 对 网 络 进 行 初 始 化 ， 模 式 对 由 输 入信 号 和 导 师 信 号 构 成 ， 分 别 对 应 网 络 的 输 入 层 和 输 出 层 。 输入 层 信 号 根 据 多 传 感 器 对 标 准 试 验 火 和 各 种 环 境条 件 下 的 测 试 信 号 经 预 处 理 整 合 后 确 定 ， 导 师 信 号 即 上 述 已 知 条 件 下 定 义 的 明 火 和 阴 燃 火 判 决 结 果 ， 由 此 我 们 确 定 了 54个 训 练 模 式 对 ， 判 决 表 1为 其 中 的 示 例 。)3,2,1( iINPi )2,1( kTk 1W2W 16 基 于 神 经 网 络 的 融 合 算 法2） 对 网 络 进 行 训 练 ， 对 于 给 定 的 每 组 训 练 模 式 输 入 ， 先 由Sigmoid函 数 计 算 各 隐 层 单 元 的 输 出 iOM 1exp1 1 ii NETOM式 中 ， 为 第 个 隐 层 的 净 输 入 iNET i 31 1j jj WINPNET 71 2i ij WOMOUT网 络 输 出 为)2,1( kOUTk 17 基 于 神 经 网 络 的 融 合 算 法再 将 网 络 输 出 与 导 师 信 号 进 行 比 较 ， 计 算 其 均 方 根 误 差 541 221 21541m kkkRMS TOUTE最 后 由 误 差 反 传 算 法 ， 调 整 网 络 权 值 和 ， 直 到 使 满 足 误 差 精 度 要 求 。 1W 2WRMSE 18 仿 真 结 果 利 用 上 述 BP算 法 ， 即 可 将 学 习 信 号 的 多 重 信 息 判 决 关 系转 换 到 神 经 网 络 的 连 接 权 矩 阵 中 ， 实 现 了 数 据 融 合 过 程 ， 从而 可 自 适 应 地 根 据 输 入 的 各 种 情 况 给 出 接 近 期 望 值 的 结 果 ，系 统 由 训 练 状 态 转 移 到 工 作 状 态 。 19 仿 真 结 果 20 仿 真 结 果