人工神经网络与智能算法

智能算法（Intelligent Algorithm） 2 主 要 内 容q人工神经网络（Artificial Neural Network，ANN）q模拟退火（Simulated Annealing，SA）q遗传算法（Genetic Algorithm，GA） 3 人 工 神 经 网 络 参 考 文 献q 陈 念 贻 ， 钦 佩 ， 陈 瑞 亮 ， 陆 文 聪 ， 模 式 识 别 方 法 在 化 学 化 工 中 的 应 用 ， 科学 出 版 社 ， 北 京 ， 2000。 q 从 爽 ， 面 向 MATLAB工 具 箱 的 神 经 网 络 理 论 与 应 用 ， 中 国 科 学 技 术 出 版社 ， 合 肥 ， 1998。q 焦 李 成 ， 神 经 网 络 计 算 ， 西 安 电 子 科 技 大 学 出 版 社 ， 西 安 ， 1993。q 王 永 骥 ， 涂 健 ， 神 经 元 网 络 控 制 ， 机 械 工 业 出 版 社 ， 北 京 ， 1998。q Bishop, C. (1995). Neural Networks for Pattern Recognition. Oxford: University Press. q Carling, A. (1992). Introducing Neural Networks. Wilmslow, UK: Sigma Press. q Fausett, L. (1994). Fundamentals of Neural Networks. New York: Prentice Hall q Haykin, S. (1994). Neural Networks: A Comprehensive Foundation. New York: Macmillan Publishing. q Patterson, D. (1996). Artificial Neural Networks. Singapore: Prentice Hall. 4 生 物 神 经 元 及 神 经 网 络神 经 元 对 信 息 的 接 受 和 传 递 都 是 通 过 突 触 来 进 行 的 。 单 个 神 经 元 可 以 从 别的 细 胞 接 受 多 个 输 入 。 由 于 输 入 分 布 于 不 同 的 部 位 ， 对 神 经 元 影 响 的 比 例(权 重 )是 不 相 同 的 。 另 外 ， 各 突 触 输 入 抵 达 神 经 元 的 先 后 时 间 也 不 一 祥 。因 此 ， 一 个 神 经 元 接 受 的 信 息 ， 在 时 间 和 空 间 上 常 呈 现 出 一 种 复 杂 多 变 的 形 式 ， 需 要 神 经 元 对 它 们 进 行 积 累 和 整 合 加 工 ， 从 而 决 定 其 输 出 的 时 机 和强 度 。 正 是 神 经 元 这 种 整 合 作 用 ， 才 使 得 亿 万 个 神 经 元 在 神 经 系 统 中 有 条不 紊 、 夜 以 继 日 地 处 理 各 种 复 杂 的 信 息 ， 执 行 着 生 物 中 枢 神 经 系 统 的 各 种信 息 处 理 功 能 。 多 个 神 经 元 以 突 触 联 接 形 成 了 一 个 神 经 网 络 。 5 一 、 人 工 神 经 网 络q 什 么 是 人 工 神 经 网 络 ？ 它 就 是 在 对 大 脑 的 生 理 研 究 的 基 础 上 ，用 模 拟 生 物 神 经 元 的 某 些 基 本 功 能 元 件 （ 即 人 工 神 经 元 ） ，按 各 种 不 同 的 联 结 方 式 组 织 起 来 的 一 个 网 络 。q 其 目 的 在 于 模 拟 大 脑 的 某 些 机 理 与 机 制 ， 实 现 某 个 方 面 的 功能 ， 可 以 用 在 模 仿 视 觉 、 模 式 识 别 、 函 数 逼 近 、 模 式 识 别 、分 类 和 数 据 压 缩 等 领 域 ， 是 近 年 来 人 工 智 能 计 算 的 一 个 重 要学 科 分 支 。q 人 工 神 经 网 络 有 多 种 形 式 ， 其 中 反 向 传 播 人 工 神 经 网 络(Back-Propagation Artificial Network, 简 称 BP网 络 )是 一 种 广泛 使 用 的 神 经 网 络 模 型 ， 它 充 分 体 现 了 人 工 神 经 网 络 的 特 点 。BP网 络 是 一 种 对 非 线 性 可 微 分 函 数 进 行 权 值 训 练 的 多 层 网 络 ，在 人 工 神 经 网 络 的 实 际 应 用 中 ， 80 90 的 人 工 神 经 网 络模 型 是 采 用 BP网 络 或 它 的 变 化 形 式 。 6 1.1 BP神 经 网 络q 神 经 元 的 结 构 神 经 元 是 人 工 神 经 网 络 的 基 本 处 理 单 元 ， 它 一 般 为 多 输 入 /单 输 出 的 非线 性 元 件 。 神 经 元 输 出 除 受 输 入 信 号 的 影 响 外 ， 还 受 神 经 元 内 部 其 它因 素 的 制 约 ， 因 此 在 人 工 神 经 元 的 建 模 中 ， 常 常 加 一 额 外 输 入 信 号 ，称 为 偏 差 (bais)， 并 取 值 为 1。 输 入 分 量权 值 分 量 神 经 元 的 输 出 偏 差 权 值 激 活 函 数 输 入 分 量 通 过 与 它 相 乘 的 权 值 分 量相 连 ， 求 和 后 与 偏 差 权 值 共 同 构 成激 活 函 数 的 输 入 。 )( 1 bpwfa jrj j 7 偏 差神 经 元 的 输 出 为 ： )( 1 bpwfa jrj j 偏 差 b被 简 单 地 加 在 jrj jwp1 上 ， 作 为 激 活 函 数 的 一 个 输 入 分 量 。偏 差 的 重 要 作 用 ， 它 使 得 激 活 函 数 的 图形 可 以 左 右 移 动 ， 这 样 可 增 加 网 络 解 决问 题 的 能 力 。 8 激 活 函 数q 激 活 函 数 具 有 模 拟 生 物 神 经 元 的 非 线 性 特 性 。 Sigmoid函 数 ： 双 曲 正 切 tanh函 数 ：xexf 1 1)( xx xx ee eexf )(Sigmoid函 数 和 双 曲 正 切 tanh函 数 都 是 单 调 上 升 函 数 ， 其 极 值 分 别 为 0、 1和 1、 1， 且 都 是 可 微 的 。 9 激 活 函 数 的 一 阶 导 数q 在 BP神 经 网 络 训 练 算 法 中 ， 要 用 到 激 活 函 数 的 一 阶 导 数 。 Sigmoid函 数 的 导 数 ： 双 曲 正 切 tanh函 数 的 导 数 ： )(1)(1 111 1)( xfxfeexf xx )(11)( 22 xfee eexf xx xx q 由 此 可 以 看 出 ， 由 于 激 活 函 数 的 特 点 ， 用 神 经 网 络 计 算 时 ，需 对 输 入 和 输 出 的 值 进 行 调 整 。 激 活 函 数 是 采 用 Sigmoid函 数 时 ， 输 入 和 输 出 的 值 应在 0,1之 间 ； 激 活 函 数 是 双 曲 正 切 tanh函 数 时 ， 输 入 和 输 出 的 值 范围 则 在 1,1之 间 。 10 1.2 BP网 络 的 模 型 结 构 q BP网 络 是 一 种 在 输 入 层 和 输 出 层 之 间 具 有 一 层 或 多 层 隐 层 的网 络 模 型 ， 而 其 典 型 的 结 构 为 有 一 隐 层 、 包 含 输 入 层 和 输 出层 的 三 层 网 络 模 型 。 典 型 BP网 络 的 结 构 示 意 图 如 下 ：网 络 的 输 入 模 式向 量 为 P， 有 r个输 入 神 经 元 ， 对应 输 入 模 式 向 量的 每 个 元 素 。 隐 层 内 有 s1个 神经 元 ， 对 应 隐 层输 出 是 a1。 网 络 的 输 出 为 a2，有 s2个 神 经 元 ，而 目 标 输 出 为 T。 三 层 BP神 经 网 络 不 同 层 神 经 元 之 间 实 现 权 重 连 接 ， 而 每 层 内 各 个 神 经 元 之 间 不 连 接 。 11 BP网 络 的 四 个 计 算 过 程q 输 入 模 式 由 输 入 层 经 隐 含 层 向 输 出 层 的“ 模 式 正 向 传 播 ” 过 程 ； （ 神 经 元 的 激 活值 从 输 入 层 经 隐 含 层 向 输 出 层 传 播 ， 在 输出 层 各 神 经 元 获 得 网 络 响 应 。 ）q 网 络 实 际 输 出 与 希 望 输 出 的 误 差 信 号 由 输出 层 经 隐 含 层 向 输 入 层 逐 层 修 正 连 接 权 和阂 值 的 “ 误 差 反 向 传 播 ” 过 程 ；q 由 “ 模 式 正 向 传 播 ” 过 程 与 “ 误 差 反 向 传播 ” 过 程 的 反 复 交 替 进 行 的 网 络 学 习 训 练过 程 ；q 网 络 全 局 误 差 趋 向 极 小 的 学 习 收 敛 过 程 。（ 网 络 对 输 入 模 式 响 应 的 正 确 率 也 不 断 增 加 。 ） 12 BP网 络 的 计 算 过 程 的 简 单 描 述 （ 1） ri jbijij bwpwfa 1 )11(11 1,2,1 sj 11 )212(22 sj kbjkjk bwawfa 2,2,1 sk q 模 式 正 向 传 播 过 程 隐 含 层 中 第 j个 神 经 元 的 输 出 为 ： 输 出 层 中 第 k个 神 经 元 的 输 出 为 ：q 误 差 反 向 传 播 过 程定 义 误 差 函 数 为 ： 21 2)2(21 sk kk atE神 经 网 络 学 习 的 过 程 就 是 通 过 调 整 权 值 ， 使 误 差 E最 小 ，此 时 可 利 用 最 速 下 降 法 求 权 值 及 误 差 的 反 向 传 播 。 13 BP网 络 的 计 算 过 程 的 简 单 描 述 （ 2） 隐 含 层 中 第 j个 神 经 元 的 输 出 的 权 值 变 化 为 ： jkkkjkkkjkj afatwaaEwEw 12)2(22222 2)2(222 fatwaaEwEw kkkbkkkbkb 对 第 i个 输 入 到 隐 含 层 中 第 j个 神 经 元 输 出 的 权 值 变 化 为 ： ikjsk kkjijjkkjiji pfwfatwaaaaEwEw 122)2(1112211 21 122)2(1122 21 fwfatwaaaaEwEw kjsk kkjbjjkkjbjb 修 正 后 的 新 权 重 调 整 为 ： pnpnp WWW 1 称 为 学习 系 数 ，值 在 0,1之 间 。 14 加 快 BP网 络 训 练 速 度 的 方 法 q BP网 络 得 到 了 广 泛 的 应 用 ， 但 也 存 在 自 身 的 不 足 与 限 制 ， 主要 表 现 在 网 络 训 练 需 较 长 时 间 和 网 络 有 可 能 达 到 局 部 最 小 。据 此 ， BP网 络 有 各 种 改 进 方 法 ， 以 加 快 训 练 速 度 ， 避 免 陷 入局 部 极 小 。q 主 要 的 改 进 方 法 有 ： 增 加 动 量 项 ， 以 平 滑 权 的 变 化 ， 一 种 常 用 形 式 是 ： )( 11 npnppnpnp WWWWW 为 动 量 因 子 ， 值 在 0,1之 间 ， n为 迭 代 次 数 。 采 用 二 阶 学 习 算 法 。 前 面 的 基 于 函 数 梯 度 的 算 法 属 于 一 阶算 法 ， 缺 点 就 是 在 极 值 点 附 近 收 敛 速 度 慢 。 采 用 二 阶 算 法 ，如 牛 顿 法 、 共 轭 梯 度 法 等 ， 将 有 较 快 的 收 敛 速 度 。 模 拟 退 火 法 。 15 1.4 BP神 经 网 络 计 算 （ 1） q 网 络 的 层 数 ： 在 运 用 BP神 经 网 络 时 ， 最 多 采 用 的 是 具 有 一 层 或 两 层 隐 层 的 网 络 。 具 有 偏 差 和 至 少 一 个 S型 隐 层 的 网 络 ， 可 以 近 似 任 何 函 数 ， 这 已 成 为 设计 BP神 经 网 络 的 原 则 。 网 络 计 算 精 度 的 提 高 ， 可 以 通 过 采 用 一 个 隐 层 ， 而 增 加 隐 层 神 经 元 数的 方 法 来 获 得 ， 这 也 就 是 通 常 用 一 隐 层 、 包 含 输 入 层 和 输 出 层 的 三 层BP网 络 模 型 的 原 因 。q 神 经 元 数 ： 输 入 和 输 出 的 神 经 元 数 可 以 根 据 需 要 求 解 的 问 题 和 数 据 所 表 示 的 方 式来 确 定 。 问 题 确 定 后 ， 输 入 层 与 输 出 层 的 神 经 元 数 也 就 随 之 定 了 。 隐 层 神 经 元 数 的 选 择 有 较 广 的 范 围 ： 当 隐 层 神 经 元 数 较 少 时 ， 误 差 下 降 到 一 定 程 度 后 会 变 化 很 小 ； 当 隐 层 神 经 元 数 过 多 时 ， 不 仅 网 络 训 练 时 间 长 ， 还 会 出 现 过 拟 合 问 题 ， 降低 神 经 网 络 的 预 测 功 能 。 通 常 隐 层 神 经 元 数 的 选 择 原 则 是 ： 在 能 解 决 问 题 的 前 提 下 ， 再 加 上 1到2个 神 经 元 以 加 快 误 差 的 下 降 速 度 即 可 。 16 BP神 经 网 络 计 算 （ 2）q 初 始 权 值 的 选 取 权 重 初 始 值 的 选 取 ， 对 网 络 训 练 学 习 是 否 达 到 局 部 最 小 ， 是 否 能 够 收敛 以 及 训 练 时 间 的 长 短 有 很 大 的 关 系 。 如 果 初 始 权 值 太 大 ， 使 得 加 和 后 的 值 落 在 激 活 函 数 的 饱 和 区 ， 从 而 导致 激 活 函 数 的 导 数 非 常 小 ， 在 计 算 权 值 修 正 时 ， 调 整 值 接 近 零 ， 网 络的 学 习 训 练 几 乎 处 在 停 止 状 态 。 所 以 一 般 总 是 希 望 经 过 初 始 权 值 计 算 后 每 个 神 经 元 的 输 出 值 都 接 近 零 ，这 样 可 以 保 证 每 个 神 经 元 的 权 值 都 能 在 激 活 函 数 变 化 最 大 之 处 进 行 调节 。 一 般 来 说 ， 初 始 权 值 取 -1,1之 间 的 随 机 数 是 较 好 的 选 择 。 17 BP神 经 网 络 计 算 （ 3）q 学 习 速 率 学 习 速 率 决 定 每 一 次 循 环 训 练 中 所 产 生 的 权 值 变 化 量 。 大 的 学 习 速 率 可 能 导 致 系 统 的 不 稳 定 ； 但 小 的 学 习 速 率 导 致 较 长 的 训 练 时 间 ， 可 能 收 敛 很 慢 ， 不 过 能 保 证 网 络的 误 差 值 不 跳 出 误 差 表 面 的 低 谷 而 最 终 趋 于 最 小 误 差 值 。 所 以 在 一 般 情 况 下 ， 倾 向 于 选 取 较 小 的 学 习 速 率 以 保 证 系 统 的 稳 定 性 。学 习 速 率 的 选 取 范 围 在 0.010.8之 间 。 在 一 个 神 经 网 络 的 计 算 过 程 中 ， 使 网 络 经 过 几 个 不 同 的 学 习 速 率 的 训练 ， 通 过 观 察 每 一 次 训 练 后 的 误 差 平 方 和 的 下 降 速 率 来 判 断 所 选 定 的学 习 速 率 是 否 合 适 。 如 果 误 差 平 方 和 下 降 很 快 ， 则 说 明 学 习 速 率 合 适 若 误 差 平 方 和 出 现 振 荡 现 象 ， 则 说 明 学 习 速 率 过 大 。 对 于 每 一 个 具 体 网 络 都 存 在 一 个 合 适 的 学 习 速 率 。 但 对 于 较 复 杂 网 络 ，在 误 差 曲 面 的 不 同 部 位 可 能 需 要 不 同 的 学 习 速 率 。 为 了 减 少 寻 找 学 习速 率 的 训 练 次 数 以 及 训 练 时 间 ， 比 较 合 适 的 方 法 是 采 用 变 化 的 学 习 速率 ， 使 网 络 的 训 练 在 不 同 的 阶 段 自 动 设 置 不 同 学 习 速 率 的 大 小 。 18 BP神 经 网 络 计 算 程 序 BATCHNET简 介q BATCHNET是 一 个 BP神 经 网 络 计 算 的 DOS程 序 ， 程 序 由batchnet.exe和 weights.exe两 个 可 执 行 文 件 构 成 。 batchnet为 网 络 训 练 和 预 测 程 序 ， 激 活 函 数 为 Sigmoid函 数 ， 输 入 输 出样 本 值 范 围 为 0,1。 weights程 序 产 生 初 始 权 值 。q 批 处 理 程 序 demo.bat batchnet -e10 d1.0e-5 demo.run 说 明 ：-e10 表 示 网 络 每 迭 代 10步 后 显 示 误 差 ；d1.0e-5 表 示 网 络 训 练 误 差 ；demo.run 求 解 问 题 的 网 络 参 数 文 件 ， 由 batchnet调 用 ， 文 件 名 可 改 ， 但 扩 展 名 run不 能 变 。 19 BP神 经 网 络 计 算 程 序 BATCHNET简 介q 网 络 参 数 文 件 demo.run的 格 式 4 train.out train.err train.pat weights.wts train.wts 100 1000 9 4 2 0.15 0.075test.out test.err test.pat train.wts test.wts 166 1 9 4 2 0.15 0.075train.out train.err train.pat train.wts train.wts 100 1000 9 4 2 0.15 0.075test.out test.err test.pat train.wts test.wts 166 1 9 4 2 0.15 0.075 NumfOut fErr fPat fWts fWtso nPats nIter nInp nHid nOut eta alphaNum 运行次数，本例为4； fOut 网络计算结果输出文件，输出； fErr 网络计算误差文件，输出；fPat 训练学习样本文件，输入；fWts 问题的初始权值文件，输入，由程序weights产生；fWtso 训练后的权值文件，输出；nPats 训练样本数，本例为100；nIter 训练迭代次数，本例为1000；nInp 输入层神经元数目，本例为9；nHid 隐层神经元数目，本例为4；nOut 输出层神经元数目，本例为2；eta 学习速率，本例为0.15；alpha 动量因子，本例为0.075。 表 示 用 BP神 经 网 络 先 对 100对 输入 输 出 样 本 进 行 学 习 训 练 1000次 ，预 测 166个 样 本 一 次 ， 然 后 继 续学 习 训 练 1000次 后 再 进 行 一 次 预测 。 Batchnet如 只 计 算 一 次 ， 则不 对 连 接 权 重 进 行 更 新 。 20 BP神 经 网 络 计 算 程 序 BATCHNET简 介q 程 序 weights的 运 行 :weights int_num nInp nHid nOut ran_wts 说 明 ：int_num 任 一 6位 整 数 ；nInp 输 入 层 神 经 元 数 目 ；nHid 隐 层 神 经 元 数 目 ；nOut 输 出 层 神 经 元 数 目 ， 这 3个 参 数 同 run程 序 中 的相 一 致 ；ran_wts 初 始 权 值 取 值 范 围 ， 实 数 1.表 示 取 值 范 围在 -1,1之 间 。 Weights 123456 9 4 2 1.0 21 BP神 经 网 络 计 算 程 序 BATCHNET简 介q 训 练 样 本 文 件 fPat的 格 式 ： 说 明 ：In_pat 样 本 的 输 入 ；Out_pat 对 应 的 样 本 输 出 ；Id 对 应 的 样 本 标 号 ； In_pat Out_pat Id0.363636 0.191667 0.7 0.75 0.666667 0.531225 0.0898333 0.0504219 0.6844341 0 1234567 0.327273 0.187501 0.733333 0.75 0.8 0.531038 0.0819442 0.0504219 0.8010571 0 1234567 22 STATISTICA Neural Networks (SNN) 简 介q 通 过 输 入 数 值 变 量 (自 变 量 )可 以 用 神 经 网 络 来 计 算 输 出 变 量(应 变 量 )， 输 出 变 量 的 类 型 可 以 是 数 值 型 的 ， 也 可 以 是 非 数 值型 的 。 q 在 SNN中 ， 求 解 问 题 可 通 过 两 种 基 本 方 式 来 进 行 ： 智 能 问 题求 解 器 (Intelligent Problem Solver) 或 程 序 的 菜 单 。 智 能 问 题 求 解 器 引 导 使 用 者 建 立 求 解 问 题 的 神 经 网 络 。 在 智 能 问 题 求解 器 中 ， 有 基 本 型 和 高 级 型 两 种 模 式 可 供 选 择 。 基 本 型 中 ， 使 用 者 只 能 控 制 设 计 神 经 网 络 中 的 几 个 关 键 点 ， 包 括 问 题类 型 (样 本 相 互 独 立 的 标 准 型 和 变 量 预 测 值 依 赖 先 前 值 的 时 间 序 列 )、输 出 和 输 入 变 量 、 求 解 器 筛 选 优 化 网 络 的 计 算 时 间 控 制 、 在 网 络 设 置中 需 保 存 的 网 络 情 况 以 及 需 显 示 的 结 果 与 统 计 ， 其 余 的 网 络 设 计 及 计算 由 求 解 器 自 动 完 成 。 基 本 型 供 对 神 经 网 络 计 算 了 解 不 多 者 使 用 。 高 级 型 中 ， 使 用 者 能 控 制 设 计 神 经 网 络 的 各 方 面 ， 包 括 网 络 训 练 、 校验 、 测 试 时 所 用 数 据 的 分 割 、 置 信 度 的 类 型 选 择 、 选 择 需 产 生 网 络 的类 型 及 复 杂 程 度 等 ， 供 对 神 经 网 络 计 算 较 熟 悉 者 使 用 。 23 SNN中 的 神 经 网 络 方 法 q 多 层 网 络 (Multilayer Perceptrons)；q 径 向 基 函 数 网 络 (Radial Basis Function Networks)；q 概 率 神 经 网 络 (Probabilistic Neural Networks)；q 通 用 回 归 神 经 网 络 (Generalized Regression Neural Networks)；q 线 性 网 络 (Linear Networks)；q Kohonen网 络 (Kohonen Networks)； q 神 经 网 络 的 时 间 序 列 预 测 (Time Series Prediction)。 24 SNN菜 单 命 令 汇 总 25 SNN处 理 数 据 需 要 注 意 的 两 个 问 题 q 数 据 的 前 处 理 与 后 处 理 在 处 理 实 际 问 题 的 数 据 时 ， 数 据 要 进 行 匀 整 处 理 ， 这 样 的 处 理 包 括 计算 前 和 计 算 后 的 处 理 。 神 经 网 络 计 算 用 的 数 据 类 型 应 该 是 数 值 型 的 ， 当 有 些 问 题 的 变 量 是 多态 的 情 况 ， 如 对 与 错 等 ， 这 些 变 量 在 用 神 经 网 络 处 理 时 ， 也 需 将 其 数值 化 。 在 SNN中 有 Pre/post processing， 可 处 理 这 些 数 据 的 变 换 问 题 ， 有 时 还可 以 用 Options菜 单 中 的 STATISTICA Transfer， 使 数 据 直 接 在STATISTICA中 处 理 。q 过 拟 合 问 题 在 用 多 项 式 拟 合 数 据 时 ， 就 会 出 现 过 拟 合 的 情 况 。 一 个 低 阶 多 项 式 可能 做 不 到 很 好 地 拟 合 所 有 的 数 据 点 ， 而 一 个 高 阶 的 则 可 能 做 到 ， 但 实 际 上 没 有 反 映 问 题 的 性 质 。 26 SNN处 理 过 拟 合 的 方 法q 神 经 网 络 计 算 有 同 样 的 问 题 ， 隐 层 神 经 元 数 太 少 ， 不 能 很 好地 描 述 问 题 ， 神 经 元 数 过 多 ， 会 出 现 过 拟 合 ， 因 较 大 的 神 经网 络 总 能 使 误 差 减 小 。q 解 决 过 拟 合 的 办 法 之 一 是 用 交 替 有 效 法 (Cross-verification)。一 些 训 练 用 样 本 不 参 加 神 经 网 络 的 学 习 训 练 ， 而 是 独 立 地 在训 练 学 习 过 程 中 用 来 校 验 。q 当 校 验 误 差 出 现 同 训 练 学 习 误 差 不 一 样 的 情 况 ， 即 不 是 随 着训 练 学 习 的 进 行 ， 训 练 误 差 不 断 减 小 ， 反 而 停 止 下 降 ， 开 始升 高 ， 表 明 网 络 有 过 拟 合 数 据 的 情 况 ， 这 时 应 减 少 隐 层 神 经元 数 。 q 在 SNN中 智 能 问 题 求 解 器 具 有 自 动 选 择 隐 层 神 经 元 数 的 功 能 。 27 SNN的 求 解 过 程q 在 神 经 网 络 的 研 究 和 计 算 中 ， 常 能 见 到 异 或 问 题 的 求 解 与 讨论 。 这 里 以 异 或 问 题 的 求 解 为 例 介 绍 SNN的 求 解 过 程 ， 并 对SNN智 能 问 题 求 解 器 中 的 各 项 选 择 作 一 说 明 。FIRSTSECONDXOR000101011110异 或 问 题 两 个 输 入 变 量 为 二进 制 的 数 ， 其 可 能 的 取 值 及期 望 输 出 如 右 表 所 示 ：异 或 问 题 看 起 来 简 单 ， 但 具有 复 杂 的 特 征 ， 它 不 是 线 性可 分 的 ， 即 不 可 能 有 一 直 线使 同 类 在 线 的 一 边 ， 如 右 图 所 示 ： 28 SNN中 的 智 能 问 题 求 解 器 使 用 步 骤q Step 1： 建 立 上 述 的 数 据 文 件 输 入 变 量 类 型（Input or Output ）样 本 分 组 （ Training、 Verification 、 Testing ） 29 q Step 2： 选 择 求 解 问 题 方 式 问 题 类 型 （ Basic or Advanced） ，选 择 “ Advanced” 。 30 SNN中 的 智 能 问 题 求 解 器 使 用 步 骤q Step 3： 选 择 问 题 类 型 （ Problem Type） ， 选 择 “ Standard ” 。 31 SNN中 的 智 能 问 题 求 解 器 使 用 步 骤q Step 4： 选 择 输 出 变 量 （ Output Variable Selection ） ， 选 择XOR变 量 作 为 输 出 变 量 。 32 SNN中 的 智 能 问 题 求 解 器 使 用 步 骤q Step 5： 选 择 输 入 变 量 （ Input Variable Selection ） ， 选 择 变量 FIRST, SECOND作 为 输 入 变 量 。 并 关 闭 选 项 “ Search for an effective subset ” 。 33 SNN中 的 智 能 问 题 求 解 器 使 用 步 骤q Step 6： 样 本 分 组 （ Division of cases ） 。 控 制 训 练（ Training） 、 检 验 （ Verification） 和 测 试 （ Testing） 样 本 的大 小 。采 用 自 定 义 分组 样 本 34 SNN中 的 智 能 问 题 求 解 器 使 用 步 骤q Step 7： 选 择 网 络 类 型 （ Type of Network ） 。 为 比 较 网 络 ， 几种 网 络 都 选 ， 即 线 性 、 径 向 基 函 数 (RBF)、 通 用 回 归 神 经 网 络(GRNN)、 三 层 和 四 层 MLP 。 35 SNN中 的 智 能 问 题 求 解 器 使 用 步 骤q Step 8： 控 制 网 络 隐 层 数 目 （ Hidden Units ） 。 选 择“ Determine network complexity automatically”自 动 确 定 网 络复 杂 性 ， 忽 略 数 值 选 定 。 36 SNN中 的 智 能 问 题 求 解 器 使 用 步 骤q Step 9： 网 络 设 计 过 程 （ Duration of Design Process ） 。 选 择完 全 “ Thorough”项 。 37 SNN中 的 智 能 问 题 求 解 器 使 用 步 骤q Step 10： 希 望 保 存 最 佳 网 络 和 在 网 络 确 定 过 程 中 增 加 网 络 大小 （ Saving Networks ） 。 选 择 “ Keep networks” 和“ Increase ”项 。 38 SNN中 的 智 能 问 题 求 解 器 使 用 步 骤q Step 11： 结 果 显 示 （ Results Shown ） 。 选 择 列 表 样 本 结 果“ Datasheet”和 统 计 结 果 汇 总 “ Overall”。 SNN计 算 完 成后 ， 给 出 多 种 结 果 。 39 SNN的 求 解 异 或 问 题 的 结 果Data Set Editor给出 了 训 练样 本 。 Run Data Set是 训 练结 果 ， 有 目 标 值 、计 算 值 和误 差 。 Regression Statistics是最 优 网 络 计 算 的 统 计 结果 。 Network Set Editor则 是智 能 问 题 求解 器 所 用 的各 种 网 络 的计 算 结 果 。Network Illustration则 是 最 优 网络 的 图 示 。 40 SNN的 求 解 异 或 问 题 的 结 果q 计 算 结 果 表 明 了 多 层 网 络 的 隐 层 神 经 元 数 为 5时 ， 计 算 的 误 差已 达 10-5， 可 以 用 来 描 述 异 或 问 题 。q 是 否 还 有 描 述 异 或 问 题 更 好 的 网 络 结 构 呢 ？q 隐 层 数 为 4的 RBF网 络 ， 计 算 异 或 问 题 的 误 差 达 到 10-15， 比 隐层 神 经 元 数 为 5的 多 层 网 络 的 计 算 误 差 要 小 10个 数 量 级 ， 完 全描 述 了 异 或 问 题 。 41 1.4 关 于 ANN的 进 一 步 说 明q选 用 合 适 的 学 习 训 练 网 络 样 本 、 优 化 网 络 结 构 、 采用 适 当 的 学 习 训 练 方 法 就 能 得 到 包 含 学 习 训 练 样 本范 围 的 输 入 与 输 出 关 系 。q如 果 用 于 学 习 训 练 的 样 本 不 能 充 分 反 映 体 系 的 特 性 ，用 ANN也 不 能 很 好 的 描 述 与 预 测 体 系 ， 所 以 有 “垃 圾进 ， 垃 圾 出 ； 金 子 进 ， 金 子 出 ” 之 说 。q确 定 性 模 型 的 参 数 回 归 与 ANN之 类 的 非 确 定 性 模 型的 不 同 特 点 。 42 确 定 性 模 型 与 非 确 定 性 模 型 的 比 较q确 定 性 模 型 的 参 数 回 归 的 特 点 ： 自 变 量 与 因 变 量 之 间 有 明 确 的 函 数 关 系 ， 具 有 未 知 数 值 的参 数 ， 需 要 通 过 自 变 量 与 因 变 量 的 数 据 组 样 本 来 回 归 估 计 ，而 且 参 数 个 数 通 常 较 少 ， 具 有 明 确 的 物 理 意 义 。qANN之 类 的 非 确 定 性 模 型 的 特 点 ： 无 须 针 对 问 题 提 出 明 确 的 自 变 量 与 因 变 量 之 间 的 函 数 关 系 ，而 函 数 关 系 用 含 有 众 多 自 由 参 数 的 模 型 回 归 拟 合 ， 但 自 由参 数 无 明 确 的 物 理 意 义 。q因 此 ， 确 定 性 模 型 回 归 的 主 要 目 标 是 得 到 模 型 的 参数 值 。 而 非 确 定 性 模 型 计 算 的 主 要 目 标 是 得 到 输 入与 输 出 的 关 系 。 43 二 、 模 拟 退 火 法 （ Simulated Annealing）q 人 工 神 经 网 络 方 法 是 用 某 种 目 标 函 数 的 全 局 极 小 作 为 算 法 搜索 和 网 络 所 要 达 到 的 目 标 。 在 学 习 或 运 行 过 程 中 ， 网 络 的 误差 总 是 按 其 梯 度 下 降 的 方 向 变 化 。 当 梯 度 趋 于 零 时 ， 网 络 的学 习 或 运 行 就 停 止 了 ， 所 以 这 种 算 法 往 往 会 陷 入 局 部 最 小 而达 不 到 全 局 最 小 。q 导 致 网 络 陷 入 局 部 最 小 的 主 要 原 因 是 网 络 误 差 按 单 方 向 减 少 ，没 有 上 升 的 过 程 。 如 果 将 误 差 的 减 少 过 程 由 “ 总 是 按 梯 度 下降 的 方 向 变 化 ” 改 为 “ 大 部 分 情 况 下 按 梯 度 下 降 的 方 向 变化 ” ， 而 有 时 按 梯 度 上 升 的 方 向 变 化 ， 这 样 就 有 可 能 跳 出 局部 最 小 而 达 到 全 局 最 小 (下 图 给 出 了 梯 度 下 降 法 (a)和 SA方 法 (b)搜 索 途 径 )。 模 拟 退 火 算法 的 基 本 思想 44 模 拟 退 火 法 的 起 源q SA算 法 是 受 金 属 冷 却 过 程 的 启 发 ， 最 早 由 Metropolis于 1953年 提 出 来 的 。 它 具 有 灵 活 有 效 ， 能 对 问 题 进 行 全 局 优 化 。q 金 属 中 原 子 的 能 量 与 温 度 有 关 。 原 子 能 量 高 的 时 候 ， 有 能 力摆 脱 其 原 来 的 能 量 状 态 而 最 后 达 到 一 个 更 加 稳 定 的 状 态 全 局 极 小 能 量 状 态 。q 金 属 固 体 进 行 退 火 处 理 时 ， 通 常 先 将 它 加 热 熔 化 ， 然 后 逐 渐降 低 温 度 。 在 凝 固 点 附 近 ， 若 温 度 下 降 的 速 度 足 够 慢 ， 则 固体 物 质 会 形 成 能 量 最 低 的 稳 定 状 态 。 其 中 的 金 属 粒 子 都 经 历能 量 由 高 到 低 、 暂 时 由 低 到 高 、 最 终 趋 向 低 能 态 的 过 程 。 q 在 金 属 的 退 火 过 程 中 ， 能 量 的 状 态 分 布 ： kTEexpP(E) P(E)系 统 处 于 具 有 能 量 E的 状 态的 概 率 ；kBoltzmann常 数 ；T系 统 的 绝 对 温 度 (Kelvin) 45 模 拟 退 火 优 化 法q SA算 法 将 优 化 问 题 与 统 计 物 理 学 中 的 热 平 衡 问 题 进 行 类比 ， 即 将 统 计 物 理 学 处 理 金 属 固 体 冷 却 的 热 平 衡 方 法 用 于优 化 问 题 。 q 目 标 函 数 能 量 函 数q 优 化 参 数 的 状 态 空 间 物 质 的 微 观 状 态 q 人 工 温 度 T一 个 初 值 较 大 的 控 制 参 数q 依 据 网 络 的 能 量 来 决 定 控 制 参 数 的 调 整 量 （ 称 为 步 长 ） 。当 T较 大 时 ， 目 标 函 数 值 由 低 向 高 变 化 的 可 能 性 较 大 ； 而 T减 小 ， 这 种 可 能 性 也 随 之 减 小 。q 与 金 属 的 退 火 过 程 （ Annealing） 非 常 相 似 。 当 控 制 参 数 T下 降 到 一 定 程 度 时 ， 目 标 函 数 将 收 敛 于 最 小 值 。 模 拟 退 火 优 化 算 法 的 基 本 思 想 46 模 拟 退 火 优 化 法q 计 算 机 模 拟 某 一 温 度 T下 物 质 体 系 热 平 衡 状 态 的 方 法 ：Step 1： 随 机 选 择 一 个 初 始 微 观 状 态 i作 为 当 前 状 态 ， 其 相应 的 能 量 为 Ei。Step 2：从 状 态 i作 随 机 扰 动 ， 产 生 一 新 的 状 态 j， 其 相 应 的能 量 为 Ej， 计 算 能 量 增 量 E=Ei Ej。Step 3：如 果E0， 则 接 受 状 态 j作 为 当 前 状 态 ， 即 j i；若E0 ， 计 算 基 于 Boltzmann分 布 函 数 的 比 值 ：)/exp(/ kTEBBr ij 其 中 :Boltzmann分 布 函 数 kTEi ieTZB /)(1 i kTEieTZ /)(k为 Boltzmann常 数 10 r取 (0,1)之 间 的 一 个 随 机 数 p， 若 r p， 则 接 受 状 态 j作 为 当前 状 态 ， 即 ji ； 否 则 ， 保 持 原 来 的 状 态 i。 47 模 拟 退 火 优 化 法q从 Boltzmann分 布 函 数 的 比 值 (即 8.3.15式 )可 看 出 ，温 度 高 时 大 ， 相 应 kT也 较 大 ， 接 受 与 当 前 状 态 能差 较 大 的 新 状 态 的 概 率 大 ； 降 低 温 度 ， r较 小 ， 只能 接 受 能 差 较 小 的 新 状 态 。 因 此 不 断 降 低 温 度 ，体 系 最 终 能 达 到 能 量 最 低 热 平 衡 状 态 。 Step 4： 重 复 第 二 、 三 步 ， 在 大 量 的 能 量 状 态 变 化 后 ， 系统 处 于 能 量 较 低 的 平 衡 态 。 降 低 温 度 T再 重 复 上 述 过 程 ， 体系 又 处 在 能 量 更 低 的 平 衡 态 。 48 SA基 本 算 法 的 步 骤 与 框 图q 首 先 进 行 初 始 化 ， 任 意 给 定 初 始态 X0 ， 取 参 数 初 值 T0 ， 计 算 优 化目 标 函 数 E0 ， 然 后 按 下 进 行 ： （ 1） 随 机 产 生 扰 动 态 Xi， 计 算 E=Ei E0 ; （ 2） 若 E 0 ， 转 到 (4)。 否 则在 (0,1)之 间 的 一 个 随 机 数 p; （ 3） 若 exp( E/T) p ， 转 (5) ; （ 4） 用 X i代 替 X0 ， E0 + E代 替E0 ； （ 5） 以 某 种 方 式 取 Ti T0， 如 Ti =T0； （ 6） SA计 算 过 程 是 否 结 束 ， 是就 停 止 ， 否 则 就 转 到 (1)。 49 SA算 法 的 控 制SA算 法 能 否 达 到 目 标 函 数 的 最 小 值 ， 主 要 取 决 于 控 制 参 数 的初 值 是 否 足 够 高 和 其 下 降 得 是 否 慢 ， 因 此 注 意 有 关 控 制 参 数的 选 取 问 题 。 对 于 参 数 初 值 T0 ， 常 用 的 处 理 方 法 之 一 是 在 均匀 地 随 机 抽 样 X0后 ， 取 的 E0方 差 作 为 T0 。 对 于 降 温 策 略 Ti =T0 ， 0 1， 常 取 0.85,0.96。qSA算 法 的 使 用 可 以 参 考 教 材 P257（ FORTRAN程 序 ）q 用 SA拟 合 丙 烷 丝 光 沸 石 体 系 在 303 K时 的 吸 附 平 衡 数 据和 模 型 。 50 三 、 遗 传 算 法 (Genetic Algorithm) q 遗 传 算 法 是 一 种 模 拟 自 然 选 择 和 遗 传 的 随 机 搜 索 算 法 。 它 最初 由 Holland在 1975年 提 出 的 ， 研 究 自 然 系 统 的 适 应 过 程 和 设计 具 有 自 适 应 性 能 的 软 件 。q 遗 传 算 法 的 基 本 形 式 是 用 染 色 体 来 表 示 参 数 空 间 的 编 码 ， 用适 应 度 函 数 来 评 价 染 色 体 群 体 的 优 劣 ， 通 过 遗 传 操 作 产 生 新的 染 色 体 ， 并 用 概 率 来 控 制 遗 传 操 作 。q 遗 传 算 法 是 一 种 非 线 性 方 法 ， 它 具 有 简 洁 、 灵 活 、 高 效 和 全局 优 化 的 特 性 ， 在 过 程 控 制 、 系 统 诊 断 、 非 线 性 拟 合 与 优 化 、人 工 智 能 等 工 程 和 研 究 领 域 都 得 到 了 广 泛 的 应 用 。 51 遗 传 算 法 基 础q 遗 传 算 法 是 一 种 迭 代 算 法 ， 它 在 每 一 次 迭 代 时 都 拥 有 一 组 解(父 代 染 色 体 群 体 )， 这 组 解 答 最 初 是 随 机 生 成 的 。q 在 每 次 迭 代 时 ， 首 先 保 持 解 ， 然 后 染 色 体 群 体 经 过 遗 传 操 作(选 择 、 杂 交 、 变 异 等 )， 生 成 新 的 组 解 (子 代 染 色 体 群 体 )。 每个 解 都 由 一 个 目 标 函 数 来 评 价 ， 而 且 这 一 过 程 不 断 重 复 ， 直至 达 到 某 种 形 式 上 的 收 敛 。 新 的 一 组 解 不 但 可 以 有 选 择 地 保留 一 些 先 前 迭 代 中 目 标 函 数 值 高 的 解 ， 而 且 可 以 包 括 一 些 经由 其 它 解 结 合 而 得 的 新 的 解 ， 其 子 代 的 数 值 可 以 与 其 父 代 的情 况 有 相 当 大 的 差 别 。 52 符 号 串 表 示 和 遗 传 操 作 的 设 计q 遗 传 算 法 的 术 语 借 鉴 于 自 然 遗 传 学 , 遗 传 物 质 的 主 要 载 体 是 染色 体 。 在 遗 传 算 法 中 ， 染 色 体 (个 体 )由 一 串 数 据 或 数 组 构 成 ，用 来 作 为 问 题 解 的 代 码 。q 染 色 体 由 决 定 其 特 性 的 基 因 构 成 ， 而 基 因 又 可 以 有 称 为 等 位基 因 的 不 同 取 值 。q 目 标 函 数 称 为 适 应 度 函 数 ， 而 一 组 染 色 体 称 为 群 体 。q 遗 传 算 法 的 一 次 迭 代 称 为 一 代 。q 遗 传 算 法 成 功 的 关 键 在 于 符 号 串 表 示 和 遗 传 操 作 的 设 计 。 53 染 色 体 q 解 空 间 中 的 每 一 点 都 对 应 一 个 用 由 基 因 表 示 的 染 色 体 。 例 如 ： 要 确 定 适 应 度 函 数 f(x,y)的 最 大 值 ， 搜 寻 空 间 变 量 x和 y为 整 数 ， 其 变 化 范 围 是 0-15。 这 样 对 应 于 搜 寻 空 间 任 何 点 可由 两 基 因 的 染 色 体 来 表 示 ： 点 （ 2,6） 用 二 进 制 数 有 如 下 的 染 色 体 ： x y 2 60 0 1 0 0 1 1 0 54 交 叉q 在 两 父 代 的 染 色 体 的 随 机 长 度 位 置 上 ， 用 交 叉 概 率 进 行 后 部交 换 ， 产 生 两 子 代 ， 如 下 所 示 ： 上 面 的 交 叉 操 作 称 为 单 点 交 叉 。 一 般 地 可 以 进 行 多 点 交 叉 ，如 下 所 示 ： 55 变 异q 与 交 叉 不 同 ， 变 异 涉 及 到 一 染 色 体 个 体 的 一 个 或 多 个 基 因 位的 翻 转 ， 产 生 新 的 基 因 组 合 ， 以 通 过 交 叉 来 获 得 子 代 染 色 体 。下 面 的 任 一 方 法 都 可 以 用 来 进 行 变 异 操 作 ： 随 机 选 择 的 基 因 位 数 值 可 以 被 随 机 产 生 的 数 值 替 代 ， 这 种 替 代 对 二 进制 和 非 二 进 制 染 色 体 都 适 用 ； 在 二 进 制 染 色 体 中 ， 可 以 对 随 机 选 择 的 基 因 位 进 行 触 发 ， 即 10或01。 q 可 以 以 概 率 Pm随 机 选 择 个 体 进 行 变 异 操 作 。 q 变 异 操 作 的 主 要 优 点 是 使 染 色 体 群 体 中 出 现 各 种 基 因 ， 这 样遗 传 算 法 有 在 参 数 解 空 间 找 出 各 种 可 能 的 解 ， 避 免 解 的 丢 失 。 56 有 效 性 检 验q 对 于 不 同 的 优 化 问 题 ， 有 时 需 要 增 加 检 验 ， 确 保 新 子 代 的 染色 体 表 示 的 是 参 数 解 空 间 中 的 有 效 点 。 如 考 虑 由 四 个 基 因 组成 的 染 色 体 ， 每 个 基 因 有 三 个 可 能 的 二 进 制 值 A=01， B=10，C=11。 二 进 制 染 色 体 表 示 组 合 BACA是 ： 1 0 0 1 1 1 0 11 0 0 1 1 1 0 0如 对 最 后 的 基 因 位 进 行 变 异 操 作 ， 产 生 了 如 下 所 示 的 无 效染 色 体 ， 因 基 因 值 00没 有 定 义 。 q 同 样 ， 交 叉 也 可 能 产 生 有 缺 陷 的 染 色 体 操 作 。 克 服 这 些 问 题的 方 法 是 采 用 结 构 操 作 ， 交 叉 或 变 异 操 作 针 对 基 因 ， 而 不 是针 对 基 因 位 。 这 样 ， 交 叉 操 作 点 总 能 与 基 因 边 界 相 一 致 ， 变异 操 作 对 整 个 基 因 组 随 机 选 择 新 值 ， 确 保 产 生 有 效 染 色 体 。如 此 做 的 缺 点 是 染 色 体 群 体 的 差 异 性 会 受 到 影 响 。 57 基 本 的 遗 传 算 法 框 图q 初 始 染 色 体 群 体 随 机 产 生 ；q 用 适 应 度 函 数 来 评 价 染 色体 个 体 ；q 根 据 适 应 度 产 生 繁 殖 的 染色 体 个 体 ， 适 应 度 好 的 染色 体 个 体 其 被 选 择 来 繁 殖的 可 能 性 大 ；q 通 过 染 色 体 对 的 交 叉 和 变异 操 作 ， 产 生 各 自 的 子 代繁 殖 染 色 体 。 58 基 本 的 遗 传 算 法q