《神经网络基础知识》PPT课件.ppt

第 二 节 神 经 网 络 基 础 知 识p生 物 神 经 元p人 工 神 经 元 模 型p人 工 神 经 网 络 模 型 神 经 生 理 学 和 神 经 解 剖 学 的 研 究 结 果表 明 ， 神 经 元 (Neuron)是 脑 组 织 的 基 本 单元 ， 是 人 脑 信 息 处 理 系 统 的 最 小 单 元 。p生 物 神 经 元p生 物 神 经 网 络2.1人 工 神 经 网 络 的 生 物 学 基 础 2.1.1生 物 神 经 元 生 物 神 经 元 在 结 构 上 由 : 细 胞 体 (Cell body)、 树 突 (Dendrite)、轴 突 (Axon)、突 触 (Synapse) 四 部 分 组 成 。 用 来 完 成神 经 元 间 信 息 的 接 收 、传 递 和 处 理 。人工神经网络的生物学基础 人工神经网络的生物学基础 2.1.2 生 物 神 经 元 的 信 息 处 理 机 理二信息的传递与接收人工神经网络的生物学基础 2.1.3 生 物 神 经 网 络 由 多 个 生 物 神 经 元 以 确 定 方 式 和 拓 扑 结 构 相 互 连 接 即 形 成 生 物 神 经 网 络 。 生 物 神 经 网 络 的 功 能 不 是 单 个 神 经 元 信 息 处 理 功 能 的 简 单 叠 加 。 神 经 元 之 间 的 突 触 连 接 方 式 和 连 接 强 度 不 同 并 且 具 有 可 塑 性 ， 这 使 神 经 网 络 在 宏 观 呈 现 出 千 变 万 化 的 复 杂 的 信 息 处 理 能 力 。人工神经网络的生物学基础 2.2人 工 神 经 元 模 型 2.2.1神 经 元 的 建 模神经元的人工模型 假 设 1： 多 输 入 单 输 出p图 (a) 表 明 ， 正 如 生 物 神 经 元 有 许 多 激 励 输 入 一祥 ， 人 工 神 经 元 也 应 该 有 许 多 的 输 入 信 号 ， 图 中每 个 输 入 的 大 小 用 确 定 数 值 x i表 示 ， 它 们 同 时 输入 神 经 元 j， 神 经 元 的 单 输 出 用 oj表 示 。神经元的人工模型 假 设 2： 输 入 类 型 ： 兴 奋 性 和 抑 制 性p生 物 神 经 元 具 有 不 同 的 突 触 性 质 和 突 触 强 度 ， 其 对 输入 的 影 响 是 使 有 些 输 入 在 神 经 元 产 生 脉 冲 输 出 过 程 中所 起 的 作 用 比 另 外 一 些 输 入 更 为 重 要 。 图 (b)中 对 神 经元 的 每 一 个 输 入 都 有 一 个 加 权 系 数 w ij， 称 为 权 重 值 ，其 正 负 模 拟 了 生 物 神 经 元 中 突 触 的 兴 奋 和 抑 制 ， 其 大小 则 代 表 了 突 触 的 不 同 连 接 强 度 。神经元的人工模型 假 设 3： 空 间 整 合 特 性 和 阈 值 特 性p作 为 ANN的 基 本 处 理 单 元 ， 必 须 对 全 部 输 入 信 号 进 行 整合 ， 以 确 定 各 类 输 入 的 作 用 总 效 果 ， 图 (c)表 示 组 合 输人 信 号 的 “ 总 和 值 ” ， 相 应 于 生 物 神 经 元 的 膜 电 位 。神 经 元 激 活 与 否 取 决 于 某 一 阈 值 电 平 ， 即 只 有 当 其 输入 总 和 超 过 阈 值 时 , 神 经 元 才 被 激 活 而 发 放 脉 冲 , 否则 神 经 元 不 会 产 生 输 出 信 号 。神经元的人工模型 神 经 元 的 输 出p图 (d) 人 工 神 经 元 的 输 出 也 同 生 物 神 经 元 一 样 仅 有 一个 ， 如 用 o j表 示 神 经 元 输 出 ， 则 输 出 与 输 入 之 间 的 对应 关 系 可 用 图 (d)中 的 某 种 非 线 性 函 数 来 表 示 ， 这 种 函数 一 般 都 是 非 线 性 的 。神经元的人工模型 神 经 元 模 型 示 意 图神经元的人工模型 2.2.2神 经 元 的 数 学 模 型ij 输 入 输 出 间 的 突 触 时 延 ； Tj 神 经 元 j的 阈 值 ； wij 神 经 元 i到 j 的 突 触 连 接 系 数 或 称 权 重 值 ； f ()神 经 元 转 移 函 数 。 )()( jn1i iijj Ttxwf1to (2. 2) 神经元的人工模型 (2. 1) n1i iijj txwttne )()( (2.3) net j=WjTX Wj=(w1 w2 wn)T X=(x1 x2 xn)T 令 x0=-1， w0=Tj 则 有 -Tj=x0w0 (2.4)2.2.2神 经 元 的 数 学 模 型神经元的人工模型 XW Tjn0i iijjjj xwnetTtne (2.5) oj=f(netj)=f (WjTX) (2.6)2.2.2神 经 元 的 数 学 模 型神经元的人工模型 2.2.3神 经 元 的 转 移 函 数 神 经 元 各 种 不 同 数 学 模 型 的 主 要 区别 在 于 采 用 了 不 同 的 转 移 函 数 ， 从 而 使神 经 元 具 有 不 同 的 信 息 处 理 特 性 。 最 常用 的 转 移 函 数 有 4种 形 式 。神经元的人工模型 (1)阈 值 型 转 移 函 数 1 x 0f(x)= (2.7) 0 x 0 f (x) 1 .0 x0 2.2.3神 经 元 的 转 移 函 数神经元的人工模型 (2)非 线 性 转 移 函 数xe1 1f(x) xxx e1 e11e1 2f(x) f (x) 1.0 0.5 x0 f (x) 1.0 0 x -1.0 2.2.3神 经 元 的 转 移 函 数神经元的人工模型 Log-sigmoid对 数 正 切 S型 传 递 函 数 tan sigmoid双 正 切 S型 传 递 函 数 2.3人 工 神 经 网 络 模 型p分 类 ：按 网 络 连 接 的 拓 扑 结 构 分 类层 次 型 结 构互 连 型 网 络 结 构按 网 络 内 部 的 信 息 流 向 分 类前 馈 型 网 络 反 馈 型 网 络人工神经网络模型 2.3.1网 络 拓 扑 结 构 类 型 ：p层 次 型 结 构 ： 将 神 经 元 按 功 能 分 成 若 干 层 ，如 输 入 层 、 中 间 层 （ 隐 层 ） 和 输 出 层 ， 各层 顺 序 相 连 。p互 连 型 网 络 结 构 ： 网 络 中 任 意 两 个 节 点 之间 都 可 能 存 在 连 接 路 径 .人工神经网络模型 2.3.1网 络 拓 扑 结 构 类 型 1. 单纯型层次型结构 2.3人 工 神 经 网 络 模 型人工神经网络模型 层 次 型 结 构 ： 2.输出层到输入层有连接 人工神经网络模型 2.3.1网 络 拓 扑 结 构 类 型 3.层内有连接层次型结构 2.3.1网 络 拓 扑 结 构 类 型 人工神经网络模型 1.全 互 连 型 结 构 2.3.1网 络 拓 扑 结 构 类 型 人工神经网络模型 互 连 型 网 络 结 构 ： 2.局部互连型网络结构 2.3.1网 络 拓 扑 结 构 类 型 人工神经网络模型 前馈型网络 2.3.2网 络 信 息 流 向 类 型人工神经网络模型 神 经 网 络 能 够 通 过 对 样 本 的 学 习训 练 ， 不 断 改 变 网 络 的 连 接 权 值 以 及拓 扑 结 构 ， 以 使 网 络 的 输 出 不 断 地 接近 期 望 的 输 出 。 这 一 过 程 称 为 神 经 网络 的 学 习 或 训 练 ， 其 本 质 是 可 变 权 值的 动 态 调 整 。2.4神 经 网 络 学 习神经网络学习 神 经 网 络 的 学 习 类 型 ：有 导 师 学 习 (有 监 督 学 习 )无 导 师 学 习 (无 监 督 学 习 )死 记 式 学 习2.4神 经 网 络 学 习神经网络学习 p有 关 学 习 的 研 究 在 神 经 网 络 研 究 中 具 有 重 要 地 位 。p改 变 权 值 的 规 则 称 为 学 习 规 则 或 学 习 算 法 （ 亦 称 训 练 规 则 或 训 练算 法 ） 。 2.4神 经 网 络 学 习有 导 师 学 习 (有 监 督 学 习 )p有 导 师 学 习 也 称 为 有 监 督 学 习 ， 这 种 学 习 模 式 采 用 的是 纠 错 规 则 。 在 学 习 训 练 过 程 中 需 要 不 断 给 网 络 成 对 提供 一 个 输 入 模 式 和 一 个 期 望 网 络 正 确 输 出 的 模 式 ， 称 为“ 教 师 信 号 ” 。 将 神 经 网 络 的 实 际 输 出 同 期 望 输 出 进 行比 较 ， 当 网 络 的 输 出 与 期 望 的 教 师 信 号 不 符 时 ， 根 据 差错 的 方 向 和 大 小 按 一 定 的 规 则 调 整 权 值 。 当 网 络 对 于 各种 给 定 的 输 入 均 能 产 生 所 期 望 的 输 出 时 ， 即 认 为 网 络 已经 在 导 师 的 训 练 下 “ 学 会 ” 了 训 练 数 据 集 中 包 含 的 知 识 和 规 则 ， 可 以 用 来 进 行 工 作 了 。 2.4神 经 网 络 学 习无 导 师 学 习 (无 监 督 学 习 ) 无 导 师 学 习 也 称 为 无 监 督 学 习 ， 学 习 过 程 中 ， 需 要 不断 给 网 络 提 供 动 态 输 入 信 息 ， 网 络 能 根 据 特 有 的 内 部 结构 和 学 习 规 则 ， 在 输 入 信 息 流 中 发 现 任 何 可 能 存 在 的 模式 和 规 律 ， 同 时 能 根 据 网 络 的 功 能 和 输 入 信 息 调 整 权 值 ，这 个 过 程 称 为 网 络 的 自 组 织 ， 其 结 果 是 使 网 络 能 对 属 于同 一 类 的 模 式 进 行 自 动 分 类 。 在 这 种 学 习 模 式 中 ， 网 络的 权 值 调 整 不 取 决 于 外 来 教 师 信 号 的 影 响 ， 可 以 认 为 网络 的 学 习 评 价 标 准 隐 含 于 网 络 的 内 部 。 学 习 的 过 程 （ 权 值 调 整 的 一 般 情 况 ） w0j -1 w 1j x1 X wij j oj x j xn wnj Wj r (Wj , X ， dj) 学 习 信 号 X 生 成 器 dj )()()()( ttd,t,tr jjj XXWW )()()()()()( ttd,t,trt1t jjjj XXWWW 神经网络学习 2.4神 经 网 络 学 习 表 2.1常 用 学 习 规 则 一 览 表权 值 调 整 学 习 规 则 向 量 式 元 素 式 权 值初 始 化 学 习 方 式 转 移 函 数 Hebbian XXWW )( Tjj f i)( xfw Tjij XW 0 无 导 师 任 意Perceptron XXWW )( Tjjj sgn-d i)( xsgn-dw Tjjij XW 任 意 有 导 师 二 进 制 Delta XW )()( jjjj netf-od ijjjij xnetf-odw )()( 任 意 有 导 师 连 续Widrow-Hoff XXWW )( Tjjj -d iTjjij x-dw )( XW 任 意 有 导 师 任 意 相 关 XW jj d ijij xdw 0 有 导 师 任 意Winner-take- all )( mm WXW )( i imm wx W 随 机 、 归一 化 无 导 师 连 续Outstar )( jj WdW )( kjkkj wdw 0 有 导 师 连 续 第 二 节 小 结 重 点 介 绍 了 生 物 神 经 元 的 结 构 及 其 信 息 处 理 机 制 、人 工 神 经 元 数 理 模 型 、 常 见 的 网 络 拓 扑 结 构 以 及 和 学习 规 则 。 其 中 ， 神 经 元 的 数 学 模 型 、 神 经 网 络 的 连 接方 式 以 及 神 经 网 络 的 学 习 方 式 是 决 定 神 经 网 络 信 息 处理 性 能 的 三 大 要 素 。p(1)生 物 神 经 元 的 信 息 处 理p(2)人 工 神 经 元 模 型p(3)人 工 神 经 网 络 模 型p(4)神 经 网 络 学 习