典型神经网络ppt课件

第7章典型神经网络 7 1单神经元网络 1 2神经元模型图7 1中为神经元的内部状态 为阈值 为输入信号 为表示从单元到单元的连接权系数 为外部输入信号 单神经元模型可描述为 2 通常情况下 取即 3 图7 1单神经元模型 4 常用的神经元非线性特性有以下四种 1 阈值型图7 2阈值型函数 5 2 分段线性型 图7 3分段线性函数 6 3 Sigmoid函数型 图7 4Sigmoid函数 7 7 2BP神经网络1986年 Rumelhart等提出了误差反向传播神经网络 简称BP网络 BackPropagation 该网络是一种单向传播的多层前向网络 误差反向传播的BP算法简称BP算法 其基本思想是梯度下降法 它采用梯度搜索技术 以期使网络的实际输出值与期望输出值的误差均方值为最小 8 7 2 1BP网络特点 1 是一种多层网络 包括输入层 隐含层和输出层 2 层与层之间采用全互连方式 同一层神经元之间不连接 3 权值通过 学习算法进行调节 4 神经元激发函数为S函数 5 学习算法由正向传播和反向传播组成 6 层与层的连接是单向的 信息的传播是双向的 9 7 2 2BP网络结构 含一个隐含层的BP网络结构如图7 5所示 图中为输入层神经元 为隐层神经元 为输出层神经元 10 图7 5BP神经网络结构 11 7 2 3BP网络的逼近 BP网络逼近的结构如图7 6所示 图中k为网络的迭代步骤 u k 和y k 为逼近器的输入 BP为网络逼近器 y k 为被控对象实际输出 yn k 为BP的输出 将系统输出y k 及输入u k 的值作为逼近器BP的输入 将系统输出与网络输出的误差作为逼近器的调整信号 12 图7 6BP神经网络逼近 13 用于逼近的BP网络如图7 7所示 图7 7用于逼近的BP网络 14 BP算法的学习过程由正向传播和反向传播组成 在正向传播过程中 输入信息从输入层经隐层逐层处理 并传向输出层 每层神经元 节点 的状态只影响下一层神经元的状态 如果在输出层不能得到期望的输出 则转至反向传播 将误差信号 理想输出与实际输出之差 按联接通路反向计算 由梯度下降法调整各层神经元的权值 使误差信号减小 15 1 前向传播 计算网络的输出 隐层神经元的输入为所有输入的加权之和 隐层神经元的输出采用S函数激发 则 16 1 前向传播 计算网络的输出 隐层神经元的输入为所有输入的加权之和 隐层神经元的输出采用S函数激发 则 17 输出层神经元的输出 网络输出与理想输出误差为 误差性能指标函数为 18 2 反向传播 采用 学习算法 调整各层间的权值 根据梯度下降法 权值的学习算法如下 输出层及隐层的连接权值学习算法为 k 1时刻网络的权值为 19 隐层及输入层连接权值学习算法为 其中k 1时刻网络的权值为 20 如果考虑上次权值对本次权值变化的影响 需要加入动量因子 此时的权值为 其中 为学习速率 为动量因子 21 阵 即为对象的输出对控制输入的灵敏度信息 算法为 其中取 22 7 2 4BP网络的优缺点BP网络的优点为 1 只要有足够多的隐层和隐层节点 BP网络可以逼近任意的非线性映射关系 2 BP网络的学习算法属于全局逼近算法 具有较强的泛化能力 3 BP网络输入输出之间的关联信息分布地存储在网络的连接权中 个别神经元的损坏只对输入输出关系有较小的影响 因而BP网络具有较好的容错性 23 BP网络的主要缺点为 1 待寻优的参数多 收敛速度慢 2 目标函数存在多个极值点 按梯度下降法进行学习 很容易陷入局部极小值 3 难以确定隐层及隐层节点的数目 目前 如何根据特定的问题来确定具体的网络结构尚无很好的方法 仍需根据经验来试凑 24 由于BP网络具有很好的逼近非线性映射的能力 该网络在模式识别 图像处理 系统辨识 函数拟合 优化计算 最优预测和自适应控制等领域有着较为广泛的应用 由于BP网络具有很好的逼近特性和泛化能力 可用于神经网络控制器的设计 但由于BP网络收敛速度慢 难以适应实时控制的要求 25 7 2 5BP网络逼近仿真实例 使用BP网络逼近对象 BP网络逼近程序见chap7 1 m 26 7 2 6BP网络模式识别 由于神经网络具有自学习 自组织和并行处理等特征 并具有很强的容错能力和联想能力 因此 神经网络具有模式识别的能力 27 在神经网络模式识别中 根据标准的输入输出模式对 采用神经网络学习算法 以标准的模式作为学习样本进行训练 通过学习调整神经网络的连接权值 当训练满足要求后 得到的神经网络权值构成了模式识别的知识库 利用神经网络并行推理算法对所需要的输入模式进行识别 28 当待识别的输入模式与训练样本中的某个输入模式相同时 神经网络识别的结果就是与训练样本中相对应的输出模式 当待识别的输入模式与训练样本中所有输入模式都不完全相同时 则可得到与其相近样本相对应的输出模式 当待识别的输入模式与训练样本中所有输入模式相差较远时 就不能得到正确的识别结果 此时可将这一模式作为新的样本进行训练 使神经网络获取新的知识 并存储到网络的权值矩阵中 从而增强网络的识别能力 29 BP网络的训练过程如下 正向传播是输入信号从输入层经隐层传向输出层 若输出层得到了期望的输出 则学习算法结束 否则 转至反向传播以第p个样本为例 用于训练的BP网络结构如图7 11所示 30 图7 11BP神经网络结构 31 网络的学习算法如下 1 前向传播 计算网络的输出 隐层神经元的输入为所有输入的加权之和 隐层神经元的输出采用S函数激发 32 则 输出层神经元的输出 33 网络第个输出与相应理想输出的误差为 第p个样本的误差性能指标函数为 其中N为网络输出层的个数 34 2 反向传播 采用梯度下降法 调整各层间的权值 权值的学习算法如下 输出层及隐层的连接权值学习算法为 35 其中 隐层及输入层连接权值学习算法为 36 如果考虑上次权值对本次权值变化的影响 需要加入动量因子 此时的权值为 其中为学习速率 为动量因子 37 7 2 7仿真实例 取标准样本为3输入2输出样本 如表7 1所示 表7 1训练样本 38 BP网络模式识别程序包括网络训练程序chap7 2a m和网络测试程序chap7 2b m 39 7 3RBF神经网络径向基函数 RBF RadialBasisFunction 神经网络是由J Moody和C Darken在80年代末提出的一种神经网络 它是具有单隐层的三层前馈网络 由于它模拟了人脑中局部调整 相互覆盖接收域 或称感受野 ReceptiveField 的神经网络结构 因此 RBF网络是一种局部逼近网络 已证明它能任意精度逼近任意连续函数 40 RBF网络特点 1 RBF网络的作用函数为高斯函数 是局部的 BP网络的作用函数为S函数 是全局的 2 如何确定RBF网络隐层节点的中心及基宽度参数是一个困难的问题 3 已证明RBF网络具有唯一最佳逼近的特性 且无局部极小 41 7 3 1RBF网络结构RBF网络是一种三层前向网络 由于输入到输出的映射是非线性的 而隐含层空间到输出空间的映射是线性的 从而可以大大加快学习速度并避免局部极小问题 42 图7 13RBF网络结构 43 7 3 2RBF网络的逼近 采用RBF网络逼近一对象的结构如图7 14所示 44 图7 14RBF神经网络逼近 45 在RBF网络结构中 为网络的输入向量 设RBF网络的径向基向量 其中hj为高斯基函数 网络的第j个结点的中心矢量为 其中 i 1 2 n 46 设网络的基宽向量为 为节点的基宽度参数 且为大于零的数 网络的权向量为 k时刻网络的输出为 设理想输出为y k 则性能指标函数为 47 根据梯度下降法 输出权 节点中心及节点基宽参数的迭代算法如下 48 阵 即为对象的输出对控制输入的灵敏度信息 算法为 其中取 其中 为学习速率 为动量因子 49 使用RBF网络逼近下列对象 RBF网络逼近程序见chap7 3 m 7 3 3RBF网络逼近仿真实例 50 7 4回归神经网络对角回归型神经网络 DRNN DiagonalRecurrentNeuralNetwork 是具有反馈的动态神经网络 该网络能够更直接更生动地反映系统的动态特性 它在BP网络基本结构的基础上 通过存储内部状态使其具备映射动态特征的功能 从而使系统具有适应时变特性的能力 DRNN网络代表了神经网络建模和控制的方向 51 7 4 1DRNN网络结构DRNN网络是一种三层前向网络 其隐含层为回归层 正向传播是输入信号从输入层经隐层传向输出层 若输出层得到了期望的输出 则学习算法结束 否则 转至反向传播 反向传播就是将误差信号 理想输出与实际输出之差 按联接通路反向计算 由梯度下降法调整各层神经元的权值和阈值 使误差信号减小 DRNN网络结构如图7 18所示 52 图7 18DRNN神经网络结构 53 在该网络中 设为网络输入向量 为输入层第i个神经元的输入 网络回归层第j个神经元的输出为 为第个回归神经元输入总和 为S函数 为DRNN网络的输出 和为网络回归层和输出层的权值向量 为网络输入层的权值向量 54 7 4 2DRNN网络的逼近 DRNN网络逼近的结构如图7 19所示 图中k为网络的迭代步骤 u k 和y k 为辨识器的输入 DRNN为网络辨识器 y k 为被控对象实际输出 ym k 为DRNN的输出 将系统输出y k 及输入u k 的值作为辨识器DRNN的输入 将系统输出与网络输出的误差作为辨识器的调整信号 55 图7 19DRNN神经网络逼近 56 网络输出层的输出为网络回归层的输出为网络回归层的输入为 57 逼近误差为 性能指标函数为 学习算法采用梯度下降法 58 59 其中回归层神经元取双函数为 其中 分别为输入层 回归层和输出层的学习速率 为惯性系数 60 7 4 3DRNN网络逼近仿真实例 使用DRNN网络逼近下列对象 DRNN网络逼近程序见chap7 4 m 61