Madaline的学习算法.ppt

Madaline网络的学习算法 主要内容 Adaline神经元和Madaline网络的基本结构和工作原理M II学习算法用Adaline的敏感性为工具改进Madaline的学习算法 Adaline的结构 Madaline的网络结构 MRII算法的基本思想 给网络提供输入模式向量以及相应的理想输出 训练的目标是尽可能地找出所有隐层中每个Adaline的理想输出 把对网络的训练转化为对每个Adaline的训练 MRII算法 当一个样本提供给神经网络时 网络得到一个输出 比较该输出与理想输出 如果相同 说明训练成功 进入下一个样本学习 如果不同 在第一层上找出模拟量绝对值 置信度 最小的那个神经元 翻转它的输出 并逐层计算 得到网络的输出 MRII算法 续 检查输出的出错个数 hamming距离 如果没有减少 则恢复原来的数据 然后选择置信度次小的神经元来尝试翻转 如果减小了 这个尝试就被接受 在这种情况下 我们假设翻转后的神经元输出就是该神经元的理想输出 更新它的权值 调权公式 MRII算法 续 如果这个神经元的翻转只是减少了出错个数并不能得到全部的理想输出 则重新对置信度排序 然后对它重复上面的过程 如果单个这样的尝试完毕后仍未得到全部理想输出 再将第一层的神经元按两个一组尝试翻转 重复以上过程 依次三个一组 四个一组 直到K个一组 K为第一层的神经元个数 所有这些进行完毕之后 如误差仍不满足要求 就在第二层上重复第一层的过程一直到输出层 为什么选置信度最小的 最小干扰原则 在当前样本得到正确结果的基础上 尽量减小整个网络中权值的改变 减少样本间学习的互相干扰 提高网络学习效率 选取加权和绝对值接近0的Adaline可以有效地减少权值的改变量 算法实现中要注意的细节 当网络层数少于20层时 尝试很少需要进行到三个以上为一组 三个以上一组的翻转尝试时间开销大 成功率却非常低 从最小干扰原则考虑 某层的某个神经元的信任度过高 就意味着要求有大的权值改变量才能使其翻转 这样最好是放弃对这些神经元的调整而宁可让尝试到下一层中进行 方法一 设置最大信任度值作为门限方法二 确定每层允许尝试翻转的神经元个数的百分比 敏感性 问题 硬件精度对权的影响 环境噪音对输入的影响 敏感性要反映的是因参数的扰动而引起的输出偏差 Adaline的敏感性 因输入扰动和权扰动而导致输出产生的偏差 不能仅根据对一个输入值算得的结果来衡量Adaline的有关性能 由于输出是个二值的开关量 没有必要细究其偏差的具体量值 Adaline的敏感性定义 输入扰动可以转换成权扰动来考虑 对于一个n维Adaline而言 它共有不同的输入向量 研究意义 指导网络设计 增强网络抗干扰能力度量网络性能 如容错和泛化能力研究其它网络课题的基础 如网络结构的裁剪和参数的挑选等 应用 考虑把Adaline的敏感性作为工具改进Madaline的学习算法 例如 把Adaline的敏感性作为选择翻转尝试的神经元的依据 把Adaline的敏感性作为裁减 adaline网络结构的依据 结束 谢谢