神经网络设计

48,Click to edit Master text styles,Second level,Third level,神经元模型和网络结构,第二章,单输入神经元,传输函数：硬极限传输函数,传输函数：线性传输函数,传输函数：对数,S-,形传输函数,常用传输函数,常用传输函数,多输入神经元,简化记号,神经网络的层,简化记号,多层神经网络,简化记号,递归网络：延时模块,递归网络：积分器模块,递归网络,如何选择一种网络结构,网络的输入个数,=,应用问题的输入个数,输出层神经元的数目,=,应用问题的输出数目,输出层的传递函数选择至少部分依赖于应用问题的输出描述,一个说明性实例,第三章,苹果,/,橘子分类器,问题描述,特征向量,标准橘子向量,标准苹果向量,方案,1,：感知机实现,两输入单层感知机,判定边界：,苹果,/,橘子实例,判定边界：,网络测试,苹果：,苹果：,橘子：,椭圆的橘子：,方案,2,：,Hamming,网络,前馈层,Hamming(,汉明,),距离：,两个向量中不同元素的个数,递归层,Hamming,网络测试,椭圆的橘子：,前馈层：,前馈层：,递归层：,方案,3,：,Hopfield,网络,Hopfield,网络测试,椭圆的橘子：,扩展的问题,当输入较多而判定边界无法用图示方法表示的情况下，如何设计多输入感知机的权值和偏置值？,如果要识别的问题不是线性可分的，能否通过扩展标准感知机来解决这类问题？,当不知道标准模式时，,Hamming,网络如何学习权值和偏置值？,如何确定,Hopfield,网络的权值矩阵和偏置值向量？,如何知道,Hopfield,网络最终是否会收敛？,感知机学习规则,第四章,学习规则,监督学习,学习规则由一组描述网络行为的实例集合（输入、输出对；训练集）给出,增强学习,对网络的某些输入序列进行评分，来作为网络的性能测度,无监督学习,学习算法仅依赖于网络输入，通常是对输入进行聚类,感知机的结构,单神经元感知机,判定边界,判定边界上的点与权值向量的内积相等,判定边界上的点到权值向量上的投影相等，即它们应该位于正交于权值向量的直线上,权值向量总是指向神经元输出为,1,的区域,例：或运算,(OR),多神经元感知机,每个神经元都有自己的判定边界,单神经元能将输入向量分为两类,多神经元（,S,个）感知机能将输入向量分为,2,S,类,学习规则：测试问题,起始点,随机生成初始权重向量,输入第一个向量,p,1,错误的分类！,学习规则的尝试,将,1,w,置为,p,1,将,1,w,加上,p,1,尝试性规则：,第二个输入向量,(,错误的分类,),修正学习规则,:,第三个输入向量,模式被正确分类时,(,错误的分类,),统一的学习规则,偏置值可视为输入,1,的权重,令,多神经元感知机学习规则,更新第,i,行权值矩阵,:,矩阵形式,:,苹果,/,橘子分类器,训练集,初始权重,第一次迭代,第二次迭代,第三次迭代,感知机学习规则收敛性,感知机规则总能收敛到能够完成分类的权值和偏置值，如果这些值存在的话证明,P45,什么时候感知机能完成分类的权值和偏置值存在？即感知机能够求解哪些问题？,线性可分性输入向量能够被一个线性边界（超平面）分开的问题,感知机的局限性,线性判定边界,线性不可分问题,