神经网络讲义ppt课件

人工神经网络及其运用第2讲 神经网络根底知识 何建华电信系，华中科技大学2003年2月21日内容安排一、生物神经元二、人工神经网络构造三、神经网络根本学习算法一、生物神经元生物神经元突触信息处置信息传送功能与特点1.1 生物神经元神经元是大脑处置信息的根本单元人脑大约由1011个神经元组成，神经元相互衔接成神经网络神经元以细胞体为主体，由许多向周围延伸的不规那么树枝状纤维构成的神经细胞，其外形很像一棵枯树的枝干主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成 生物神经元表示图 1.2 突触的信息处置生物神经元传送信息的过程为多输入、单输出神经元各组成部分的功能来看，信息的处置与传送主要发生在突触附近当神经元细胞体经过轴突传到突触前膜的脉冲幅度到达一定强度，即超越其阈值电位后，突触前膜将向突触间隙释放神经传送的化学物质突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位1.3 信息传送功能与特点 具有时空整合才干不可逆性，脉冲只从突触前传到突触后，不逆向传送 神经纤维传导的速度，即脉冲沿神经纤维传送的速度，在1150ms之间 信息传送时延和不应期，普通为0.3lms可塑性，突触传送信息的强度是可变的，即具有学习功能 存在学习、遗忘或疲劳饱和效应对应突触传送作用加强、减弱和饱和二、人工神经网络构造人工神经网络人工神经元模型常见呼应函数人工神经网络典型构造2.1 人工神经网络 直观了解 神经网络是一个并行和分布式的信息处置网络构造它普通由大量神经元组成每个神经元只需一个输出，可以衔接到很多其他的神经元每个神经元输入有多个衔接通道，每个衔接通道对应于一个衔接权系数 通用模型求和操作呼应函数2.2 人工神经元模型 2.2 人工神经元模型 呼应函数的根本作用控制输入对输出的激活作用对输入、输出进展函数转换将能够无限域的输入变换成指定的有限范围内的输出 (a)阈值单元(b)线性单元(c)(d)非线性单元：Sigmoid函数 2.3 常见神经元呼应函数2.3 常见神经元呼应函数人工神经元的呼应函数 神经元的模型确定之后，一个神经网络的特性及才干主要取决于网络的拓扑构造及学习方法人工神经网络衔接的几种根本方式前向网络(a)从输出到输入有反响的前向网络(b)用来存储某种方式序列层内互连前向网络(c)限制层内同时动作的神经元；分组功能相互结合型网络(d)2.4 人工神经网络典型构造神经网络的典型构造 权值确定Hebb学习规那么误差校正纠错学习规那么相近无教师学习规那么三、神经网络根本学习算法人工神经网络衔接权确实定通常有两种方法根据详细要求，直接计算，如Hopfield网络作优化计算经过学习得到的。大多数人工神经网络都采用这种方法 学习方法是人工神经网络研讨中的中心问题3.1 权值确定Donall Hebb根据生理学中条件反射机理，于1949年提出的神经元衔接强度变化的规那么假设两个神经元同时兴奋(即同时被激活)，那么它们之间的突触衔接加强 a为学习速率，Vi,Vj为神经元i和j的输出Hebb学习规那么是人工神经网络学习的根本规那么，几乎一切神经网络的学习规那么都可以看作Hebb学习规那么的变形 3.2 Hebb学习规那么用知样本作为教师对网络进展学习学习规那么可由二次误差函数的梯度法导出误差校正学习规那么实践上是一种梯度方法不能保证得到全局最优解要求大量训练样本，收敛速度慢对样本地表示次序变化比较敏感3.3 误差校正规那么()ijiijv3.3 无教师学习规那么这类学习不在于寻觅一个特殊映射的表示，而是将事件空间分类为输入活动区域，并有选择地对这些区域呼应，从而调整参数一反映察看事件的分部输入可以市延续值，对噪声有较强地抗干扰才干对较少输入样本，结果能够要依赖于输入序列在ART、Kohonen等自组织竞争型网络中采用小结一、生物神经元二、人工神经网络构造三、神经网络根本学习算法下次课程将引见MP模型和BP模型