人工智能8--神经网络1

华东理工大学East China University of Science And Technology人工神经网络人工神经网络陈志华陈志华主要内容主要内容l人工神经网络概述人工神经网络概述l生物神经元生物神经元l人工神经元人工神经元1. 人工神经网络概述人工神经网络概述 l 什么是人工神经网络什么是人工神经网络？l T.Koholen的定义：的定义：“人工神经网络是由具有人工神经网络是由具有适应性的适应性的简单单元简单单元组成的广泛并行互连的网络，组成的广泛并行互连的网络，它的组织能够它的组织能够模拟生物神经系统对真实世界物模拟生物神经系统对真实世界物体所作出的交互反应体所作出的交互反应。” ANNANN研究的目的和意义研究的目的和意义(1)通过揭示通过揭示物理平面与认知平面之间的映射物理平面与认知平面之间的映射，了解它们相互联系和相互作用的机理，从了解它们相互联系和相互作用的机理，从而揭示思维的本质，探索智能本源。而揭示思维的本质，探索智能本源。(2)争取构造出尽可能与人脑具有相似功能的争取构造出尽可能与人脑具有相似功能的计算机，即计算机，即ANN计算机计算机。(3)研究研究仿照脑神经系统的人工神经网络仿照脑神经系统的人工神经网络，将，将在模式识别、组合优化和决策判断等方面，在模式识别、组合优化和决策判断等方面，取得传统计算机所难以达到的效果。取得传统计算机所难以达到的效果。 神经网络研究的发展神经网络研究的发展(1)第一次热潮第一次热潮(40-60年代未年代未) 1943年年,美国心理学家美国心理学家W.McCulloch和数学家和数学家W.Pitts在提出了一个简单的神经元模型，即在提出了一个简单的神经元模型，即MP模型。模型。 1958年，年，F.Rosenblatt等研制出了感知机等研制出了感知机(Perceptron）。）。(2)低潮低潮(70-80年代初年代初)(3)(3)第二次热潮第二次热潮 19821982年，美国物理学家年，美国物理学家J.J.HopfieldJ.J.Hopfield提出提出HopfieldHopfield模型，它是一个互联的非线性动力学模型，它是一个互联的非线性动力学网络。它解决问题的方法是一种反复运算的动网络。它解决问题的方法是一种反复运算的动态过程态过程, ,这是符号逻辑处理方法所不具备的性质这是符号逻辑处理方法所不具备的性质. . 1987 1987年首届国际年首届国际A ANNNN大会在圣地亚哥召开，大会在圣地亚哥召开，国际国际A ANNNN联合会成立，创办了多种联合会成立，创办了多种A ANNNN国际刊物。国际刊物。19901990年年1212月，北京召开首届学术会议。月，北京召开首届学术会议。神经网络的优点神经网络的优点l 一般而言一般而言, ANN, ANN与经典计算方法相比并非与经典计算方法相比并非优越优越, , 只有当常规方法解决不了或效果只有当常规方法解决不了或效果不佳时不佳时ANNANN方法才能显示出其优越性。方法才能显示出其优越性。对问题的机理不甚了解或不能用数学对问题的机理不甚了解或不能用数学模型表示的系统模型表示的系统, ,如故障诊断、特征提如故障诊断、特征提取和预测等问题取和预测等问题,ANN,ANN往往是最有利的往往是最有利的工具。工具。对处理大量原始数据而不能用规则或对处理大量原始数据而不能用规则或公式描述的问题公式描述的问题, , 表现出极大的灵活表现出极大的灵活性和自适应性性和自适应性。l 人工神经网络以其具有人工神经网络以其具有自学习、自组织、自学习、自组织、较好的容错性和优良的非线性逼近能力较好的容错性和优良的非线性逼近能力，受到众多领域学者的关注。受到众多领域学者的关注。l 在实际应用中，在实际应用中，80%90%的人工神经的人工神经网络模型是采用网络模型是采用BP网络网络，目前主要应用，目前主要应用于函数逼近、模式识别、分类和数据压于函数逼近、模式识别、分类和数据压缩或数据挖掘。缩或数据挖掘。人工神经网络人工神经网络研究的局限性研究的局限性（1）ANN研究受到脑科学研究成果的限制。研究受到脑科学研究成果的限制。 （2）ANN缺少一个完整、成熟的理论体系。缺少一个完整、成熟的理论体系。（3）ANN研究带有浓厚的策略和经验色彩。研究带有浓厚的策略和经验色彩。（4）ANN与传统技术的接口不成熟。与传统技术的接口不成熟。 2. 生物神经元生物神经元l 神经元是大脑处理信息的基本单元神经元是大脑处理信息的基本单元l 人脑大约由人脑大约由10101111个神经元组成，个神经元组成，神经元互神经元互相连接成相连接成神经网络神经网络l 神经元以细胞体为主体，由许多向周围神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干胞，其形状很像一棵枯树的枝干l 神经元主要由神经元主要由细胞体、树突、轴突和突细胞体、树突、轴突和突触触组成组成生物神经元示意图生物神经元示意图l 细胞体细胞体 用于用于处理从其他神经元传递过来的信息处理从其他神经元传递过来的信息l 轴突轴突 相当于相当于神经元的输出电缆神经元的输出电缆，利用尾部的神，利用尾部的神经末梢和梢端的突触输出经末梢和梢端的突触输出l 树突树突 神经元的输入端神经元的输入端l 突触突触 神经元之间相互连接的接口神经元之间相互连接的接口，即一个神经，即一个神经元的神经末梢与另一个神经元的树突相接元的神经末梢与另一个神经元的树突相接触的交接面触的交接面突触的信息处理突触的信息处理l 神经元各组成部分的功能来看，信息的神经元各组成部分的功能来看，信息的处理与传递主要发生在处理与传递主要发生在突触附近突触附近神经元细胞体通过轴突将脉冲传递到神经元细胞体通过轴突将脉冲传递到突触前膜突触前膜当脉冲幅度当脉冲幅度达到一定强度，即超过其达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质释放神经传递的化学物质l生物神经元传递信息的过程为生物神经元传递信息的过程为多输多输入入、单输出单输出l突触有两种类型：突触有两种类型：兴奋性突触和抑兴奋性突触和抑制性突触制性突触。前者产生正突触后电位，。前者产生正突触后电位，后者产生负突触后电位后者产生负突触后电位突触的传递功能与特点突触的传递功能与特点l 不可逆性不可逆性脉冲只从突触前传到突触后，不逆向脉冲只从突触前传到突触后，不逆向传递传递 l 对信息传递具有时延和不应期，一般为对信息传递具有时延和不应期，一般为0.30.3lmslms相邻的两次输入之间，需要一定的间相邻的两次输入之间，需要一定的间隔；在此间隔内，突触不传递信息隔；在此间隔内，突触不传递信息l 可塑性可塑性突触传递信息的强度是可变的，即具突触传递信息的强度是可变的，即具有学习功能有学习功能 l 学习、遗忘或疲劳（饱和）效应学习、遗忘或疲劳（饱和）效应对应突触传递作用增强、减弱和饱和对应突触传递作用增强、减弱和饱和生物神经网络基本模型生物神经网络基本模型细胞体突触轴突树突图12.2 生物神经元功能模型输入输出信息处理电脉冲形成传输3. 人工神经元人工神经元l 人工神经网络人工神经网络神经网络是一个神经网络是一个并行和分布式并行和分布式的信的信息处理网络结构息处理网络结构它一般由大量神经元组成它一般由大量神经元组成每个神经元只有一个输出，可以每个神经元只有一个输出，可以连接到很多其他的神经元连接到很多其他的神经元每个神经元的输入有多个连接通每个神经元的输入有多个连接通道，每个连接通道对应于一个连道，每个连接通道对应于一个连接权系数接权系数lM-P神经元模型神经元模型 心理学家麦克洛奇心理学家麦克洛奇(W.McCulloch)和数理和数理逻辑学逻辑学 家皮兹家皮兹(W.Pitts)于于1943年首先提出年首先提出了一个简化的神经元模型了一个简化的神经元模型,称为称为M-P模型模型 y兴奋性兴奋性输入输入e e抑制性抑制性输入输入i il说明说明圆表示神经元的细胞体；圆表示神经元的细胞体；外部输入包括兴奋性输入和抑制外部输入包括兴奋性输入和抑制性输入性输入符号符号表示神经元兴奋的阈值表示神经元兴奋的阈值 M-P模型的输入输出关系模型的输入输出关系表示抑制性输入；表示兴奋性输入；表示阈值；表示输出，其中，当当当ieyieieiey0, 00, 00, 1常用的神经元结构模型常用的神经元结构模型ys1x2x3x123模型说明模型说明是神经元的输出；经元的连接权值；信号，可以用来调整神为外部输入的控制称为神经元的阈值；权值；的连接强度，称为连接为神经元与各输入是神经元的输入；ysxii)()(:)3(,)2() 1 (11niiiniiiisxffyyfsxz进行转换，得到输出用某一特性函数：求出所有输入的加权和根据连接权值；号从各输入端接收输入信神经元的工作过程：阈值函数阈值函数S型函数型函数双曲正切函数双曲正切函数4. 人工神经网络的互联结构人工神经网络的互联结构lANN可分为两种可分为两种 相互连接网络相互连接网络 分层网络分层网络 单层单层 两层网络结构两层网络结构 多层网络结构多层网络结构相互连接网络相互连接网络典型的网络结构典型的网络结构单层网络单层网络多层前向网络多层前向网络带侧抑制的多层网络带侧抑制的多层网络带反馈的多层网络带反馈的多层网络多层神经网络多层神经网络l3层及层及3层以上层以上的神经网络，称多层的神经网络，称多层神经网络神经网络l按照各层功能可分为按照各层功能可分为输入层输入层中间层（隐层）：可包含多层中间层（隐层）：可包含多层输出层输出层小结小结l神经网络的定义神经网络的定义l神经元模型神经元模型l神经网络的典型结构及其分类神经网络的典型结构及其分类