第三章神经网络控制及应用课件

第三章神经网络控制及应用人工神经网络定义人工神经网络定义 人人工工神神经经网网络络是是一一个个由由许许多多简简单单的的并并行行工工作作的的处处理理单单元元组组成成的的系系统统，其其功功能能取取决决于于网网络络的的结结构构、连接强度以及各单元的处理方式。连接强度以及各单元的处理方式。人人工工神神经经网网络络是是一一种种旨旨在在模模仿仿人人脑脑结结构构及及其其功功能能的信息处理系统的信息处理系统。神神经经网网络络是是由由多多个个非非常常简简单单的的处处理理单单元元彼彼此此按按某某种种方方式式相相互互连连接接而而形形成成的的计计算算系系统统，该该系系统统是是靠靠其状态对外部输入信息的动态响应来处理信息的。其状态对外部输入信息的动态响应来处理信息的。7/13/202413.1.13.1.1神经网络的基本特征与功能神经网络的基本特征与功能结构特征：结构特征：并行式处理并行式处理分布式存储分布式存储容错性容错性能力特征：能力特征：自学习自学习自组织自组织自适应性自适应性7/13/20242 3.1.1 神经网络的基本特征与功能神经网络的基本特征与功能联联想想记记忆忆功功能能7/13/20243非线性映射功能非线性映射功能 3.1.1 神经网络的基本特征与功能神经网络的基本特征与功能7/13/20244分类与识别功能分类与识别功能 3.1.1 神经网络的基本特征与功能神经网络的基本特征与功能7/13/20245优化计算功能优化计算功能 3.1.1 神经网络的基本特征与功能神经网络的基本特征与功能7/13/20246知识处理功能知识处理功能 3.1.1 神经网络的基本特征与功能神经网络的基本特征与功能7/13/202473.1.2 生物神经元及其信息处理生物神经元及其信息处理生物神经元生物神经元人工神经元模型人工神经元模型7/13/20248 人人类类大大脑脑大大约约包包含含有有1.4 1011个个神神经经元元，每每个个神神经经元元与与大大约约10103 310105 5个个其其它它神神经经元元相相连连接接，构构成成一一个个极极为为庞庞大大而而复复杂的网络，即生物神经网络。杂的网络，即生物神经网络。3.1.2 生物神经元及其信息处理生物神经元及其信息处理9 神经生理学和神经解剖学的研究神经生理学和神经解剖学的研究结果表明结果表明，神经元，神经元(Neuron)(Neuron)是脑组织是脑组织的基本单元，是人脑信息处理系统的的基本单元，是人脑信息处理系统的最小单元。最小单元。3.1.2 生物神经元及其信息处理生物神经元及其信息处理7/13/2024103.1.2.1生物神经元的结构生物神经元的结构 生物神经元在结构上由生物神经元在结构上由 细胞体细胞体(Cell body)树突树突(Dendrite)轴突轴突(Axon)突触突触(Synapse)四部分组成。用来完成神经元间信息的接收、四部分组成。用来完成神经元间信息的接收、传递和处理。传递和处理。3.1.2 生物神经元及其信息处理生物神经元及其信息处理7/13/2024117/13/2024127/13/2024133.1.2.2 生物神经元的信息处理机理生物神经元的信息处理机理信息的产生信息的产生 神神经经元元间间信信息息的的产产生生、传传递递和和处处理理是是一一种电化学活动。种电化学活动。神经元状态：神经元状态：静息静息兴奋兴奋抑制抑制 膜电位：膜电位：极极 化化去极化去极化超极化超极化7/13/202414信信息息的的传传递递与与接接收收3.1.2.2 生物神经元的信息处理机理生物神经元的信息处理机理7/13/202415信息的整合信息的整合空间整合：空间整合：同一时刻产生的刺激所引起的膜电同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变位变化，大致等于各单独刺激引起的膜电位变化的代数和。化的代数和。时间整合：时间整合：各各输入脉冲输入脉冲抵达神经元的时间先后抵达神经元的时间先后不一样。不一样。总的突触后膜电位为一段时间内的累总的突触后膜电位为一段时间内的累积。积。3.1.2.2 生物神经元的信息处理机理生物神经元的信息处理机理7/13/2024163.1.2.3 生物神经网络生物神经网络 由多个生物神经元以确定方式和拓扑结构由多个生物神经元以确定方式和拓扑结构 相互连接即形成生物神经网络。相互连接即形成生物神经网络。生物神经网络的功能不是单个神经元信息生物神经网络的功能不是单个神经元信息 处理功能的简单叠加。处理功能的简单叠加。神经元之间的突触连接方式和连接强度不神经元之间的突触连接方式和连接强度不 同并且具有可塑性，这使神经网络在宏观同并且具有可塑性，这使神经网络在宏观 呈现出千变万化的复杂的信息处理能力。呈现出千变万化的复杂的信息处理能力。7/13/2024173.1.3人工神人工神经元模型及人工神经网络模型经元模型及人工神经网络模型 神神神神经经经经元元元元及及及及其其其其突突突突触触触触是是是是神神神神经经经经网网网网络络络络的的的的基基基基本本本本器器器器件件件件。因因因因此此此此，模模模模拟拟拟拟生生生生物物物物神神神神经经经经网网网网络络络络应应应应首首首首先先先先模模模模拟拟拟拟生生生生物物物物神神神神经经经经元元元元。在在在在人人人人工工工工神神神神经经经经网网网网络络络络中中中中，神神神神经经经经元元元元常常常常被被被被称称称称为为为为“处处处处理理理理单单单单元元元元”。有有有有时时时时从从从从网网网网络络络络的的的的观观观观点点点点出出出出发发发发常常常常把把把把它它它它称称称称为为为为“节节节节点点点点”。人人人人工工工工神神神神经元是对生物神经元的一种形式化描述。经元是对生物神经元的一种形式化描述。经元是对生物神经元的一种形式化描述。经元是对生物神经元的一种形式化描述。7/13/2024183.1.3.1 人工神人工神经元模型经元模型神神经经元元模模型型示示意意图图7/13/202419神神经经元元的的数数学学模模型型ij 输入输出间的突触时延；输入输出间的突触时延；Tj 神经元神经元j的阈值；的阈值；wij 神经元神经元i到到 j 的突触连接系数或称的突触连接系数或称 权重值；权重值；f()神经元转移函数。神经元转移函数。(3-1)(3-2)3.1.3.1 人工神人工神经元模型经元模型7/13/202420(3-3)netnetj j=W Wj jT TX X (3-4)(3-4)W Wj j=(=(w1 w2 wn)T T X=X=(x1 x2 xn)T T 令令x0=-1，w0=Tj，则有则有-Tj=x0w03.1.3.1 人工神人工神经元模型经元模型神神经经元元的的数数学学模模型型7/13/202421(3-5)oj=f(netj)=f(W Wj jT TX X)(3-6)(3-6)神神经经元元的的数数学学模模型型3.1.3.1 人工神人工神经元模型经元模型7/13/202422神神经经元元的的转转移移函函数数(1)阈值型转移函数阈值型转移函数 1 x0f(x)=(3-7)0 x03.1.3.1 人工神人工神经元模型经元模型7/13/202423(2)非线性转移函数非线性转移函数神神经经元元的的转转移移函函数数(3-8)3.1.3.1 人工神人工神经元模型经元模型7/13/202424(3)分段线性转移函数分段线性转移函数 0 x0f(x)=cx 0 0 xxc (3-9)1 xc x 神神经经元元的的转转移移函函数数3.1.3.1 人工神人工神经元模型经元模型7/13/202425层次型结构层次型结构3.1.3.2 人工神人工神经网络模型经网络模型按按神神经经元元连连接接方方式式分分类类 7/13/202426输出层到输入层有连接输出层到输入层有连接3.1.3.2 人工神人工神经网络模型经网络模型按按神神经经元元连连接接方方式式分分类类 7/13/202427层内有连接的层次型结构层内有连接的层次型结构3.1.3.2 人工神人工神经网络模型经网络模型按按神神经经元元连连接接方方式式分分类类 7/13/202428全互连型结构全互连型结构按按神神经经元元连连接接方方式式分分类类 3.1.3.2 人工神人工神经网络模型经网络模型7/13/202429按按网网络络信信息息流流向向分分类类前馈型网络前馈型网络3.1.3.2 人工神人工神经网络模型经网络模型7/13/202430反馈型网络反馈型网络按按网网络络信信息息流流向向分分类类3.1.3.2 人工神人工神经网络模型经网络模型7/13/202431 神经网络能够通过对样本的学习训练，神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是过程称为神经网络的学习或训练，其本质是可变权值的动态调整。可变权值的动态调整。3.1.3.3 人工神人工神经网络的学习经网络的学习7/13/202432 神经网络的学习算法神经网络的学习算法：有导师学习有导师学习(有监督学习有监督学习)无导师学习无导师学习(无监督学习无监督学习)3.1.3.2 人工神人工神经网络模型经网络模型7/13/2024333.1.3.2 人工神人工神经网络模型经网络模型7/13/202434谢谢大家！结结 语语