第1-2章-人工神经网络基础-课件

第1-2章人工神经网络基础-课件2024/7/122课程目的和基本要求课程目的和基本要求 作为人工神经网络的入门课程，用于将学作为人工神经网络的入门课程，用于将学生引入人工神经网络及其应用的研究领域。生引入人工神经网络及其应用的研究领域。介绍人工神经网络及其基本网络模型，使介绍人工神经网络及其基本网络模型，使学生学生了解智能系统描述的基本模型了解智能系统描述的基本模型掌握人工神经网络的基本概念、单层网、多层掌握人工神经网络的基本概念、单层网、多层网、循环网等各种基本网络模型的结构、特点、网、循环网等各种基本网络模型的结构、特点、典型训练算法、运行方式、典型问题典型训练算法、运行方式、典型问题掌握软件实现方法。掌握软件实现方法。2024/7/125主要内容主要内容第第1 1章：人工神经网络概述章：人工神经网络概述 智能的概念、智能系统的特点及其描述基本智能的概念、智能系统的特点及其描述基本模型，物理符号系统与连接主义的观点及模型，物理符号系统与连接主义的观点及其比较；人工神经网络的特点、发展历史。其比较；人工神经网络的特点、发展历史。2024/7/126主要内容主要内容 在在介介绍绍了了基基本本神神经经元元后后，将将概概要要介介绍绍人人工工神神经经网网络络的的一一般般特特性性。主主要要包包括括，生生物物神神经经网网络络模模型型，人人工工神神经经元元模模型型与与典典型型的的激激励励函函数数；人人工工神神经经网网络络的的基基本本拓拓扑扑特特性性，存存储储类类型型（CAMLTM，AMSTM）及及映映象象，Supervised训训练练与与Unsupervised训训练。练。2024/7/127主要内容主要内容第第2 2章章 单层前向网络及单层前向网络及LMS学习算法学习算法感知器与人工神经网络的早期发展；单层感知器与人工神经网络的早期发展；单层网能解决线性可分问题，而无法解决线性网能解决线性可分问题，而无法解决线性不可分问题，要想解决这一问题，必须引不可分问题，要想解决这一问题，必须引入多层网；入多层网；Hebb学习律，学习律，Delta规则，感知规则，感知器的训练算法。器的训练算法。LMSLMS学习算法学习算法仿真实例仿真实例实验：实现一个感知器。实验：实现一个感知器。2024/7/128主要内容主要内容第第3 3章章多层前向网络及多层前向网络及BPBP算法算法多层感知器多层感知器BPBP（BackpropagationBackpropagation）网络的构成及其训）网络的构成及其训练过程；隐藏层权调整方法的直观分析，练过程；隐藏层权调整方法的直观分析，BPBP训练算法中使用的训练算法中使用的DeltaDelta规则（最速下降法）规则（最速下降法）的理论推导；算法的收敛速度及其改进讨论；的理论推导；算法的收敛速度及其改进讨论；BPBP网络中的几个重要问题。网络中的几个重要问题。径向基网络（径向基网络（RBFRBF）模型、学习算法及模型、学习算法及RBFRBF网络与多层感知器的比较网络与多层感知器的比较仿真实例仿真实例实验：实现实验：实现BP算法。算法。2024/7/129主要内容主要内容第第4 4章章支持向量机及其学习算法支持向量机及其学习算法统计学习理论统计学习理论支持向量机支持向量机支持向量机的分类学习算法支持向量机的分类学习算法支持向量机用于函数拟合支持向量机用于函数拟合支持向量机算法的研究与应用支持向量机算法的研究与应用仿真实例仿真实例2024/7/1210主要内容主要内容第第5 5章章 Hopfield神经网络神经网络神经动力学神经动力学离散离散Hopfield神经网络神经网络连续连续Hopfield神经网络神经网络联想记忆联想记忆仿真实例仿真实例 2024/7/1211主要内容主要内容第第6 6章章随机神经随机神经网络及模拟退火算法网络及模拟退火算法BolzmannBolzmann机机(网网络络结结构构、工工作作原原理理、学学习习规规则、运行步骤则、运行步骤)。BolzmannBolzmann机的改进。机的改进。模拟退火算法模拟退火算法(模拟退火原理、用于组合优模拟退火原理、用于组合优化问题求解化问题求解)。仿真实例仿真实例2024/7/1212主要内容主要内容第第7 7章章竞争神经网络竞争神经网络HammingHamming网络网络自组织映射自组织映射学习矢量化学习矢量化主分量分析主分量分析仿真实例仿真实例主要内容主要内容 第第8章章 进化神经网络进化神经网络进化算法是一种基于生物进化和演化的算进化算法是一种基于生物进化和演化的算法，典型的有遗传算法、进化策略、进化法，典型的有遗传算法、进化策略、进化规划、蚁群算法、粒子群算法、免疫算法、规划、蚁群算法、粒子群算法、免疫算法、分布估计算法、分布估计算法、Memetic算法等。它是一算法等。它是一种全局的搜索算法，因此非常适合用于进种全局的搜索算法，因此非常适合用于进化神经网络。进化算法和神经网络的结合化神经网络。进化算法和神经网络的结合给神经网络指明了新的发展方向，对解决给神经网络指明了新的发展方向，对解决神经网络结构复杂、参数难调等问题起到神经网络结构复杂、参数难调等问题起到了重大作用。采用进化算法和神经网络结了重大作用。采用进化算法和神经网络结合的算法已经取得了很好的应用效果。合的算法已经取得了很好的应用效果。2024/7/12132024/7/1214第第1章章人工人工神经网络概述神经网络概述 一、一、引言主要内容主要内容：智能与人工智能；智能与人工智能；ANN的特点；的特点；历史回顾与展望历史回顾与展望重点：重点：智能的本质；智能的本质；ANN是一个非线性大规模并行处理系统是一个非线性大规模并行处理系统难点：难点：对智能的刻画对智能的刻画 2024/7/1215第第1章章人工人工神经网络概述神经网络概述一、一、引言1.1人工神经网络的提出人工神经网络的提出1.2人工神经网络的特点人工神经网络的特点1.3历史回顾历史回顾2024/7/1216第第1章章人工人工神经网络概述神经网络概述 一、一、引言人人类类对对人人工工智智能能的的研研究究可可以以分分成成两两种种方方式式对应着对应着两种不同的技术两种不同的技术：传统的人工智能技术传统的人工智能技术心理的角度模拟心理的角度模拟基于人工神经网络的技术基于人工神经网络的技术生理的角度模拟生理的角度模拟2024/7/12171.1人工神经网络的提出人工神经网络的提出 人工神经网络（人工神经网络（ArtificialNeuralNetworks，简记作，简记作ANN），是对人类大脑系统的一），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个阶特性的一种描述。简单地讲，它是一个数学模型数学模型，可以用，可以用电子线路电子线路来实现，也可来实现，也可以用以用计算机程序计算机程序来模拟，是人工智能研究来模拟，是人工智能研究的一种方法。的一种方法。2024/7/12181.1人工神经网络的提出人工神经网络的提出1.1.1智能与人工智能智能与人工智能 一、一、智能的含义智能的含义智能是个体有目的的行为，合理的思维，智能是个体有目的的行为，合理的思维，以及有效的、适应环境的综合能力以及有效的、适应环境的综合能力。智能是个体认识客观事物和运用知识解决智能是个体认识客观事物和运用知识解决问题的能力问题的能力。人类个体的智能是一种综合能力。人类个体的智能是一种综合能力。2024/7/12191.1人工神经网络的提出人工神经网络的提出智能可以包含智能可以包含8个方面个方面感知与认识客观事物、客观世界和自我的能力感知与认识客观事物、客观世界和自我的能力感知是智能的基础感知是智能的基础最基本的能力最基本的能力通过学习取得经验与积累知识的能力通过学习取得经验与积累知识的能力这是人类在世界中能够不断发展的最基本能力。这是人类在世界中能够不断发展的最基本能力。理解知识理解知识,运用知识和经验分析、解决问题的能力运用知识和经验分析、解决问题的能力这这一一能能力力可可以以算算作作是是智智能能的的高高级级形形式式。是是人人类类对对世世界界进行适当的改造，推动社会不断发展的基本能力。进行适当的改造，推动社会不断发展的基本能力。2024/7/12201.1人工神经网络的提出人工神经网络的提出联想、推理、判断、决策语言的能力联想、推理、判断、决策语言的能力这是智能的高级形式的又一方面。这是智能的高级形式的又一方面。预测和认识预测和认识“主动主动”和和“被动被动”之分。联想、推理、判断、之分。联想、推理、判断、决策的能力是决策的能力是“主动主动”的基础。的基础。运用进行抽象、概括的能力运用进行抽象、概括的能力上述这上述这5 5种能力，被认为是人类智能最为种能力，被认为是人类智能最为基基本的能力本的能力2024/7/12211.1人工神经网络的提出人工神经网络的提出作为作为5 5种能力综合表现形式的种能力综合表现形式的3 3种能力种能力发现、发明、创造、创新的能力发现、发明、创造、创新的能力 实时、迅速、合理地应付复杂环境的能力实时、迅速、合理地应付复杂环境的能力 预测、洞察事物发展、变化的能力预测、洞察事物发展、变化的能力2024/7/12221.1人工神经网络的提出人工神经网络的提出二、人工智能二、人工智能人工智能：研究如何使类似计算机这样的设备去人工智能：研究如何使类似计算机这样的设备去模拟人类的这些能力。模拟人类的这些能力。研究人工智能的目的研究人工智能的目的增加人类探索世界，推动社会前进的能力增加人类探索世界，推动社会前进的能力进一步认识自己进一步认识自己三大学术流派三大学术流派符号主义（或叫做符号符号主义（或叫做符号/逻辑主义）学派逻辑主义）学派联接主义（或者叫做联接主义（或者叫做PDP）学派）学派进化主义（或者叫做行动进化主义（或者叫做行动/响应）学派响应）学派2024/7/12231.1人工神经网络的提出人工神经网络的提出1.1.2 物理符号系统物理符号系统 人脑的反映人脑的反映形式化形式化现实现实信息信息数据数据物理系统物理系统物理符号系统物理符号系统表现智能表现智能2024/7/12241.1人工神经网络的提出人工神经网络的提出NewellNewell和和SimonSimon假说假说 ：一个物理系统表现：一个物理系统表现智能行为的充要条件是它有一个物理符号智能行为的充要条件是它有一个物理符号系统系统概念：物理符号系统需要有一组称为符号概念：物理符号系统需要有一组称为符号的实体组成，它们都是物理模型，可以在的实体组成，它们都是物理模型，可以在另一类称为符号结构的实体中作为成分出另一类称为符号结构的实体中作为成分出现，以构成更高级别的系统现，以构成更高级别的系统 2024/7/12251.1人工神经网络的提出人工神经网络的提出困难：困难：抽象抽象舍弃一些特性，同时保留一些特性舍弃一些特性，同时保留一些特性形形式式化化处处理理用用物物理理符符号号及及相相应应规规则则表表达达物物理系统的存在和运行。理系统的存在和运行。局限：局限：对全局性判断、模糊信息处理、多粒度的视觉对全局性判断、模糊信息处理、多粒度的视觉信息处理等是非常困难的。信息处理等是非常困难的。2024/7/12261.1人工神经网络的提出人工神经网络的提出1.1.3 1.1.3 联接主义观点联接主义观点 核心：智能的本质是联接机制。核心：智能的本质是联接机制。神经网络是一个由大量简单的处理单元组神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统成的高度复杂的大规模非线性自适应系统 ANNANN力求从四个方面去模拟人脑的智能行为力求从四个方面去模拟人脑的智能行为物理结构物理结构 计算模拟计算模拟 存储与操作存储与操作 训练训练 2024/7/12271.1人工神经网络的提出人工神经网络的提出1.1.4 1.1.4 两种模型的比较两种模型的比较心理过程心理过程逻辑思维逻辑思维高级形式（思维的表象）高级形式（思维的表象）生理过程生理过程形象思维形象思维低级形式（思维的根本）低级形式（思维的根本）仿生仿生人工神经网络人工神经网络物理符号系统物理符号系统2024/7/12281.1人工神经网络的提出人工神经网络的提出物理符号系统和人工神经网络系统的差别物理符号系统和人工神经网络系统的差别 项目项目物理符号系统物理符号系统人工神经网络人工神经网络处理方式处理方式逻辑运算逻辑运算模拟运算模拟运算执行方式执行方式串行串行并行并行动作动作离散离散连续连续存储存储局部集中局部集中全局分布全局分布2024/7/12291.1人工神经网络的提出人工神经网络的提出两种人工智能技术的比较两种人工智能技术的比较项目项目传统的传统的AIAI技术技术 ANN技术技术 基本实现基本实现方式方式串行处理；由程序实现串行处理；由程序实现控制控制并行处理；对样本数据进行多目标学习；并行处理；对样本数据进行多目标学习；通过人工神经元之间的相互作用实现控制通过人工神经元之间的相互作用实现控制基基本本开开发发方法方法设设计计规规则则、框框架架、程程序序；用用样样本本数数据据进进行行调调试试（由由人人根根据据已已知知的的环环境境去构造一个模型）去构造一个模型）定义人工神经网络的结构原型，通过样本定义人工神经网络的结构原型，通过样本数据，依据基本的学习算法完成学习数据，依据基本的学习算法完成学习自动从样本数据中抽取内涵（自动适应应自动从样本数据中抽取内涵（自动适应应用环境）用环境）适应领域适应领域 精精确确计计算算：符符号号处处理理，数值计算数值计算非精确计算：模拟处理，感觉，大规模数非精确计算：模拟处理，感觉，大规模数据并行处理据并行处理模拟对象模拟对象 左脑（逻辑思维）左脑（逻辑思维）右脑（形象思维）右脑（形象思维）2024/7/12301.2人工神经网络的特点人工神经网络的特点信息的分布表示信息的分布表示运算的全局并行和局部操作运算的全局并行和局部操作处理的非线性处理的非线性 2024/7/12311.2.1人工神经网络的概念人工神经网络的概念1、定义、定义 1）HechtNielsen（1988年）年）人工神经网络是一个并行、分布处理结构，它由人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。处理单元及其称为联接的无向讯号通道互连而成。这些处理单元（这些处理单元（PEProcessingElement）具有）具有局部内存，并可以完成局部操作。每个处理单元局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要有一个单一的输出联接，这个输出可以根据需要被分支成希望个数的许多并行联接，且这些并行被分支成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。信号的大小不因分支的多少而变化。2024/7/12321.2.1人工神经网络的概念人工神经网络的概念（1）HechtNielsen（1988年）（续）年）（续）处理单元的输出信号可以是任何需要处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。存储在处理单元局部内存中的值。2024/7/12331.2.1人工神经网络的概念人工神经网络的概念强调：强调：并行、分布处理结构；并行、分布处理结构；一一个个处处理理单单元元的的输输出出可可以以被被任任意意分分支支，且且大小不变；大小不变；输出信号可以是任意的数学模型；输出信号可以是任意的数学模型；处理单元完全的局部操作处理单元完全的局部操作 2024/7/12341.2.1人工神经网络的概念人工神经网络的概念（2）Rumellhart，McClelland，Hinton的的PDP 1）一组处理单元一组处理单元（PE或或AN）；）；2）处理单元的处理单元的激活状态激活状态（ai）；）；3）每个处理单元的每个处理单元的输出函数输出函数（fi）；）；4）处理单元之间的处理单元之间的联接模式联接模式；5）传递规则传递规则（wijoi）；）；6）把把处处理理单单元元的的输输入入及及当当前前状状态态结结合合起起来来产产生生激活值的激活值的激活规则激活规则（Fi）；）；7）通过经验修改联接强度的通过经验修改联接强度的学习规则学习规则；8）系统运行的环境（系统运行的环境（样本样本集合）。集合）。2024/7/12351.2.1人工神经网络的概念人工神经网络的概念（3）Simpson（1987年）年）人工神经网络是一个非线性的有向图，图人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输加权边，并且可以从不完整的或未知的输入找到模式。入找到模式。2024/7/12361.2.1人工神经网络的概念人工神经网络的概念2、关键点、关键点（1 1）信息的分布表示信息的分布表示（2 2）运算的全局并行与局部操作运算的全局并行与局部操作（3 3）处理的非线性特征处理的非线性特征3、对大脑基本特征的模拟、对大脑基本特征的模拟1）形式上：神经元及其联接；形式上：神经元及其联接；BN对对AN2）表现特征：信息的存储与处理表现特征：信息的存储与处理2024/7/12371.2.1人工神经网络的概念人工神经网络的概念4、别名、别名人工神经系统（人工神经系统（ANS）神经网络（神经网络（NN）自自适适应应系系统统（Adaptive Systems）、自自适适应应网网（AdaptiveNetworks）联接模型（联接模型（Connectionism）神经计算机（神经计算机（Neurocomputer）并行分布处理系统并行分布处理系统(PDP)(PDP)神经计算神经计算2024/7/12381.2.2 1.2.2 学习（学习（LearningLearning）能力）能力 人人工工神神经经网网络络可可以以根根据据所所在在的的环环境境去去改改变变它的行为它的行为自相联的网络自相联的网络异异相相联联的的网网络络：它它在在接接受受样样本本集集合合A时时，可可以以抽抽取取集集合合A中中输输入入数数据据与与输输出出数数据据之之间间的的映射关系。映射关系。“抽象抽象”功能。功能。不同的人工神经网络模型，有不同的学习不同的人工神经网络模型，有不同的学习/训练算法训练算法2024/7/12391.2.3基本特征的自动提取基本特征的自动提取 由由于于其其运运算算的的不不精精确确性性，表表现现成成“去去噪噪音音、容容残残缺缺”的的能能力力，利利用用这这种种不不精精确确性性，比比较自然地实现模式的自动分类。较自然地实现模式的自动分类。普化（普化（Generalization）能力与抽象能力）能力与抽象能力 2024/7/12401.2.4信息的分布存放信息的分布存放信息的分布存提供容错功能信息的分布存提供容错功能由于信息被分布存放在几乎整个网络中，所以，当其由于信息被分布存放在几乎整个网络中，所以，当其中的某一个点或者某几个点被破坏时，信息仍然可以中的某一个点或者某几个点被破坏时，信息仍然可以被存取。被存取。系统在受到系统在受到局部局部损伤时还可以正常工作。损伤时还可以正常工作。并不是说可以任意地对完成学习的网络进行修改。并不是说可以任意地对完成学习的网络进行修改。也正是由于信息的分布存放，对一类网来说，当也正是由于信息的分布存放，对一类网来说，当它完成学习后，如果再让它学习新的东西，这时它完成学习后，如果再让它学习新的东西，这时就会破坏原来已学会的东西。就会破坏原来已学会的东西。2024/7/12411.2.5适应性适应性(Applicability)问问题题 擅长两个方面：擅长两个方面：对对大大量量的的数数据据进进行行分分类类，并并且且只只有有较较少少的的几几种种情况；情况；必须学习一个复杂的非线性映射。必须学习一个复杂的非线性映射。目前应用：目前应用：人们主要将其用于语音、视觉、知识处理、辅人们主要将其用于语音、视觉、知识处理、辅助决策等方面。助决策等方面。在数据压缩、模式匹配、系统建模、模糊控制、在数据压缩、模式匹配、系统建模、模糊控制、求组合优化问题的最佳解的近似解（不是最佳求组合优化问题的最佳解的近似解（不是最佳近似解）等方面也有较好的应用。近似解）等方面也有较好的应用。2024/7/12421.3ANN的的历史回顾历史回顾 1.3.1萌芽期（萌芽期（20世纪世纪40年代）年代）人人工工神神经经网网络络的的研研究究最最早早可可以以追追溯溯到到人人类类开始研究自己的智能的时期，到开始研究自己的智能的时期，到1949年止。年止。1943年年，心心理理学学家家McCulloch和和数数学学家家Pitts建建立立起起了了著著名名的的阈阈值值加加权权和和模模型型，简简称称为为M-P模模型型。发发表表于于数数学学生生物物物物理理学学会会刊刊BulletinofMethematicalBiophysics1949年，心理学家年，心理学家D.O.Hebb提出神经元之提出神经元之间突触联系是可变的假说间突触联系是可变的假说Hebb学习律。学习律。2024/7/12431.3.2第一高潮期（第一高潮期（19501968）以以 Marvin Minsky，Frank Rosenblatt，BernardWidrow等等为为代代表表人人物物，代代表表作作是是单级感知器（单级感知器（Perceptron）。）。可用电子线路模拟。可用电子线路模拟。人们乐观地认为几乎已经找到了智能的关人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。希望尽快占领制高点。2024/7/12441.3.3反思期（反思期（19691982）M.L.Minsky和和S.Papert，Perceptron，MITPress，1969年年 异或异或”运算不可表示运算不可表示 二十世纪二十世纪70年代和年代和80年代早期的研究结果年代早期的研究结果 认识规律：认识认识规律：认识实践实践再认识再认识 2024/7/12451.3.4第二高潮期（第二高潮期（19831990）1982年，年，J.Hopfield提出循环网络提出循环网络用用Lyapunov函数函数作为网络性能判定的能量函数，作为网络性能判定的能量函数，建立建立ANNANN稳定性的判别依据稳定性的判别依据阐明了阐明了ANNANN与动力学的关系与动力学的关系用非线性动力学的方法来研究用非线性动力学的方法来研究ANNANN的特性的特性指出信息被存放在网络中神经元的联接上指出信息被存放在网络中神经元的联接上 2024/7/12461.3.4第二高潮期（第二高潮期（19831990）2）1984年，年，J.Hopfield设计研制了后来被设计研制了后来被人们称为人们称为Hopfield网网的电路。较好地解决了的电路。较好地解决了著名的著名的TSP问题，找到了最佳解的近似解，问题，找到了最佳解的近似解，引起了较大的轰动。引起了较大的轰动。3）1985年，年，UCSD的的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理等人所在的并行分布处理（PDP）小组的研究者在）小组的研究者在Hopfield网络中引网络中引入了随机机制，提出所谓的入了随机机制，提出所谓的Boltzmann机机。2024/7/12471.3.4第二高潮期（第二高潮期（19831990）4）1986年年，并并 行行 分分 布布 处处 理理 小小 组组 的的Rumelhart等等研研究究者者重重新新独独立立地地提提出出多多层层网网络络的的学学习习算算法法BP算算法法，较较好好地地解解决决了了多多 层层 网网 络络 的的 学学 习习 问问 题题。（Paker1982和和Werbos1974年）年）国内首届神经网络大会国内首届神经网络大会是是1990年年12月在北月在北京举行的京举行的。2024/7/12481.3.5再认识与应用研究期再认识与应用研究期（1991）问题：问题：1）应用面还不够宽应用面还不够宽2）结果不够精确结果不够精确3 3）存在可信度的问题）存在可信度的问题 2024/7/12491.3.5再认识与应用研究期再认识与应用研究期（1991）研究：研究：1）开开发发现现有有模模型型的的应应用用，并并在在应应用用中中根根据据实实际际运运行行情情况况对对模模型型、算算法法加加以以改改造造，以以提提高高网网络络的的训训练速度和运行的准确度。练速度和运行的准确度。2）充分发挥两种技术各自的优势是一个有效方法充分发挥两种技术各自的优势是一个有效方法3）希希望望在在理理论论上上寻寻找找新新的的突突破破，建建立立新新的的专专用用/通用模型和算法。通用模型和算法。4 4）进进一一步步对对生生物物神神经经系系统统进进行行研研究究，不不断断地地丰丰富富对人脑的认识。对人脑的认识。2024/7/1250第第1章章人工人工神经网络概述神经网络概述二、二、ANN基础基础主要内容主要内容：BN与与AN；拓扑结构；拓扑结构；存储；存储；训练训练重点：重点：AN；拓扑结构；训练；拓扑结构；训练难点：难点：训练训练2024/7/1251第第1章章人工人工神经网络概述神经网络概述二、二、ANN基础基础2.1 2.1 生物神经网生物神经网 2.2 2.2 人工神经元人工神经元 2.3 2.3 人工神经网络的拓扑特性人工神经网络的拓扑特性 2.4 2.4 存储与映射存储与映射 2.5 2.5 人工神经网络的训练人工神经网络的训练2024/7/1252大脑神经系统大脑神经系统神经系统是多层次的。这些不同层次的研究互相启示，互相推动。在低层次（细胞、分子水平）上的工作为较高层次的观察提供分析的基础，而较高层次的观察又有助于引导低层次工作的方向和体现其功能意义。2024/7/1253生物神经元基本结构示意图生物神经元基本结构示意图2.1 生物神经网生物神经元在结构上由生物神经元在结构上由:细胞体细胞体(Cellbody)、树突树突(Dendrite)、轴突轴突(Axon)、突触突触(Synapse)四部分组成。用来完成四部分组成。用来完成神经元间信息的接收、神经元间信息的接收、传递和处理。传递和处理。人人工工神神经经网网络络的的生生物物学学基基础础人人工工神神经经网网络络的的生生物物学学基基础础2024/7/12562.1 2.1 生物神经网生物神经网3、六个基本特征：、六个基本特征：1）神经元及其联接神经元及其联接；2）神经元之间的联接强度决定神经元之间的联接强度决定信号传递信号传递的强弱；的强弱；3）神经元之间的联接强度是可以随神经元之间的联接强度是可以随训练训练改变的；改变的；4）信信号号可可以以是是起起刺刺激激作作用用的的，也也可可以以是是起起抑抑制制作作用的；用的；5）一一个个神神经经元元接接受受的的信信号号的的累累积积效效果果决决定定该该神神经经元的状态；元的状态；6)每个神经元可以有一个每个神经元可以有一个“阈值阈值”。2024/7/12572.2人工神经元人工神经元 神神经经元元是是构构成成神神经经网网络络的的最最基基本本单单元元（构构件）。件）。人工神经元模型应该具有生物神经元的六人工神经元模型应该具有生物神经元的六个基本特性。个基本特性。2024/7/1258树突树突细胞体细胞体轴突轴突突触突触生物神经元生物神经元人工神经元人工神经元类比关系类比关系输入层输入层加权和加权和阈值函数阈值函数输出层输出层2024/7/1259模拟神经元的树突接收输入信号输入层加权和阈值函数输出层模拟神经元的细胞体加工和处理信号模拟神经元的轴突控制信号的输出模拟神经元的突触对结果进行输出人工神人工神经元结经元结构功能构功能示意图示意图2024/7/12602.2.1人工神经元的基本构成人工神经元的基本构成 人工神经元模拟生物神经元的人工神经元模拟生物神经元的一阶特性一阶特性。输入：输入：X=（x1，x2，xn）联接权：联接权：W=（w1，w2，wn）T网络输入：网络输入：net=xiwi向量形式：向量形式：net=XWxnwnx1w1x2w2net=XW2024/7/12612.2.2激活函数激活函数(ActivationFunction)激激活活函函数数执执行行对对该该神神经经元元所所获获得得的的网网络络输输入入的的变变换换，也也可可以以称称为为激激励励函函数数、活活化函数：化函数：o=f（net）1、线性函数（、线性函数（LinerFunction）f（net）=k*net+c netooc2024/7/12622、非线性斜面函数、非线性斜面函数(RampFunction)ifnetf（net）=k*netif|net|0为一常数，被称为饱和值，为该神经元为一常数，被称为饱和值，为该神经元的最大输出。的最大输出。2024/7/12632、非线性斜面函数（、非线性斜面函数（RampFunction）-neto2024/7/12643、阈值函数（、阈值函数（ThresholdFunction）阶跃函数）阶跃函数ifnetf（net）=-ifnet、均为非负实数，均为非负实数，为阈值为阈值二值形式：二值形式：1ifnetf（net）=0ifnet双极形式：双极形式：1ifnetf（net）=-1ifnet 2024/7/12653、阈值函数（、阈值函数（ThresholdFunction）阶跃函数）阶跃函数-onet02024/7/12664、S形函数形函数 压压缩缩函函数数（SquashingFunction）和和逻逻辑辑斯斯特特函数（函数（LogisticFunction）。）。f（net）=a+b/(1+exp(-d*net)a，b，d为常数。它的饱和值为为常数。它的饱和值为a和和a+b。最简单形式为：最简单形式为：f（net）=1/(1+exp(-d*net)函数的饱和值为函数的饱和值为0和和1。S形函数有较好的增益控制形函数有较好的增益控制 2024/7/12674、S形函数形函数 a+bo(0,c)netac=a+b/22024/7/12682.2.3M-P模型模型 x2w2fo=f（net）xnwnnet=XWx1w1McCullochPitts（MP）模型，）模型，也称为处理单元（也称为处理单元（PE）2024/7/12692.3人工神经网络的拓扑特性人工神经网络的拓扑特性 连接的拓扑表示连接的拓扑表示 ANiwijANj2024/7/12702.3.1联接模式联接模式 用用正正号号（“+”，可可省省略略）表表示示传传送送来来的的信信号号起起刺刺激激作作用用，它它用用于于增增加加神神经经元元的的活活跃跃度；度；用用负负号号（“-”）表表示示传传送送来来的的信信号号起起抑抑制制作用，它用于降低神经元的活跃度。作用，它用于降低神经元的活跃度。层次层次（又称为（又称为“级级”）的划分，导致了神）的划分，导致了神经元之间的三种不同的经元之间的三种不同的互连模式互连模式：2024/7/12712.3.1联接模式联接模式 1、层（级）内联接层（级）内联接层内联接又叫做区域内（层内联接又叫做区域内（Intra-field）联）联接或侧联接（接或侧联接（Lateral）。）。用来加强和完成层内神经元之间的竞争用来加强和完成层内神经元之间的竞争2 2、循环联接循环联接反馈信号。反馈信号。2024/7/12722.3.1联接模式联接模式3、层（级）间联接、层（级）间联接 层层间间（Inter-field）联联接接指指不不同同层层中中的的神神经经元元之之间间的的联联接接。这这种种联联接接用用来来实实现现层层间的信号传递间的信号传递前馈信号前馈信号反馈信号反馈信号 2024/7/12732.3.2网络的分层结构网络的分层结构 单级网单级网 简单单级网简单单级网 2024/7/1274简单单级网简单单级网x1x2xno1o2omwnmw11w1mw2mwn1输出层输出层输入层输入层2024/7/1275简单单级网简单单级网W=（wij）输输出出层层的的第第j个个神神经经元元的的网网络络输输入入记记为为netj：netj=x1w1j+x2w2j+xnwnj其中其中,1jm。取。取NET=（net1，net2，netm）NET=XWO=F（NET）2024/7/1276单级横向反馈网单级横向反馈网输出层输出层x1o1w11w1mx2o2w2mxnomwn1输入层输入层V2024/7/1277单级横向反馈网单级横向反馈网 V=（vij）NET=XW+OVO=F（NET）时时间间参参数数神神经经元元的的状状态态在在主主时时钟钟的的控控制制下下同同步变化步变化考虑考虑X总加在网上的情况总加在网上的情况NET（t+1）=X（t）W+O（t）VO(t+1)=F(NET(t+1)O（0）=0考虑仅在考虑仅在t=0时加时加X的情况。的情况。稳定性判定稳定性判定2024/7/1278多级网多级网输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn2024/7/1279层次划分层次划分 信号只被允许从较低层流向较高层。信号只被允许从较低层流向较高层。层层号号确确定定层层的的高高低低：层层号号较较小小者者，层层次次较低，层号较大者，层次较高。较低，层号较大者，层次较高。输输入入层层：被被记记作作第第0层层。该该层层负负责责接接收收来来自网络外部的信息自网络外部的信息输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn2024/7/1280第第j层层：第第j-1层层的的直直接接后后继继层层（j0），它它直直接接接受第接受第j-1层的输出。层的输出。输输出出层层：它它是是网网络络的的最最后后一一层层，具具有有该该网网络络的的最大层号，负责输出网络的计算结果。最大层号，负责输出网络的计算结果。隐藏层隐藏层：除输入层和输出层以外的其它各层叫：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号直接向外界发送信号输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn2024/7/1281约定约定:输输出出层层的的层层号号为为该该网网络络的的层层数数：n层层网网络络，或或n级级网络。网络。第第j-1层层到到第第j层层的的联联接接矩矩阵阵为为第第j层层联联接接矩矩阵阵，输输出出层层对对应应的的矩矩阵阵叫叫输输出出层层联联接接矩矩阵阵。今今后后，在在需需要的时候，一般我们用要的时候，一般我们用W（j）表示第表示第j层矩阵层矩阵。输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xnW(1)W(2)W(3)W(h)2024/7/1282多级网多级网h层网络层网络输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xnW(1)W(2)W(3)W(h)2024/7/1283多级网多级网非线性激活函数非线性激活函数 F(X)=kX+CF3(F2(F1(XW(1)W(2)W(3)2024/7/1284循环网循环网x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn2024/7/1285循环网循环网 如如果果将将输输出出信信号号反反馈馈到到输输入入端端,就就可可构构成成一一个个多多层层的循环网络。的循环网络。输入的原始信号被逐步地输入的原始信号被逐步地“加强加强”、被、被“修复修复”。大大脑脑的的短短期期记记忆忆特特征征看看到到的的东东西西不不是是一一下下子子就从脑海里消失的。就从脑海里消失的。稳定稳定：反馈信号会引起网络输出的不断变化。我：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。种变化不能消失，则称该网络是不稳定的。2024/7/12862.4存储与映射存储与映射 空间模式空间模式（SpatialModel）时空模式时空模式（SpatialtemporalModel）空间模式三种空间模式三种存储类型存储类型1、RAM方式（方式（RandomAccessMemory）随机访问方式是将地址映射到数据。随机访问方式是将地址映射到数据。2、CAM方式（方式（ContentAddressableMemory）内容寻址方式是将数据映射到地址。内容寻址方式是将数据映射到地址。3、AM方式（方式（AssociativeMemory）相联存储方式是将数据映射到数据。相联存储方式是将数据映射到数据。2024/7/12872.4存储与映射存储与映射后续的两种方式是人工神经网络的工作方式。后续的两种方式是人工神经网络的工作方式。在在学学习习/训训练练期期间间，人人工工神神经经网网络络以以CAM方方式式工工作作；权权矩矩阵阵又又被被称称为为网网络络的的长长期期存存储储（LongTermMemory，简记为，简记为LTM）。）。网网络络在在正正常常工工作作阶阶段段是是以以AM方方式式工工作作的的；神神经经元元的的状状态态表表示示的的模模式式为为短短期期存存储储（ShortTermMemory，简记为，简记为STM）。2024/7/12882.4存储与映射存储与映射自自相相联联（Auto-associative）映映射射：训训练练网网络络的样本集为向量集合为的样本集为向量集合为A1，A2，An在理想情况下，该网络在完成训练后，其在理想情况下，该网络在完成训练后，其权矩阵存放的将是上面所给的向量集合。权矩阵存放的将是上面所给的向量集合。2024/7/12892.4存储与映射存储与映射异相联（异相联（Hetero-associative）映射）映射（A1，B1），（），（A2，B2），），（，（An，Bn）该该网网络络在在完完成成训训练练后后，其其权权矩矩阵阵存存放放的的将将是是上上面面所给的向量集合所蕴含的对应关系。所给的向量集合所蕴含的对应关系。当当输输入入向向量量A不不是是样样本本的的第第一一的的分分量量时时，样样本本中中不存在这样的元素（不存在这样的元素（Ak，Bk），使得），使得AiAAk kAA或者或者AAAAk kAAj j且此时有且此时有AiAAAAj j则向量则向量B是是Bi与与Bj的插值。的插值。2024/7/1290神经网络的典型结构按网络的结构区分按网络的结构区分前向网络前向网络反馈网络反馈网络按学习方式区分按学习方式区分有教师（监督）学习网络有教师（监督）学习网络无教师（监督）学习网络无教师（监督）学习网络按网络的性能区分按网络的性能区分连续型和离散型网络连续型和离散型网络随机型和确定型网络随机型和确定型网络2024/7/1291神经网络的典型结构按突触性质区分按突触性质区分一阶线性关联网络一阶线性关联网络高阶非线性关联网络高阶非线性关联网络按对生物神经系统的层次模拟区分按对生物神经系统的层次模拟区分神经元层次模型神经元层次模型组合式模型组合式模型网络层次模型网络层次模型神经系统层次模型神经系统层次模型智能型模型智能型模型通常，人们较多地考虑神经网络的互连结通常，人们较多地考虑神经网络的互连结构。本节将按照神经网络连接模式，对神构。本节将按照神经网络连接模式，对神经网络的几种典型结构分别进行介绍经网络的几种典型结构分别进行介绍 2024/7/1292单层感知器网络单层感知器是最早使用的，也是最简单的单层感知器是最早使用的，也是最简单的神经网络结构，由一个或多个线性阈值单神经网络结构，由一个或多个线性阈值单元组成元组成由于由于这种网种网络结构相构相对简单，因此能力也非常，因此能力也非常的有限，一般比的有限，一般比较少用少用 单网单网层络层络感示感示知意知意器图器图2024/7/1293前馈型网络前馈型网络的信号由输入层到输出层单向传输前馈型网络的信号由输入层到输出层单向传输每层的神经元仅与其前一层的神经元相连，仅接受前一层传输每层的神经元仅与其前一层的神经元相连，仅接受前一层传输来的信息来的信息是一种最为广泛使用的神经网络模型，因为它本身的结构也不是一种最为广泛使用的神经网络模型，因为它本身的结构也不太复杂，学习和调整方案也比较容易操作，而且由于采用了多太复杂，学习和调整方案也比较容易操作，而且由于采用了多层的网络结构，其求解问题的能力也得到明显的加强，基本上层的网络结构，其求解问题的能力也得到明显的加强，基本上可以满足使用要求可以满足使用要求2024/7/1294前馈内层互联网络这种网络结构从外部看还是一个前馈型的这种网络结构从外部看还是一个前馈型的网络，但是内部有一些节点在层内互连网络，但是内部有一些节点在层内互连2024/7/1295反馈型网络这种网络结构在输入输这种网络结构在输入输出之间还建立了另外一出之间还建立了另外一种关系，就是网络的输种关系，就是网络的输出层存在一个反馈回路出层存在一个反馈回路到输入层作为输入层的到输入层作为输入层的一个输入，而网络本身一个输入，而网络本身还是前馈型的还是前馈型的这种神经网络的输入层这种神经网络的输入层不仅接受外界的输入信不仅接受外界的输入信号，同时接受网络自身号，同时接受网络自身的输出信号。输出反馈的输出信号。输出反馈信号可以是原始输出信信号可以是原始输出信号，也可以是经过转化号，也可以是经过转化的输出信号；可以是本的输出信号；可以是本时刻的输出信号，也可时刻的输出信号，也可以是经过一定延迟的输以是经过一定延迟的输出信号出信号此种网络经常用于系统此种网络经常用于系统控制、实时信号处理等控制、实时信号处理等需要根据系统当前状态需要根据系统当前状态进行调节的场合进行调节的场合2024/7/1296全互联网络全互联网络是网络中所有的神经元之间都全互联网络是网络中所有的神经元之间都有相互间的连接有相互间的连接如如Hopfiled和和Boltgmann网网络都是都是这种种类型型全全互互联联网网络络2024/7/1297BP神经网络2024/7/12982.5人工神经网络的训练人工神经网络的训练 人人工工神神经经网网络络最最具具有有吸吸引引力力的的特特点点是是它它的的学习能力。学习能力。1962年年，Rosenblatt给给出出了了人人工工神神经经网网络络著著名名的的学学习习定定理理：人人工工神神经经网网络络可可以以学学会会它它可以表达的任何东西可以表达的任何东西。人人工工神神经经网网络络的的表表达达能能力力大大大大地地限限制制了了它它的学习能力。的学习能力。人人工工神神经经网网络络的的学学习习过过程程就就是是对对它它的的训训练练过程过程2024/7/1299 人工神经网络的学习过程就是对它的训练过程，所谓训练，就是在将由样本向量构成的样本集合（也称为样本集、训练集）输入到人工神经网络的过程中，按照一定的方式去调整神经网元之间的联接权，使得神经网络能够将样本集的内涵以联接权矩阵的方式存储起来，从而使得在网络接收输入时，可以给出适当的输出。2024/7/12100神经网络的学习算法2024/7/12101学习方法有监督学习有监督学习无监督学习无监督学习再励学习再励学习在有监督的学习方式中，网络的输出和期望的输出（即教师信号）进行比较，然后根据两者之间的差异调整网络的权重，最终使差异变小。在无监督的学习方式中，输入模式进入网络后，网络按照一预先设定的规则（如竞争规则）自动调整权重，使网络最终具有模式分类等功能。再励学习是介于上述两者之间的一种学习方法2024/7/12102学习规则Hebb学习规则学习规则这个规则是由这个规则是由DonaldHebb在在1949年提出的年提出的他的基本规则可以简单归纳为：如果处理单元从另一个处理他的基本规则可以简单归纳为：如果处理单元从另一个处理单元接受到一个输入，并且如果两个单元都处于高度活动状单元接受到一个输入，并且如果两个单元都处于高度活动状态，这时两单元间的连接权重就要被加强态，这时两单元间的连接权重就要被加强Hebb学习规则是一种没有指导的学习方法，它只根据神经元学习规则是一种没有指导的学习方法，它只根据神经元连接间的激活水平改变权重，因此此这种方法又称为相关学连接间的激活水平改变权重，因此此这种方法又称为相关学习或并联学习习或并联学习Delta（）学习规则）学习规则 Delta规则是最常用的学习规则，其要点是改变单元间的连接规则是最常用的学习规则，其要点是改变单元间的连接权重来减小系统实际输出与应有的输出间的误差权重来减小系统实际输出与应有的输出间的误差这个规则也叫这个规则也叫Widrow-Hoff学习规则，首先在学习规则，首先在Adaline模型中模型中应用，也可称为最小均方差规则应用，也可称为最小均方差规则BP网络的学习算法称为网络的学习算法称为BP算法，是在算法，是在Delta规则基础上发展规则基础上发展起来的，可在多层网络上有效地学习起来的，可在多层网络上有效地学习2024/7/12103学习规则梯度下降学习规则梯度下降学习规则梯度下降学习规则的要点为在学习过程中，保持误差曲线的梯度下降学习规则的要点为在学习过程中，保持误差曲线的梯度下降梯度下降误差曲线可能会出现局部的最小值，在网络学习时，应尽可误差曲线可能会出现局部的最小值，在网络学习时，应尽可能摆脱误差的局部最小值，而达到真正的误差最小值能摆脱误差的局部最小值，而达到真正的误差最小值 Kohonen学习规则学习规则该规则是由该规则是由TeuvoKohonen在研究生物系统学习的基在研究生物系统学习的基础上提出的，只用于没有指导下训练的网络础上提出的，只用于没有指导下训练的网络后向传播学习规则后向传播学习规则后向传播（后向传播（BackPropagation，BP）学习，是目前应）学习，是目前应用最为广泛的神经网络学习规则用最为广泛的神经网络学习规则2024/7/12104学习规则概率式学习规则概率式学习规则从统计力学、分子热力学和概率论中关于系统稳态能量的标从统计力学、分子热力学和概率论中关于系统稳态能量的标准出发，进行神经网络学习的方式称概率式学习准出发，进行神经网络学习的方式称概率式学习误差曲线可能会出现局部的最小值，在网络学习时，应尽可误差曲线可能会出现局部的最小值，在网络学习时，应尽可能摆脱误差的局部最小值，而达到真正的误差最小值能摆脱误差的局部最小值，而达到真正的误差最小值 竞争式学习规则竞争式学习规则竞争式学习属于无监督学习方式。这种学习方式是利用不同竞争式学习属于无监督学习方式。这种学习方式是利用不同层间的神经元发生兴奋性联接以及同一层内距离很近的神经层间的神经元发生兴奋性联接以及同一层内距离很近的神经元间发生同样的兴奋性联接，而距离较远的神经无产生抑制元间发生同样的兴奋性联接，而距离较远的神经无产生抑制性联接性联接竞争式学习规则的本质在于神经网络中高层次的神经元对低竞争式学习规则的本质在于神经网络中高层次的神经元对低层次神经元的输入模式进行竞争识别层次神经元的输入模式进行竞争识别2024/7/121052.5.1无导师学习无导师学习 无导师学习无导师学习(UnsupervisedLearning)与无导与无导师训练师训练(UnsupervisedTraining)相对应相对应 抽抽取取样样本本集集合合中中蕴蕴含含的的统统计计特特性性，并并以以神神经元之间的联接权的形式存于网络中。经元之间的联接权的形式存于网络中。2024/7/121062.5.1无导师学习无导师学习(无监督学习无监督学习)Hebb学学习习律律、竞竞争争与与协协同同（Competitiveand Cooperative）学学习习、随随机机联联接接系系统统（RandomlyConnectedLearning）等。）等。Hebb算法算法D.O.Hebb在在1961年年的核心：的核心