浙江大学人工神经网络培训课件

浙江大学人工神经网络主要参考书目主要参考书目1、Philip D.Wasserman，Neural Computing:TheoryandPractice，VanNostrandReinhold，19892、胡胡守守仁仁、余余少少波波、戴戴葵葵，神神经经网网络络导导论论，国防科技大学出版社，国防科技大学出版社，1993年年10月月3、杨杨行行峻峻、郑郑君君里里，人人工工神神经经网网络络，高高等等教教育出版社，育出版社，1992年年9月月4、闻新、周露、王丹力、熊晓英，闻新、周露、王丹力、熊晓英，MATLABMATLAB神神经网络应用设计，科学出版社，经网络应用设计，科学出版社，2001.5.2001.5.7/6/20242浙江大学人工神经网络课程目的和基本要求课程目的和基本要求 作为人工神经网络的入门课程，用于将学作为人工神经网络的入门课程，用于将学生引入人工神经网络及其应用的研究领域。生引入人工神经网络及其应用的研究领域。介绍人工神经网络及其基本网络模型，使介绍人工神经网络及其基本网络模型，使学生学生了解智能系统描述的基本模型了解智能系统描述的基本模型掌握人工神经网络的基本概念、单层网、多层掌握人工神经网络的基本概念、单层网、多层网、循环网等各种基本网络模型的结构、特点、网、循环网等各种基本网络模型的结构、特点、典型训练算法、运行方式、典型问题典型训练算法、运行方式、典型问题掌握软件实现方法。掌握软件实现方法。7/6/20243浙江大学人工神经网络课程目的和基本要求课程目的和基本要求了解人工神经网络的有关研究思想，从中了解人工神经网络的有关研究思想，从中学习开拓者们的部分问题求解方法。学习开拓者们的部分问题求解方法。通过实验进一步体会有关模型的用法和性通过实验进一步体会有关模型的用法和性能，获取一些初步的经验。能，获取一些初步的经验。查阅适当的参考文献，将所学的知识与自查阅适当的参考文献，将所学的知识与自己未来研究课题（包括研究生论文阶段的己未来研究课题（包括研究生论文阶段的研究课题）相结合起来，达到既丰富学习研究课题）相结合起来，达到既丰富学习内容，又有一定的研究和应用的目的。内容，又有一定的研究和应用的目的。7/6/20244浙江大学人工神经网络主要内容主要内容 智能及其实现智能及其实现ANN基础基础PerceptronBPCPN统计方法统计方法Hopfield网与网与BAMART7/6/20245浙江大学人工神经网络主要内容主要内容第一章：引论第一章：引论 智能的概念、智能系统的特点及其描述基本智能的概念、智能系统的特点及其描述基本模型，物理符号系统与连接主义的观点及模型，物理符号系统与连接主义的观点及其比较；人工神经网络的特点、发展历史。其比较；人工神经网络的特点、发展历史。7/6/20246浙江大学人工神经网络主要内容主要内容第二章第二章人工神经网络基础人工神经网络基础 本本章章在在介介绍绍了了基基本本神神经经元元后后，将将概概要要介介绍绍人人工工神神经经网网络络的的一一般般特特性性。主主要要包包括括，生生物物神神经经网网络络模模型型，人人工工神神经经元元模模型型与与典典型型的的激激励励函函数数；人人工工神神经经网网络络的的基基本本拓拓扑扑特特性性，存存 储储 类类 型型（CAMLTM，AMSTM）及及映映象象，Supervised训训练练与与Unsupervised训练。训练。7/6/20247浙江大学人工神经网络主要内容主要内容第三章第三章感知器感知器 感知器与人工神经网络的早期发展；单层感知器与人工神经网络的早期发展；单层网能解决线性可分问题，而无法解决线形网能解决线性可分问题，而无法解决线形不可分问题，要想解决这一问题，必须引不可分问题，要想解决这一问题，必须引入多层网；入多层网；Hebb学习律，学习律，Delta规则，感知规则，感知器的训练算法。器的训练算法。实验：实现一个感知器。实验：实现一个感知器。7/6/20248浙江大学人工神经网络主要内容主要内容第四章第四章向后传播向后传播BPBP（BackpropagationBackpropagation）网络的构成及其训）网络的构成及其训练过程；隐藏层权调整方法的直观分析，练过程；隐藏层权调整方法的直观分析，BPBP训练算法中使用的训练算法中使用的DeltaDelta规则（最速下降法）规则（最速下降法）的理论推导；算法的收敛速度及其改进讨论；的理论推导；算法的收敛速度及其改进讨论；BPBP网络中的几个重要问题。网络中的几个重要问题。实验：实现实验：实现BP算法。算法。7/6/20249浙江大学人工神经网络主要内容主要内容第五章第五章对传网对传网生物神经系统与异构网的引入；对传网的生物神经系统与异构网的引入；对传网的网络结构，网络结构，Kohonen层与层与Grossberg层的正层的正常运行，对传网的输入向量的预处理，常运行，对传网的输入向量的预处理，Kohonen层的训练算法及其权矩阵的初始化层的训练算法及其权矩阵的初始化方法；方法；Grossberg层的训练；完整的对传网。层的训练；完整的对传网。实验：实现基本的对传网。实验：实现基本的对传网。7/6/202410浙江大学人工神经网络主要内容主要内容第六章第六章统计方法统计方法统统计计方方法法是是为为了了解解决决局局部部极极小小点点问问题题而而引引入入的的，统统计计网网络络的的基基本本训训练练算算法法，模模拟拟退退火火算算法法与与收收敛敛分分析析，Cauchy训训练练，人人工工热热处处理理与与临临界界温温度度在在训训练练中中的的使使用用，BP算算法法与与Cauchy训练相结合。训练相结合。实验：实现模拟退火算法。实验：实现模拟退火算法。7/6/202411浙江大学人工神经网络主要内容主要内容第七章第七章循环循环网络网络循循环环网网络络的的组组织织，稳稳定定性性分分析析；相相联联存存储储；统统计计Hopfield网网与与Boltzmann机机；Hopfield网用于解决网用于解决TSP问题。问题。BAM(Bidirectional BAM(Bidirectional Associative Associative Memory)Memory)用用于于实实现现双双联联存存储储；基基本本双双联联存存储储网网络络的的结构及训练；其他的几种相联存储网络。结构及训练；其他的几种相联存储网络。实验：实现一个实验：实现一个Hopfield网。网。7/6/202412浙江大学人工神经网络主要内容主要内容第八章第八章自适应共振理论自适应共振理论人脑的稳定性与可塑性问题；人脑的稳定性与可塑性问题；ART模型的模型的总体结构与分块描述；比较层与识别层之总体结构与分块描述；比较层与识别层之间的两个联接矩阵的初始化，识别过程与间的两个联接矩阵的初始化，识别过程与比较过程，查找的实现；训练讨论。比较过程，查找的实现；训练讨论。7/6/202413浙江大学人工神经网络第第1章章引言引言主要内容主要内容：智能与人工智能；智能与人工智能；ANN的特点；的特点；历史回顾与展望历史回顾与展望重点：重点：智能的本质；智能的本质；ANN是一个非线性大规模并行处理系统是一个非线性大规模并行处理系统难点：难点：对智能的刻画对智能的刻画 7/6/202414浙江大学人工神经网络第第1章章引言引言1.1人工神经网络的提出人工神经网络的提出1.2人工神经网络的特点人工神经网络的特点1.3历史回顾历史回顾7/6/202415浙江大学人工神经网络第第1章章引言引言人人类类对对人人工工智智能能的的研研究究可可以以分分成成两两种种方方式式对应着对应着两种不同的技术两种不同的技术：传统的人工智能技术传统的人工智能技术心理的角度模拟心理的角度模拟基于人工神经网络的技术基于人工神经网络的技术生理的角度模拟生理的角度模拟7/6/202416浙江大学人工神经网络1.1人工神经网络的提出人工神经网络的提出 人工神经网络（人工神经网络（ArtificialNeuralNetworks，简记作，简记作ANN），是对人类大脑系统的一），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个阶特性的一种描述。简单地讲，它是一个数学模型数学模型，可以用，可以用电子线路电子线路来实现，也可来实现，也可以用以用计算机程序计算机程序来模拟，是人工智能研究来模拟，是人工智能研究的一种方法。的一种方法。7/6/202417浙江大学人工神经网络1.1人工神经网络的提出人工神经网络的提出1.1.1智能与人工智能智能与人工智能 一、一、智能的含义智能的含义智能是个体有目的的行为，合理的思维，智能是个体有目的的行为，合理的思维，以及有效的、适应环境的综合能力以及有效的、适应环境的综合能力。智能是个体认识客观事物和运用知识解决智能是个体认识客观事物和运用知识解决问题的能力问题的能力。人类个体的智能是一种综合能力。人类个体的智能是一种综合能力。7/6/202418浙江大学人工神经网络1.1人工神经网络的提出人工神经网络的提出智能可以包含智能可以包含8个方面个方面感知与认识感知与认识客观事物、客观世界和自我的能力客观事物、客观世界和自我的能力感知是智能的基础感知是智能的基础最基本的能力最基本的能力通过通过学习学习取得经验与积累知识的能力取得经验与积累知识的能力这是人类在世界中能够不断发展的最基本能力。这是人类在世界中能够不断发展的最基本能力。理解知识理解知识，运用知识运用知识和经验分析、解决问题的能和经验分析、解决问题的能力力这这一一能能力力可可以以算算作作是是智智能能的的高高级级形形式式。是是人人类类对对世世界界进行适当的改造，推动社会不断发展的基本能力。进行适当的改造，推动社会不断发展的基本能力。7/6/202419浙江大学人工神经网络1.1人工神经网络的提出人工神经网络的提出联想、推理、判断、决策语言联想、推理、判断、决策语言的能力的能力这是智能的高级形式的又一方面。这是智能的高级形式的又一方面。预测和认识预测和认识“主动主动”和和“被动被动”之分。联想、推理、判断、之分。联想、推理、判断、决策的能力是决策的能力是“主动主动”的基础。的基础。运用进行抽象、概括的能力运用进行抽象、概括的能力上述这上述这5 5种能力，被认为是人类智能最为种能力，被认为是人类智能最为基基本的能力本的能力7/6/202420浙江大学人工神经网络1.1人工神经网络的提出人工神经网络的提出作为作为5 5种能力综合表现形式的种能力综合表现形式的3 3种能力种能力发现、发明、创造、创新的能力发现、发明、创造、创新的能力 实时、迅速、合理地应付复杂环境的能实时、迅速、合理地应付复杂环境的能力力 预测、洞察事物发展、变化的能力预测、洞察事物发展、变化的能力 7/6/202421浙江大学人工神经网络1.1人工神经网络的提出人工神经网络的提出二、人工智能二、人工智能人工智能：研究如何使类似计算机这样的设备去人工智能：研究如何使类似计算机这样的设备去模拟人类的这些能力。模拟人类的这些能力。研究人工智能的目的研究人工智能的目的增加人类探索世界，推动社会前进的能力增加人类探索世界，推动社会前进的能力进一步认识自己进一步认识自己三大学术流派三大学术流派符号主义（或叫做符号符号主义（或叫做符号/逻辑主义）学派逻辑主义）学派联接主义（或者叫做联接主义（或者叫做PDP）学派）学派进化主义（或者叫做行动进化主义（或者叫做行动/响应）学派响应）学派7/6/202422浙江大学人工神经网络1.1人工神经网络的提出人工神经网络的提出1.1.2 物理符号系统物理符号系统 人脑的反映人脑的反映形式化形式化现实现实信息信息数据数据物理系统物理系统物理符号系统物理符号系统表现智能表现智能7/6/202423浙江大学人工神经网络1.1人工神经网络的提出人工神经网络的提出NewellNewell和和SimonSimon假说假说 ：一个物理系统表现：一个物理系统表现智能行为的充要条件是它有一个物理符号智能行为的充要条件是它有一个物理符号系统系统概念：物理符号系统需要有一组称为符号概念：物理符号系统需要有一组称为符号的实体组成，它们都是物理模型，可以在的实体组成，它们都是物理模型，可以在另一类称为符号结构的实体中作为成分出另一类称为符号结构的实体中作为成分出现，以构成更高级别的系统现，以构成更高级别的系统 7/6/202424浙江大学人工神经网络1.1人工神经网络的提出人工神经网络的提出困难：困难：抽象抽象舍弃一些特性，同时保留一些特性舍弃一些特性，同时保留一些特性形形式式化化处处理理用用物物理理符符号号及及相相应应规规则则表表达达物物理系统的存在和运行。理系统的存在和运行。局限：局限：对全局性判断、模糊信息处理、多粒度的视觉对全局性判断、模糊信息处理、多粒度的视觉信息处理等是非常困难的。信息处理等是非常困难的。7/6/202425浙江大学人工神经网络1.1人工神经网络的提出人工神经网络的提出1.1.3 1.1.3 联接主义观点联接主义观点 核心：智能的本质是联接机制。核心：智能的本质是联接机制。神经网络是一个由大量简单的处理单元组神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统成的高度复杂的大规模非线性自适应系统 ANNANN力求从四个方面去模拟人脑的智能行为力求从四个方面去模拟人脑的智能行为物理结构物理结构 计算模拟计算模拟 存储与操作存储与操作 训练训练 7/6/202426浙江大学人工神经网络1.1人工神经网络的提出人工神经网络的提出1.1.4 1.1.4 两种模型的比较两种模型的比较心理过程心理过程逻辑思维逻辑思维高级形式（思维的表象）高级形式（思维的表象）生理过程生理过程形象思维形象思维低级形式（思维的根本）低级形式（思维的根本）仿生仿生人工神经网络人工神经网络联结主义观点联结主义观点物理符号系统物理符号系统7/6/202427浙江大学人工神经网络1.1人工神经网络的提出人工神经网络的提出物理符号系统和人工神经网络系统的差别物理符号系统和人工神经网络系统的差别 项目项目物理符号系统物理符号系统人工神经网络人工神经网络处理方式处理方式逻辑运算逻辑运算模拟运算模拟运算执行方式执行方式串行串行并行并行动作动作离散离散连续连续存储存储局部集中局部集中全局分布全局分布7/6/202428浙江大学人工神经网络1.1人工神经网络的提出人工神经网络的提出两种人工智能技术的比较两种人工智能技术的比较项目项目传统的传统的AIAI技术技术 ANN技术技术 基本实现基本实现方式方式串行处理；由程序实现串行处理；由程序实现控制控制并行处理；对样本数据进行多目标学习；并行处理；对样本数据进行多目标学习；通过人工神经元之间的相互作用实现控制通过人工神经元之间的相互作用实现控制基基本本开开发发方法方法设设计计规规则则、框框架架、程程序序；用用样样本本数数据据进进行行调调试试（由由人人根根据据已已知知的的环环境境去构造一个模型）去构造一个模型）定义人工神经网络的结构原型，通过样本定义人工神经网络的结构原型，通过样本数据，依据基本的学习算法完成学习数据，依据基本的学习算法完成学习自动从样本数据中抽取内涵（自动适应应自动从样本数据中抽取内涵（自动适应应用环境）用环境）适应领域适应领域 精精确确计计算算：符符号号处处理理，数值计算数值计算非精确计算：模拟处理，感觉，大规模数非精确计算：模拟处理，感觉，大规模数据并行处理据并行处理模拟对象模拟对象 左脑（逻辑思维）左脑（逻辑思维）右脑（形象思维）右脑（形象思维）7/6/202429浙江大学人工神经网络1.2人工神经网络的特点人工神经网络的特点信息的分布表示信息的分布表示运算的全局并行和局部操作运算的全局并行和局部操作处理的非线性处理的非线性 7/6/202430浙江大学人工神经网络1.2.1人工神经网络的概念人工神经网络的概念1、定义、定义 1）HechtNielsen（1988年）年）人工神经网络是一个并行、分布处理结构，它由人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。处理单元及其称为联接的无向讯号通道互连而成。这些处理单元（这些处理单元（PEProcessingElement）具有）具有局部内存，并可以完成局部操作。每个处理单元局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要有一个单一的输出联接，这个输出可以根据需要被分枝成希望个数的许多并行联接，且这些并行被分枝成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。信号的大小不因分支的多少而变化。7/6/202431浙江大学人工神经网络1.2.1人工神经网络的概念人工神经网络的概念（1）HechtNielsen（1988年）（续）年）（续）处理单元的输出信号可以是任何需要处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。存储在处理单元局部内存中的值。7/6/202432浙江大学人工神经网络1.2.1人工神经网络的概念人工神经网络的概念强调：强调：并行、分布处理结构；并行、分布处理结构；一一个个处处理理单单元元的的输输出出可可以以被被任任意意分分枝枝，且且大小不变；大小不变；输出信号可以是任意的数学模型；输出信号可以是任意的数学模型；处理单元完全的局部操作处理单元完全的局部操作 7/6/202433浙江大学人工神经网络1.2.1人工神经网络的概念人工神经网络的概念（2）Rumellhart，McClelland，Hinton的的PDP 1）一组处理单元一组处理单元（PE或或AN）；）；2）处理单元的处理单元的激活状态激活状态（ai）；）；3）每个处理单元的每个处理单元的输出函数输出函数（fi）；）；4）处理单元之间的处理单元之间的联接模式联接模式；5）传递规则传递规则（wijoi）；）；6）把把处处理理单单元元的的输输入入及及当当前前状状态态结结合合起起来来产产生生激活值的激活值的激活规则激活规则（Fi）；）；7）通过经验修改联接强度的通过经验修改联接强度的学习规则学习规则；8）系统运行的环境（系统运行的环境（样本样本集合）。集合）。7/6/202434浙江大学人工神经网络1.2.1人工神经网络的概念人工神经网络的概念（3）Simpson（1987年）年）人工神经网络是一个非线性的有向图，图人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输加权边，并且可以从不完整的或未知的输入找到模式。入找到模式。7/6/202435浙江大学人工神经网络1.2.1人工神经网络的概念人工神经网络的概念2、关键点、关键点（1 1）信息的分布表示信息的分布表示（2 2）运算的全局并行与局部操作运算的全局并行与局部操作（3 3）处理的非线性特征处理的非线性特征3、对大脑基本特征的模拟、对大脑基本特征的模拟1）形式上：神经元及其联接；形式上：神经元及其联接；BN对对AN2）表现特征：信息的存储与处理表现特征：信息的存储与处理7/6/202436浙江大学人工神经网络1.2.1人工神经网络的概念人工神经网络的概念4、别名、别名人工神经系统（人工神经系统（ANS）神经网络（神经网络（NN）自自适适应应系系统统（AdaptiveSystems）、自自适适应应网（网（AdaptiveNetworks）联接模型（联接模型（Connectionism）神经计算机（神经计算机（Neurocomputer）7/6/202437浙江大学人工神经网络1.2.2 1.2.2 学习（学习（LearningLearning）能力）能力 人人工工神神经经网网络络可可以以根根据据所所在在的的环环境境去去改改变变它的行为它的行为自相联的网络自相联的网络异异相相联联的的网网络络：它它在在接接受受样样本本集集合合A时时，可可以以抽抽取取集集合合A中中输输入入数数据据与与输输出出数数据据之之间间的的映射关系。映射关系。“抽象抽象”功能。功能。不同的人工神经网络模型，有不同的学习不同的人工神经网络模型，有不同的学习/训练算法训练算法7/6/202438浙江大学人工神经网络1.2.3基本特征的自动提取基本特征的自动提取 由由于于其其运运算算的的不不精精确确性性，表表现现成成“去去噪噪音音、容容残残缺缺”的的能能力力，利利用用这这种种不不精精确确性性，比比较自然地实现模式的自动分类。较自然地实现模式的自动分类。普化（普化（Generalization）能力与抽象能力）能力与抽象能力 7/6/202439浙江大学人工神经网络1.2.4信息的分布存放信息的分布存放信息的分布存提供容错功能信息的分布存提供容错功能由于信息被分布存放在几乎整个网络中，所以，当其由于信息被分布存放在几乎整个网络中，所以，当其中的某一个点或者某几个点被破坏时，信息仍然可以中的某一个点或者某几个点被破坏时，信息仍然可以被存取。被存取。系统在受到系统在受到局部局部损伤时还可以正常工作。损伤时还可以正常工作。并不是说可以任意地对完成学习的网络进行修改。并不是说可以任意地对完成学习的网络进行修改。也正是由于信息的分布存放，对一类网来说，当也正是由于信息的分布存放，对一类网来说，当它完成学习后，如果再让它学习新的东西，这时它完成学习后，如果再让它学习新的东西，这时就会破坏原来已学会的东西。就会破坏原来已学会的东西。7/6/202440浙江大学人工神经网络1.2.5适应性适应性(Applicability)问问题题 擅长两个方面：擅长两个方面：对对大大量量的的数数据据进进行行分分类类，并并且且只只有有较较少少的的几几种种情况；情况；必须学习一个复杂的非线性映射。必须学习一个复杂的非线性映射。目前应用：目前应用：人们主要将其用于语音、视觉、知识处理、辅人们主要将其用于语音、视觉、知识处理、辅助决策等方面。助决策等方面。在数据压缩、模式匹配、系统建模、模糊控制、在数据压缩、模式匹配、系统建模、模糊控制、求组合优化问题的最佳解的近似解（不是最佳求组合优化问题的最佳解的近似解（不是最佳近似解）等方面也有较好的应用。近似解）等方面也有较好的应用。7/6/202441浙江大学人工神经网络1.3历史回顾历史回顾 1.3.1萌芽期（萌芽期（20世纪世纪40年代）年代）人人工工神神经经网网络络的的研研究究最最早早可可以以追追溯溯到到人人类类开始研究自己的智能的时期，到开始研究自己的智能的时期，到1949年止。年止。1943年年，心心理理学学家家McCulloch和和数数学学家家Pitts建建立立起起了了著著名名的的阈阈值值加加权权和和模模型型，简简称称为为M-P模模型型。发发表表于于数数学学生生物物物物理理学学会会刊刊BulletinofMethematicalBiophysics1949年，心理学家年，心理学家D.O.Hebb提出神经元之提出神经元之间突触联系是可变的假说间突触联系是可变的假说Hebb学习律。学习律。7/6/202442浙江大学人工神经网络1.3.2第一高潮期（第一高潮期（19501968）以以 Marvin Minsky，Frank Rosenblatt，BernardWidrow等等为为代代表表人人物物，代代表表作作是是单级感知器（单级感知器（Perceptron）。）。可用电子线路模拟。可用电子线路模拟。人们乐观地认为几乎已经找到了智能的关人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。希望尽快占领制高点。7/6/202443浙江大学人工神经网络1.3.3反思期（反思期（19691982）M.L.Minsky和和S.Papert，Perceptron，MITPress，1969年年 异或异或”运算不可表示运算不可表示 二十世纪二十世纪70年代和年代和80年代早期的研究结果年代早期的研究结果 认识规律：认识认识规律：认识实践实践再认识再认识 7/6/202444浙江大学人工神经网络1.3.4第二高潮期（第二高潮期（19831990）1982年，年，J.Hopfield提出循环网络提出循环网络用用Lyapunov函数函数作为网络性能判定的能量函数，作为网络性能判定的能量函数，建立建立ANNANN稳定性的判别依据稳定性的判别依据阐明了阐明了ANNANN与动力学的关系与动力学的关系用非线性动力学的方法来研究用非线性动力学的方法来研究ANNANN的特性的特性指出信息被存放在网络中神经元的联接上指出信息被存放在网络中神经元的联接上 7/6/202445浙江大学人工神经网络1.3.4第二高潮期（第二高潮期（19831990）2）1984年，年，J.Hopfield设计研制了后来被设计研制了后来被人们称为人们称为Hopfield网网的电路。较好地解决了的电路。较好地解决了著名的著名的TSP问题，找到了最佳解的近似解，问题，找到了最佳解的近似解，引起了较大的轰动。引起了较大的轰动。3）1985年，年，UCSD的的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理等人所在的并行分布处理（PDP）小组的研究者在）小组的研究者在Hopfield网络中引网络中引入了随机机制，提出所谓的入了随机机制，提出所谓的Boltzmann机机。7/6/202446浙江大学人工神经网络1.3.4第二高潮期（第二高潮期（19831990）4）1986年年，并并 行行 分分 布布 处处 理理 小小 组组 的的Rumelhart等等研研究究者者重重新新独独立立地地提提出出多多层层网网络络的的学学习习算算法法BP算算法法，较较好好地地解解决决了了多多 层层 网网 络络 的的 学学 习习 问问 题题。（Paker1982和和Werbos1974年）年）国内首届神经网络大会国内首届神经网络大会是是1990年年12月在北月在北京举行的京举行的。7/6/202447浙江大学人工神经网络1.3.5再认识与应用研究期再认识与应用研究期（1991）问题：问题：1）应用面还不够宽应用面还不够宽2）结果不够精确结果不够精确3 3）存在可信度的问题）存在可信度的问题 7/6/202448浙江大学人工神经网络1.3.5再认识与应用研究期再认识与应用研究期（1991）研究：研究：1）开开发发现现有有模模型型的的应应用用，并并在在应应用用中中根根据据实实际际运运行行情情况况对对模模型型、算算法法加加以以改改造造，以以提提高高网网络络的的训训练速度和运行的准确度。练速度和运行的准确度。2）充分发挥两种技术各自的优势是一个有效方法充分发挥两种技术各自的优势是一个有效方法3）希希望望在在理理论论上上寻寻找找新新的的突突破破，建建立立新新的的专专用用/通用模型和算法。通用模型和算法。4 4）进进一一步步对对生生物物神神经经系系统统进进行行研研究究，不不断断地地丰丰富富对人脑的认识。对人脑的认识。7/6/202449浙江大学人工神经网络第第2章章 人工神经网络基础人工神经网络基础主要内容主要内容：BN与与AN；拓扑结构；拓扑结构；存储；存储；训练训练重点：重点：AN；拓扑结构；训练；拓扑结构；训练难点：难点：训练训练7/6/202450浙江大学人工神经网络第第2章章 人工神经网络基础人工神经网络基础2.1 2.1 生物神经网生物神经网 2.2 2.2 人工神经元人工神经元 2.3 2.3 人工神经网络的拓扑特性人工神经网络的拓扑特性 2.4 2.4 存储与映射存储与映射 2.5 2.5 人工神经网络的训练人工神经网络的训练7/6/202451浙江大学人工神经网络2.1 2.1 生物神经网生物神经网1、构成、构成胞体胞体(Soma)枝蔓（枝蔓（Dendrite）胞体胞体(Soma)轴突（轴突（Axon）突触（突触（Synapse）2、工作过程、工作过程7/6/202452浙江大学人工神经网络2.1 2.1 生物神经网生物神经网3、六个基本特征：、六个基本特征：1）神经元及其联接神经元及其联接；2）神经元之间的联接强度决定神经元之间的联接强度决定信号传递信号传递的强弱；的强弱；3）神经元之间的联接强度是可以随神经元之间的联接强度是可以随训练训练改变的；改变的；4）信信号号可可以以是是起起刺刺激激作作用用的的，也也可可以以是是起起抑抑制制作作用的；用的；5）一一个个神神经经元元接接受受的的信信号号的的累累积积效效果果决决定定该该神神经经元的状态；元的状态；6)每个神经元可以有一个每个神经元可以有一个“阈值阈值”。7/6/202453浙江大学人工神经网络2.2人工神经元人工神经元 神神经经元元是是构构成成神神经经网网络络的的最最基基本本单单元元（构构件）。件）。人工神经元模型应该具有生物神经元的六人工神经元模型应该具有生物神经元的六个基本特性。个基本特性。7/6/202454浙江大学人工神经网络2.2.1人工神经元的基本构成人工神经元的基本构成 人工神经元模拟生物神经元的人工神经元模拟生物神经元的一阶特性一阶特性。输入：输入：X=（x1，x2，xn）联接权：联接权：W=（w1，w2，wn）T网络输入：网络输入：net=xiwi向量形式：向量形式：net=XWxnwnx1w1x2w2net=XW7/6/202455浙江大学人工神经网络2.2.2激活函数激活函数(ActivationFunction)激激活活函函数数执执行行对对该该神神经经元元所所获获得得的的网网络络输输入入的的变变换换，也也可可以以称称为为激激励励函函数数、活活化函数：化函数：o=f（net）1、线性函数（、线性函数（LinerFunction）f（net）=k*net+c netooc7/6/202456浙江大学人工神经网络2、非线性斜面函数、非线性斜面函数(RampFunction)ifnetf（net）=k*netif|net|0为一常数，被称为饱和值，为该神经元为一常数，被称为饱和值，为该神经元的最大输出。的最大输出。7/6/202457浙江大学人工神经网络2、非线性斜面函数（、非线性斜面函数（RampFunction）-neto7/6/202458浙江大学人工神经网络3、阈值函数（、阈值函数（ThresholdFunction）阶跃函数）阶跃函数ifnetf（net）=-ifnet、均为非负实数，均为非负实数，为阈值为阈值二值形式：二值形式：1ifnetf（net）=0ifnet双极形式：双极形式：1ifnetf（net）=-1ifnet 7/6/202459浙江大学人工神经网络3、阈值函数（、阈值函数（ThresholdFunction）阶跃函数）阶跃函数-onet07/6/202460浙江大学人工神经网络4、S形函数形函数 压压缩缩函函数数（SquashingFunction）和和逻逻辑辑斯斯特特函数（函数（LogisticFunction）。）。f（net）=a+b/(1+exp(-d*net)a，b，d为常数。它的饱和值为为常数。它的饱和值为a和和a+b。最简单形式为：最简单形式为：f（net）=1/(1+exp(-d*net)函数的饱和值为函数的饱和值为0和和1。S形函数有较好的增益控制形函数有较好的增益控制 7/6/202461浙江大学人工神经网络4、S形函数形函数 a+bo(0,c)netac=a+b/27/6/202462浙江大学人工神经网络2.2.3M-P模型模型 x2w2fo=f（net）xnwnnet=XWx1w1McCullochPitts（MP）模型，）模型，也称为处理单元（也称为处理单元（PE）7/6/202463浙江大学人工神经网络上次课内容回顾上次课内容回顾擅长两个方面擅长两个方面目前应用目前应用语音、视觉、知识处理语音、视觉、知识处理数据压缩、模式匹配、系统建模、模糊控制、求数据压缩、模式匹配、系统建模、模糊控制、求组合优化问题的最佳解的近似解（不是最佳近似组合优化问题的最佳解的近似解（不是最佳近似解）解）辅助决策辅助决策预报与智能管理预报与智能管理通信通信自适应均衡、回波抵消、路由选择、自适应均衡、回波抵消、路由选择、ATM中的呼叫接纳、识别与控制中的呼叫接纳、识别与控制空间科学空间科学对接、导航、制导、飞行程序优化对接、导航、制导、飞行程序优化7/6/202464浙江大学人工神经网络上次课内容回顾上次课内容回顾发展过程发展过程萌芽期（萌芽期（20世纪世纪40年代）年代）M-P模型模型Hebb学习律学习律第一高潮期（第一高潮期（19501968）PerceptronPerceptron的兴衰的兴衰反思期（反思期（19691982）第二高潮期（第二高潮期（19831990）4 4个标志性成果个标志性成果再认识与应用研究期（再认识与应用研究期（1991）7/6/202465浙江大学人工神经网络上次课内容回顾上次课内容回顾生物神经网生物神经网六个基本特征六个基本特征神神经经元元及及其其联联接接、信信号号传传递递、训训练练、刺刺激激与与抑抑制、累积效果制、累积效果、“阈值阈值”。人工神经元的基本构成人工神经元的基本构成xnwnx1w1x2w2net=XW7/6/202466浙江大学人工神经网络上次课内容回顾上次课内容回顾激活函数与激活函数与M-P模型模型 线性函数、非线性斜面函数、线性函数、非线性斜面函数、阈值函数阈值函数S形函数形函数 M-P模型模型x2w2fo=f（net）xnwnnet=XWx1w17/6/202467浙江大学人工神经网络2.3人工神经网络的拓扑特性人工神经网络的拓扑特性 连接的拓扑表示连接的拓扑表示 ANiwijANj7/6/202468浙江大学人工神经网络2.3.1联接模式联接模式 用用正正号号（“+”，可可省省略略）表表示示传传送送来来的的信信号号起起刺刺激激作作用用，它它用用于于增增加加神神经经元元的的活活跃跃度；度；用用负负号号（“-”）表表示示传传送送来来的的信信号号起起抑抑制制作用，它用于降低神经元的活跃度。作用，它用于降低神经元的活跃度。层次层次（又称为（又称为“级级”）的划分，导致了神）的划分，导致了神经元之间的三种不同的经元之间的三种不同的互连模式互连模式：7/6/202469浙江大学人工神经网络2.3.1联接模式联接模式 1、层（级）内联接层（级）内联接层内联接又叫做区域内（层内联接又叫做区域内（Intra-field）联）联接或侧联接（接或侧联接（Lateral）。）。用来加强和完成层内神经元之间的竞争用来加强和完成层内神经元之间的竞争2 2、循环联接循环联接反馈信号。反馈信号。7/6/202470浙江大学人工神经网络2.3.1联接模式联接模式3、层（级）间联接、层（级）间联接 层层间间（Inter-field）联联接接指指不不同同层层中中的的神神经经元元之之间间的的联联接接。这这种种联联接接用用来来实实现现层层间的信号传递间的信号传递前馈信号前馈信号反馈信号反馈信号 7/6/202471浙江大学人工神经网络2.3.2网络的分层结构网络的分层结构 单级网单级网 简单单级网简单单级网 7/6/202472浙江大学人工神经网络简单单级网简单单级网x1x2xno1o2omwnmw11w1mw2mwn1输出层输出层输入层输入层7/6/202473浙江大学人工神经网络简单单级网简单单级网W=（wij）输输出出层层的的第第j个个神神经经元元的的网网络络输输入入记记为为netj：netj=x1w1j+x2w2j+xnwnj其中其中,1jm。取。取NET=（net1，net2，netm）NET=XWO=F（NET）7/6/202474浙江大学人工神经网络单级横向反馈网单级横向反馈网输出层输出层x1o1w11w1mx2o2w2mxnomwn1输入层输入层V7/6/202475浙江大学人工神经网络单级横向反馈网单级横向反馈网 V=（vij）NET=XW+OVO=F（NET）时时间间参参数数神神经经元元的的状状态态在在主主时时钟钟的的控控制制下下同同步变化步变化考虑考虑X总加在网上的情况总加在网上的情况NET（t+1）=X（t）W+O（t）VO(t+1)=F(NET(t+1)O（0）=0考虑仅在考虑仅在t=0时加时加X的情况。的情况。稳定性判定稳定性判定7/6/202476浙江大学人工神经网络多级网多级网输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn7/6/202477浙江大学人工神经网络层次划分层次划分 信号只被允许从较低层流向较高层。信号只被允许从较低层流向较高层。层层号号确确定定层层的的高高低低：层层号号较较小小者者，层层次次较低，层号较大者，层次较高。较低，层号较大者，层次较高。输输入入层层：被被记记作作第第0层层。该该层层负负责责接接收收来来自网络外部的信息自网络外部的信息输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn7/6/202478浙江大学人工神经网络第第j层层：第第j-1层层的的直直接接后后继继层层（j0），它它直直接接接受第接受第j-1层的输出。层的输出。输输出出层层：它它是是网网络络的的最最后后一一层层，具具有有该该网网络络的的最大层号，负责输出网络的计算结果。最大层号，负责输出网络的计算结果。隐藏层隐藏层：除输入层和输出层以外的其它各层叫：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号直接向外界发送信号输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn7/6/202479浙江大学人工神经网络约定约定:输输出出层层的的层层号号为为该该网网络络的的层层数数：n层层网网络络，或或n级级网络。网络。第第j-1层层到到第第j层层的的联联接接矩矩阵阵为为第第j层层联联接接矩矩阵阵，输输出出层层对对应应的的矩矩阵阵叫叫输输出出层层联联接接矩矩阵阵。今今后后，在在需需要的时候，一般我们用要的时候，一般我们用W（j）表示第表示第j层矩阵层矩阵。输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xnW(1)W(2)W(3)W(h)7/6/202480浙江大学人工神经网络多级网多级网h层网络层网络输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xnW(1)W(2)W(3)W(h)7/6/202481浙江大学人工神经网络多级网多级网非线性激活函数非线性激活函数 F(X)=kX+CF3(F2(F1(XW(1)W(2)W(3)7/6/202482浙江大学人工神经网络循环网循环网x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn7/6/202483浙江大学人工神经网络循环网循环网 如如果果将将输输出出信信号号反反馈馈到到输输入入端端,就就可可构构成成一一个个多多层层的循环网络。的循环网络。输入的原始信号被逐步地输入的原始信号被逐步地“加强加强”、被、被“修复修复”。大大脑脑的的短短期期记记忆忆特特征征看看到到的的东东西西不不是是一一下下子子就从脑海里消失的。就从脑海里消失的。稳定稳定：反馈信号会引起网络输出的不断变化。我：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。种变化不能消失，则称该网络是不稳定的。7/6/202484浙江大学人工神经网络2.4存储与映射存储与映射 空间模式空间模式（SpatialModel）时空模式时空模式（SpatialtemporalModel）空间模式三种空间模式三种存储类型存储类型1、RAM方式（方式（RandomAccessMemory）随机访问方式是将地址映射到数据。随机访问方式是将地址映射到数据。2、CAM方式（方式（ContentAddressableMemory）内容寻址方式是将数据映射到地址。内容寻址方式是将数据映射到地址。3、AM方式（方式（AssociativeMemory）相联存储方式是将数据映射到数据。相联存储方式是将数据映射到数据。7/6/202485浙江大学人工神经网络2.4存储与映射存储与映射后续的两种方式是人工神经网络的工作方式。后续的两种方式是人工神经网络的工作方式。在在学学习习/训训练练期期间间，人人工工神神经经网网络络以以CAM方方式式工工作作；权权矩矩阵阵又又被被称称为为网网络络的的长长期期存存储储（LongTermMemory，简记为，简记为LTM）。）。网网络络在在正正常常工工作作阶阶段段是是以以AM方方式式工工作作的的；神神经经元元的的状状态态表表示示的的模模式式为为短短期期存存储储（ShortTermMemory，简记为，简记为STM）。7/6/202486浙江大学人工神经网络2.4存储与映射存储与映射自自相相联联（Auto-associative）映映射射：训训练练网网络络的样本集为向量集合为的样本集为向量集合为A1，A2，An在理想情况下，该网络在完成训练后，其在理想情况下，该网络在完成训练后，其权矩阵存放的将是上面所给的向量集合。权矩阵存放的将是上面所给的向量集合。7/6/202487浙江大学人工神经网络2.4存储与映射存储与映射异相联（异相联（Hetero-associative）映射）映射（A1，B1），（），（A2，B2），），（，（An，Bn）该该网网络络在在完完成成训训练练后后，其其权权矩矩阵阵存存放放的的将将是是上上面面所给的向量集合所蕴含的对应关系。所给的向量集合所蕴含的对应关系。当当输输入入向向量量A不不是是样样本本的的第第一一的的分分量量时时，样样本本中中不存在这样的元素（不存在这样的元素（Ak，Bk），使得），使得AiAAk kAA或者或者AAAAk kAAj j且此时有且此时有AiAAAAj j则向量则向量B是是Bi与与Bj的插值。的插值。7/6/202488浙江大学人工神经网络2.5人工神经网络的训练人工神经网络的训练 人人工工神神经经网网络络最最具具有有吸吸引引力力的的特特点点是是它它的的学习能力。学习能力。1962年年，Rosenblatt给给出出了了人人工工神神经经网网络络著著名名的的学学习习定定理理：人人工工神神经经网网络络可可以以学学会会它它可以表达的任何东西。可以表达的任何东西。人人工工神神经经网网络络的的表表达达能能力力大大大大地地限限制制了了它它的学习能力。的学习能力。人人工工神神经经网网络络的的学学习习过过程程就就是是对对它它的的训训练练过程过程7/6/202489浙江大学人工神经网络2.5.1无导师学习无导师学习 无导师学习无导师学习(UnsupervisedLearning)与无与无导师训练导师训练(UnsupervisedTraining)相对应相对应 抽抽取取样样本本集集合合中中蕴蕴含含的的统统计计特特性性，并并以以神神经元之间的联接权的形式存于网络中。经元之间的联接权的形式存于网络中。7/6/202490浙江大学人工神经网络2.5.1无导师学习无导师学习Hebb学学习习律律、竞竞争争与与协协同同（Competitiveand Cooperative）学学习习、随随机机联联接接系系统统（RandomlyConnectedLearning）等。）等。Hebb算法算法D.O.Hebb在在1961年年的核心：的核心：当当两两个个神神经经元元同同时时处处于于激激发发状状态态时时被被加加强，否则被减弱。强，否则被减弱。数学表达式表示：数学表达式表示：Wij（t+1）=Wij（t）+oi（t）oj（t）7/6/202491浙江大学人工神经网络2.5.2有导师学习有导师学习 有有导导师师学学习习(SupervisedLearning)与与有有导导师师训训练练(SupervisedTraining)相对应。相对应。输输入入向向量量与与其其对对应应的的输输出出向向量量构构成成一一个个“训训练练对对”。有导师学习的训练算法的主要步骤包括：有导师学习的训练算法的主要步骤包括：1）从样本集合中取一个样本（从样本集合中取一个样本（Ai，Bi）；）；2）计算出网络的实际输出计算出网络的实际输出O；3）求求D=Bi-O；4）根据根据D调整权矩阵调整权矩阵W；5 5）对对每每个个样样本本重重复复上上述述过过程程，直直到到对对整整个个样样本本集集来来说，误差不超过规定范围。说，误差不超过规定范围。7/6/202492浙江大学人工神经网络Delta规则规则 Widrow和和Hoff的写法的写法：Wij(t+1)=Wij(t)+(yj-aj(t)oi(t)也可以写成：也可以写成：Wij(t+1)=Wij(t)+Wij(t)Wij(t)(t)=joi(t)(t)j=yj-aj(t)(t)Grossberg的写法为：的写法为：Wij(t)=a(t)=ai i(t)(o(t)(oj j(t)-W(t)-Wijij(t)(t)更一般的更一般的Delta规则为：规则为：Wij(t)=g(ai(t)，yj，oj(t)，Wij(t)7/6/202493浙江大学人工神经网络其它其它再例学习再例学习外部环境对系统的输出结果给出评价，学习系外部环境对系统的输出结果给出评价，学习系统通过强化受奖的动作来改善自身性能。统通过强化受奖的动作来改善自身性能。学习规则学习规则误差纠错学习误差纠错学习Hebb学习学习竞争学习竞争学习7/6/202494浙江大学人工神经网络练习题练习题P291、4、6、10、15 7/6/202495浙江大学人工神经网络上次课内容回顾上次课内容回顾:网络的分层结网络的分层结构构联接模式联接模式刺激联接与抑制联接刺激联接与抑制联接前馈信号与反馈信号前馈信号与反馈信号层（级）内联接层（级）内联接循环联接循环联接层（级）间联接层（级）间联接 简单单级网：简单单级网：NET=XW；O=F(NET)单单 级级 横横 向向 反反 馈馈 网网:NET=XW+O(t)V;O(t)=F(NET)7/6/202496浙江大学人工神经网络上次课内容回顾上次课内容回顾:网络的分层结网络的分层结构构非循环多级网非循环多级网层次划分层次划分非线性激活函数：非线性激活函数：F3(F2(F1(XW1)W2)W3)循环网循环网短期记忆特征及其对输入信号的修复作用短期记忆特征及其对输入信号的修复作用时间参数与主时钟时间参数与主时钟稳定性稳定性7/6/202497浙江大学人工神经网络上次课内容回顾：上次课内容回顾：存储与映射存储与映射模式模式空间模式空间模式时空模式时空模式模式三种模式三种存储类型存储类型RAM、CAM、AM模式的存储与运行模式的存储与运行CAMLTM训练训练AMSTM运行运行相联：自相联映射、异相联映射相联：自相联映射、异相联映射7/6/202498浙江大学人工神经网络上次课内容回顾：上次课内容回顾：训练训练Rosenblatt的的学习定理学习定理无导师学习无导师学习抽取样本集合中蕴含的统计特性抽取样本集合中蕴含的统计特性样本集：样本集：A1，A2，AnHebb算法：算法：Wij(t+1)=Wij(t)+oi(t)oj(t)有导师学习有导师学习抽取样本蕴含的映射关系抽取样本蕴含的映射关系样本集：样本集：(A1,B1)，(A2,B2)，(An,Bn)训练算法训练算法Delta规则规则7/6/202499浙江大学人工神经网络第第3章章感知器感知器 主要内容主要内容：感知器与人工神经网络的早期发展；感知器与人工神经网络的早期发展；线性可分问题与线性不可分问题；线性可分问题与线性不可分问题；Hebb学习律；学习律；Delta规则规则;感知器的训练算法。感知器的训练算法。重点：重点：感知器的结构、表达能力、学习算法感