人工神经网络1课件

人工神经网络人工神经网络ArtificialNeuralNetworks2003-2-41医学课件课程目的和基本要求课程目的和基本要求作作为为人人工工神神经经网网络络的的入入门门课课程程，用用于于将将学学生生引引入入人人工工神神经经网络及其应用的研究领域。网络及其应用的研究领域。介绍人工神经网络及其基本网络模型，使学生介绍人工神经网络及其基本网络模型，使学生 了解智能系统描述的基本模型了解智能系统描述的基本模型 掌握人工神经网络的基本概念、单层网、多层网、循环网等各种基本网络模掌握人工神经网络的基本概念、单层网、多层网、循环网等各种基本网络模型的结构、特点、典型训练算法、运行方式、典型问题型的结构、特点、典型训练算法、运行方式、典型问题 掌握软件实现方法。掌握软件实现方法。2003-2-42医学课件课程目的和基本要求课程目的和基本要求了了解解人人工工神神经经网网络络的的有有关关研研究究思思想想，从从中中学学习习开开拓拓者者们们的的部分问题求解方法。部分问题求解方法。通通过过实实验验进进一一步步体体会会有有关关模模型型的的用用法法和和性性能能，获获取取一一些些初初步的经验。步的经验。查查阅阅适适当当的的参参考考文文献献，将将所所学学的的知知识识与与自自己己未未来来研研究究课课题题（包包括括研研究究生生论论文文阶阶段段的的研研究究课课题题）相相结结合合起起来来，达达到到既既丰富学习内容，又有一定的研究和应用的目的。丰富学习内容，又有一定的研究和应用的目的。2003-2-43医学课件主要内容主要内容智能及其实现智能及其实现ANN基础基础PerceptronBPCPN统计方法统计方法Hopfield网网BAMART2003-2-44医学课件主要内容主要内容第一章：引论第一章：引论智智能能的的概概念念、智智能能系系统统的的特特点点及及其其描描述述基基本本模模型型，物物理理符符号号系系统统与与连连接接主主义义的的观观点点及及其其比比较较；人人工工神神经经网网络络的的特特点、发展历史。点、发展历史。2003-2-45医学课件主要内容主要内容第二章第二章人工神经网络基础人工神经网络基础本本章章在在介介绍绍了了基基本本神神经经元元后后，将将概概要要介介绍绍人人工工神神经经网网络络的的一一般般特特性性。主主要要包包括括，生生物物神神经经网网络络模模型型，人人工工神神经经元元模模型型与与典典型型的的激激励励函函数数；人人工工神神经经网网络络的的基基本本拓拓扑扑特特性性，存存 储储 类类 型型（CAMLTM，AMSTM）及及 映映 象象，Supervised训练与训练与Unsupervised训练。训练。2003-2-46医学课件主要内容主要内容第三章第三章感知器感知器感感知知器器与与人人工工神神经经网网络络的的早早期期发发展展；单单层层网网能能解解决决线线性性可可分分问问题题，而而无无法法解解决决线线形形不不可可分分问问题题，要要想想解解决决这这一一问问题题，必必须须引引入入多多层层网网；Hebb学学习习律律，Delta规规则则，感感知知器器的的训训练算法。练算法。实验：实现一个感知器。实验：实现一个感知器。2003-2-47医学课件主要内容主要内容第四章第四章向后传播向后传播BPBP（BackpropagationBackpropagation）网网络络的的构构成成及及其其训训练练过过程程；隐隐藏藏层层权权调调整整方方法法的的直直观观分分析析，BPBP训训练练算算法法中中使使用用的的DeltaDelta规规则则（最最速速下下降降法法）的的理理论论推推导导；算算法法的的收收敛敛速速度度及及其其改改进进讨讨论论；BPBP网络中的几个重要问题。网络中的几个重要问题。实验：实现实验：实现BP算法。算法。2003-2-48医学课件主要内容主要内容第五章第五章对传网对传网生生物物神神经经系系统统与与异异构构网网的的引引入入；对对传传网网的的网网络络结结构构，Kohonen层层与与Grossberg层层的的正正常常运运行行，对对传传网网的的输输入入向向量量的的预预处处理理，Kohonen层层的的训训练练算算法法及及其其权权矩矩阵阵的的初初始始化化方方法；法；Grossberg层的训练；完整的对传网。层的训练；完整的对传网。实验：实现基本的对传网。实验：实现基本的对传网。2003-2-49医学课件主要内容主要内容第六章第六章统计方法统计方法统统计计方方法法是是为为了了解解决决局局部部极极小小点点问问题题而而引引入入的的，统统计计网网络络的的基基本本训训练练算算法法，模模拟拟退退火火算算法法与与收收敛敛分分析析，Cauchy训训练练，人人工工热热处处理理与与临临界界温温度度在在训训练练中中的的使使用用，BP算算法法与与Cauchy训练相结合。训练相结合。实验：实现模拟退火算法。实验：实现模拟退火算法。2003-2-410医学课件主要内容主要内容第七章第七章循环循环网络网络循循环环网网络络的的组组织织，稳稳定定性性分分析析；相相联联存存储储；统统计计Hopfield网与网与Boltzmann机；机；Hopfield网用于解决网用于解决TSP问题。问题。BAM(BAM(BidirectionalBidirectional Associative Associative Memory)Memory)用用于于实实现现双双联联存存储储；基基本本双双联联存存储储网网络络的的结结构构及及训训练练；其其他他的的几几种种相相联联存储网络。存储网络。实验：实现一个实验：实现一个Hopfield网。网。2003-2-411医学课件主要内容主要内容第八章第八章自适应共振理论自适应共振理论人人脑脑的的稳稳定定性性与与可可塑塑性性问问题题；ART模模型型的的总总体体结结构构与与分分块块描描述述；比比较较层层与与识识别别层层之之间间的的两两个个联联接接矩矩阵阵的的初初始始化化，识识别过程与比较过程，查找的实现；训练讨论。别过程与比较过程，查找的实现；训练讨论。2003-2-412医学课件教材及主要参考书目教材及主要参考书目1、蒋蒋宗宗礼礼，人人工工神神经经网网络络导导论论，高高等等教教育育出出版版社社，2001年年8月月2、PhilipD.Wasserman，NeuralComputing:TheoryandPractice，VanNostrandReinhold，19893、胡胡守守仁仁、余余少少波波、戴戴葵葵，神神经经网网络络导导论论，国国防防科科技技大学出版社，大学出版社，1993年年10月月4、杨杨行行峻峻、郑郑君君里里，人人工工神神经经网网络络，高高等等教教育育出出版版社社，1992年年9月月5、Patrick K.Simpson，Artificial Neural Systems-Foundation,Paradigms,Applications,and Implement，PergamonPressInc.19902003-2-413医学课件第第1章章引言引言主要内容主要内容：智能与人工智能；智能与人工智能；ANN的特点；的特点；历史回顾与展望历史回顾与展望重点：重点：智能的本质；智能的本质；ANN是一个非线性大规模并行处理系统是一个非线性大规模并行处理系统难点：难点：对智能的刻画对智能的刻画 2003-2-414医学课件第第1章章引言引言1.1人工神经网络的提出人工神经网络的提出1.2人工神经网络的特点人工神经网络的特点1.3历史回顾历史回顾2003-2-415医学课件第第1章章引言引言人人类类对对人人工工智智能能的的研研究究可可以以分分成成两两种种方方式式对对应应着着两两种种不不同同的技术的技术：传统的人工智能技术传统的人工智能技术心理的角度模拟心理的角度模拟 基于人工神经网络的技术基于人工神经网络的技术生理的角度模拟生理的角度模拟2003-2-416医学课件1.1人工神经网络的提出人工神经网络的提出人人工工神神经经网网络络（Artificial Neural Networks，简简记记作作ANN），是是对对人人类类大大脑脑系系统统的的一一阶阶特特性性的的一一种种描描述述。简简单单地地讲讲，它它是是一一个个数数学学模模型型，可可以以用用电电子子线线路路来来实实现现，也也可可以用以用计算机程序计算机程序来模拟，是人工智能研究的一种方法。来模拟，是人工智能研究的一种方法。2003-2-417医学课件1.1人工神经网络的提出人工神经网络的提出1.1.1智能与人工智能智能与人工智能 一、一、智能的含义智能的含义智智能能是是个个体体有有目目的的的的行行为为，合合理理的的思思维维，以以及及有有效效的的、适适应环境的综合能力应环境的综合能力。智能是个体认识客观事物和运用知识解决问题的能力智能是个体认识客观事物和运用知识解决问题的能力。人类个体的智能是一种综合能力。人类个体的智能是一种综合能力。2003-2-418医学课件1.1人工神经网络的提出人工神经网络的提出智能可以包含智能可以包含8个方面个方面感知与认识感知与认识客观事物、客观世界和自我的能力客观事物、客观世界和自我的能力 感知是智能的基础感知是智能的基础最基本的能力最基本的能力通过通过学习学习取得经验与积累知识的能力取得经验与积累知识的能力 这是人类在世界中能够不断发展的最基本能力。这是人类在世界中能够不断发展的最基本能力。理理解解知知识识，运运用用知知识识和和经经验验分分析析、解解决决问问题题的的能能力力 这这一一能能力力可可以以算算作作是是智智能能的的高高级级形形式式。是是人人类类对对世世界界进进行行适当的改造，推动社会不断发展的基本能力。适当的改造，推动社会不断发展的基本能力。2003-2-419医学课件1.1人工神经网络的提出人工神经网络的提出联想、推理、判断、决策联想、推理、判断、决策的能力的能力 这是智能的高级形式的又一方面。这是智能的高级形式的又一方面。预测和认识预测和认识“主动主动”和和“被动被动”之分。联想、推理、判断、决策的能力是之分。联想、推理、判断、决策的能力是“主动主动”的基的基础。础。运用运用语言语言进行抽象、概括的能力进行抽象、概括的能力上述这五种能力，被认为是人类智能最为上述这五种能力，被认为是人类智能最为基本的能力基本的能力2003-2-420医学课件1.1人工神经网络的提出人工神经网络的提出五种能力综合表现形式的三种能力五种能力综合表现形式的三种能力 发现、发明、创造、创新的能力发现、发明、创造、创新的能力 实时、迅速、合理地应付复杂环境的能力实时、迅速、合理地应付复杂环境的能力 预测、洞察事物发展、变化的能力预测、洞察事物发展、变化的能力 人人工工智智能能：研研究究如如何何使使类类似似计计算算机机这这样样的的设设备备去去模模拟拟人人类类的这些能力。的这些能力。2003-2-421医学课件1.1人工神经网络的提出人工神经网络的提出二、人工智能二、人工智能人人工工智智能能：研研究究如如何何使使类类似似计计算算机机这这样样的的设设备备去去模拟人类的这些能力。模拟人类的这些能力。研究人工智能的目的研究人工智能的目的 增加人类探索世界，推动社会前进的能力增加人类探索世界，推动社会前进的能力 进一步认识自己进一步认识自己三大学术流派三大学术流派 符号主义（或叫做符号符号主义（或叫做符号/逻辑主义）学派逻辑主义）学派 联接主义（或者叫做联接主义（或者叫做PDP）学派学派 进化主义（或者叫做行动进化主义（或者叫做行动/响应）学派响应）学派2003-2-422医学课件1.1人工神经网络的提出人工神经网络的提出1.1.2 1.1.2 物理符号系统物理符号系统 人脑的反映人脑的反映形式化形式化现实现实信息信息数据数据物理系统物理系统物理符号系统物理符号系统表现智能表现智能2003-2-423医学课件1.1人工神经网络的提出人工神经网络的提出NewellNewell和和Simon Simon：一一个个物物理理系系统统表表现现智智能能行行为为的的充充要要条条件件是它有一个物理符号系统是它有一个物理符号系统概概念念：物物理理符符号号系系统统需需要要有有一一组组称称为为符符号号的的实实体体组组成成，它它们们都都是是物物理理模模型型，可可以以在在另另一一类类称称为为符符号号结结构构的的实实体体中中作作为成分出现，以构成更高级别的系统为成分出现，以构成更高级别的系统 2003-2-424医学课件1.1人工神经网络的提出人工神经网络的提出困难：抽象困难：抽象舍弃一些特性，同时保留一些特性舍弃一些特性，同时保留一些特性形形式式化化处处理理用用物物理理符符号号及及相相应应规规则则表表达达物物理理系系统统的的存存在和运行。在和运行。局局限限：对对全全局局性性判判断断、模模糊糊信信息息处处理理、多多粒粒度度的的视视觉觉信信息息处理等是非常困难的。处理等是非常困难的。2003-2-425医学课件1.1人工神经网络的提出人工神经网络的提出1.1.3 1.1.3 联接主义观点联接主义观点 核心：智能的本质是联接机制。核心：智能的本质是联接机制。神神经经网网络络是是一一个个由由大大量量简简单单的的处处理理单单元元组组成成的的高高度度复复杂杂的的大规模非线性自适应系统大规模非线性自适应系统 ANNANN力求从四个方面去模拟人脑的智能行为力求从四个方面去模拟人脑的智能行为 物理结构物理结构 计算模拟计算模拟 存储与操作存储与操作 训练训练 2003-2-426医学课件1.1人工神经网络的提出人工神经网络的提出1.1.4 1.1.4 两种模型的比较两种模型的比较心理过程心理过程逻辑思维逻辑思维高级形式（思维的表象）高级形式（思维的表象）生理过程生理过程形象思维形象思维低级形式（思维的根本）低级形式（思维的根本）仿生仿生人工神经网络人工神经网络联结主义观点联结主义观点物理符号系统物理符号系统2003-2-427医学课件1.1人工神经网络的提出人工神经网络的提出物理符号系统和人工神经网络系统的差别物理符号系统和人工神经网络系统的差别 项目项目物理符号系统物理符号系统人工神经网络人工神经网络处理方式处理方式逻辑运算逻辑运算模拟运算模拟运算执行方式执行方式并行并行串行串行动作动作离散离散连续连续存储存储局部集中局部集中全局分布全局分布2003-2-428医学课件1.1人工神经网络的提出人工神经网络的提出两种人工智能技术的比较两种人工智能技术的比较项目项目基于物理符号系统的基于物理符号系统的传传统的人工智能技术统的人工智能技术 基于联接主义观点的人工神经网络技术基于联接主义观点的人工神经网络技术 基基本本实实现现方式方式串串行行处处理理；由由程程序序实实现现控制控制并并行行处处理理；对对样样本本数数据据进进行行多多目目标标学学习习；通过人工神经元之间的相互作用实现控制通过人工神经元之间的相互作用实现控制基基本本开开发发方法方法设设计计规规则则、框框架架、程程序序；用用样样本本数数据据进进行行调调试试（由由人人根根据据已已知知的的环环境境去构造一个模型）去构造一个模型）定定义义人人工工神神经经网网络络的的结结构构原原型型，通通过过样样本本数数据据，依依据据基基本本的的学学习习算算法法完完成成学学习习自自动动从从样样本本数数据据中中抽抽取取内内涵涵（自自动动适适应应应应用环境）用环境）适应领域适应领域 精精确确计计算算：符符号号处处理理，数值计算数值计算非非精精确确计计算算：模模拟拟处处理理，感感觉觉，大大规规模模数数据并行处理据并行处理模拟对象模拟对象 左脑（逻辑思维）左脑（逻辑思维）右脑（形象思维）右脑（形象思维）2003-2-429医学课件1.2人工神经网络的特点人工神经网络的特点信息的分布表示信息的分布表示运算的全局并行和局部操作运算的全局并行和局部操作处理的非线性处理的非线性 2003-2-430医学课件1.2.1人工神经网络的概念人工神经网络的概念1 1、定义、定义 1）HechtNielsen（1988年）年）人人工工神神经经网网络络是是一一个个并并行行、分分布布处处理理结结构构，它它由由处处理理单单元元及及其其称称为为联联接接的的无无向向讯讯号号通通道道互互连连而而成成。这这些些处处理理单单元元（PEProcessingElement）具具有有局局部部内内存存，并并可可以以完完成成局局部部操操作作。每每个个处处理理单单元元有有一一个个单单一一的的输输出出联联接接，这这个个输输出出可可以以根根据据需需要要被被分分枝枝成成希希望望个个数数的的许许多多并并行行联联接接，且且这这些些并并行行联联接接都都输输出出相相同同的的信信号号，即即相相应应处处理理单单元元的的信信号号，信号的大小不因分支的多少而变化。信号的大小不因分支的多少而变化。2003-2-431医学课件1.2.1人工神经网络的概念人工神经网络的概念（1）HechtNielsen（1988年）（续）年）（续）处处理理单单元元的的输输出出信信号号可可以以是是任任何何需需要要的的数数学学模模型型，每每个个处处理理单单元元中中进进行行的的操操作作必必须须是是完完全全局局部部的的。也也就就是是说说，它它必必须须仅仅仅仅依依赖赖于于经经过过输输入入联联接接到到达达处处理理单单元元的的所所有有输输入入信信号号的的当当前前值值和和存储在处理单元局部内存中的值存储在处理单元局部内存中的值。2003-2-432医学课件1.2.1人工神经网络的概念人工神经网络的概念强调：强调：并行、分布处理结构；并行、分布处理结构；一个处理单元的输出可以被任意分枝，且大小不变；一个处理单元的输出可以被任意分枝，且大小不变；输出信号可以是任意的数学模型；输出信号可以是任意的数学模型；处理单元完全的局部操作处理单元完全的局部操作 2003-2-433医学课件1.2.1人工神经网络的概念人工神经网络的概念（2 2）RumellhartRumellhart，McClellandMcClelland，HintonHinton的的PDP PDP 1 1）一组处理单元一组处理单元（PEPE或或ANAN）；）；2 2）处理单元的处理单元的激活状态激活状态（a ai i）；）；3 3）每个处理单元的每个处理单元的输出函数输出函数（f fi i）；）；4 4）处理单元之间的处理单元之间的联接模式联接模式；5 5）传递规则传递规则（w wijijo oi i）；）；6 6）把把处处理理单单元元的的输输入入及及当当前前状状态态结结合合起起来来产产生生激活值的激活值的激活规则激活规则（F Fi i）；）；7 7）通过经验修改联接强度的通过经验修改联接强度的学习规则学习规则；8 8）系统运行的环境（系统运行的环境（样本样本集合）。集合）。2003-2-434医学课件1.2.1人工神经网络的概念人工神经网络的概念（3）Simpson（1987年）年）人人工工神神经经网网络络是是一一个个非非线线性性的的有有向向图图，图图中中含含有有可可以以通通过过改改变变权权大大小小来来存存放放模模式式的的加加权权边边，并并且且可可以以从从不不完完整整的的或或未知的输入找到模式。未知的输入找到模式。2003-2-435医学课件1.2.1人工神经网络的概念人工神经网络的概念2、关键点、关键点（1 1）信息的分布表示信息的分布表示（2 2）运算的全局并行与局部操作运算的全局并行与局部操作（3 3）处理的非线性特征处理的非线性特征3、对大脑基本特征的模拟、对大脑基本特征的模拟1）形式上：神经元及其联接形式上：神经元及其联接；BN对对AN2）表现特征：信息的存储与处理表现特征：信息的存储与处理2003-2-436医学课件1.2.1人工神经网络的概念人工神经网络的概念4、别名、别名人工神经系统（人工神经系统（ANS）神经网络（神经网络（NN）自自适适应应系系统统（AdaptiveSystems）、自自适适应应网网（AdaptiveNetworks）联接模型（联接模型（Connectionism）神经计算机神经计算机（Neurocomputer）2003-2-437医学课件1.2.2 1.2.2 学习（学习（LearningLearning）能力能力 人工神经网络可以根据所在的环境去改变它的行为。人工神经网络可以根据所在的环境去改变它的行为。自相联的网络自相联的网络异异相相联联的的网网络络：它它在在接接受受样样本本集集合合A时时，可可以以抽抽取取集集合合A中中输入数据与输出数据之间的映射关系。输入数据与输出数据之间的映射关系。“抽象抽象”功能。功能。不同的人工神经网络模型，有不同的学习不同的人工神经网络模型，有不同的学习/训练算法。训练算法。2003-2-438医学课件1.2.3基本特征的自动提取基本特征的自动提取由由于于其其运运算算的的不不精精确确性性，表表现现成成“去去噪噪音音、容容残残缺缺”的的能能力，利用这种不精确性，比较自然地实现模式的自动分类。力，利用这种不精确性，比较自然地实现模式的自动分类。普化（普化（Generalization）能力与抽象能力能力与抽象能力 2003-2-439医学课件1.2.4信息的分布存放信息的分布存放信息的分布存提供容错功能信息的分布存提供容错功能由由于于信信息息被被分分布布存存放放在在几几乎乎整整个个网网络络中中，所所以以，当当其其中中的的某某一一个个点点或或者者某某几几个个点点被被破破坏坏时时，信信息息仍仍然然可可以以被被存存取取。这这能能够够保保证证系系统统在在受受到到一一定定的的损伤时还可以正常工作。损伤时还可以正常工作。并并不不是是说说可可以以任任意意地地对对完完成成学学习习的的网网络络进进行行修修改改。也也正正是是由由于于信信息息的的分分布布存存放放，对对一一类类网网来来说说，当当它它完完成成学学习习后后，如如果果再再让让它它学学习习新新的的东东西西，这这时时就会破坏原来已学会的东西。就会破坏原来已学会的东西。2003-2-440医学课件1.2.5适应性适应性(Applicability)问题问题擅长两个方面：擅长两个方面：对大量的数据进行分类，并且只有较少的几种情况；对大量的数据进行分类，并且只有较少的几种情况；必须学习一个复杂的非线性映射。必须学习一个复杂的非线性映射。目前应用：目前应用：人们主要将其用于语音、视觉、知识处理、辅助决策等方面。人们主要将其用于语音、视觉、知识处理、辅助决策等方面。在数据压缩、模式匹配、系统建模、模糊控制、求组合优化问题的最佳解的在数据压缩、模式匹配、系统建模、模糊控制、求组合优化问题的最佳解的近似解（不是最佳近似解）等方面也有较好的应用。近似解（不是最佳近似解）等方面也有较好的应用。2003-2-441医学课件1.3历史回顾历史回顾1.3.1萌芽期（萌芽期（20世纪世纪40年代）年代）人人工工神神经经网网络络的的研研究究最最早早可可以以追追溯溯到到人人类类开开始始研研究究自自己己的的智能的时期，到智能的时期，到1949年止。年止。1943年年，心心理理学学家家McCulloch和和数数学学家家Pitts建建立立起起了了著著名名的的阈阈值值加加权权和和模模型型，简简称称为为M-P模模型型。发发表表于于数数学学生生物物物物理学会刊理学会刊BulletinofMethematicalBiophysics1949年年，心心理理学学家家D.O.Hebb提提出出神神经经元元之之间间突突触触联联系系是是可变的假说可变的假说Hebb学习律。学习律。2003-2-442医学课件1.3.2第一高潮期（第一高潮期（19501968）以以MarvinMinsky，FrankRosenblatt，BernardWidrow等为代表人物，代表作是单级感知器（等为代表人物，代表作是单级感知器（Perceptron）。）。可用电子线路模拟。可用电子线路模拟。人人们们乐乐观观地地认认为为几几乎乎已已经经找找到到了了智智能能的的关关键键。许许多多部部门门都都开始大批地投入此项研究，希望尽快占领制高点。开始大批地投入此项研究，希望尽快占领制高点。2003-2-443医学课件1.3.3反思期（反思期（19691982）M.L.Minsky和和S.Papert，Perceptron，MITPress，1969年年 异或异或”运算不可表示运算不可表示 二十世纪二十世纪70年代和年代和80年代早期的研究结果年代早期的研究结果 认识规律：认识认识规律：认识实践实践再认识再认识 2003-2-444医学课件1.3.4第二高潮期（第二高潮期（19831990）1982年年，J.Hopfield提提出出循循环环网网络络，并并将将Lyapunov函函数数作作为为网网络络性性能能判判定定的的能能量量函函数数，阐阐明明了了人人工工神神经经网网络络与与动动力力学学的的关关系系，用用非非线线性性动动力力学学的的方方法法来来研研究究人人工工神神经经网网络络的的特特性性，建建立立了了人人工工神神经经网网络络稳稳定定性性的的判判别别依依据据，指指出出信信息息被存放在网络中神经元的联接上。被存放在网络中神经元的联接上。2003-2-445医学课件1.3.4第二高潮期（第二高潮期（19831990）2）1984年年，J.Hopfield设设计计研研制制了了后后来来被被人人们们称称为为Hopfield网网的的电电路路。较较好好地地解解决决了了著著名名的的TSP问问题题，找找到到了最佳解的近似解，引起了较大的轰动。了最佳解的近似解，引起了较大的轰动。3）1985年年，美美国国加加州州大大学学圣圣地地亚亚哥哥分分校校（UCSD）的的Hinton、Sejnowsky、Rumelhart等等人人所所在在的的并并行行分分布布处处理理（PDP）小小组组的的研研究究者者在在Hopfield网网络络中中引引入入了了随随机机机机制制，提出所谓的提出所谓的Boltzmann机。机。2003-2-446医学课件1.3.4第二高潮期（第二高潮期（19831990）4）1986年年，并并行行分分布布处处理理小小组组的的Rumelhart等等研研究究者者重重新新独独立立地地提提出出多多层层网网络络的的学学习习算算法法BP算算法法，较较好好地地解解决决了多层网络的学习问题。（了多层网络的学习问题。（Paker1982和和Werbos1974年）年）国内首届神经网络大会是国内首届神经网络大会是1990年年12月在北京举行的月在北京举行的。2003-2-447医学课件1.3.5再认识与应用研究期（再认识与应用研究期（1991）问题：问题：1）应用面还不够宽应用面还不够宽2）结果不够精确结果不够精确3 3）存在可信度的问题）存在可信度的问题 2003-2-448医学课件1.3.5再认识与应用研究期（再认识与应用研究期（1991）研究：研究：1）开开发发现现有有模模型型的的应应用用，并并在在应应用用中中根根据据实实际际运运行行情情况况对对模模型型、算算法法加加以以改改造造，以以提提高高网网络络的的训训练速度和运行的准确度。练速度和运行的准确度。2）充分发挥两种技术各自的优势是一个有效方法充分发挥两种技术各自的优势是一个有效方法3）希希望望在在理理论论上上寻寻找找新新的的突突破破，建建立立新新的的专专用用/通用模型和算法。通用模型和算法。4 4）进进一一步步对对生生物物神神经经系系统统进进行行研研究究，不不断断地地丰丰富富对人脑的认识。对人脑的认识。2003-2-449医学课件第第2章章人工神经网络基础人工神经网络基础主要内容主要内容：BN与与AN；拓扑结构；拓扑结构；存储；存储；训练训练重点：重点：AN；拓扑结构；训练拓扑结构；训练难点：难点：训练训练2003-2-450医学课件第第2章章人工神经网络基础人工神经网络基础2.1 2.1 生物神经网生物神经网 2.2 2.2 人工神经元人工神经元 2.3 2.3 人工神经网络的拓扑特性人工神经网络的拓扑特性 2.4 2.4 存储与映射存储与映射 2.5 2.5 人工神经网络的训练人工神经网络的训练2003-2-451医学课件2.1 2.1 生物神经网生物神经网1、构成、构成2、工作过程、工作过程 胞体胞体(Soma)枝蔓（枝蔓（Dendrite）胞体胞体(Soma)轴突（轴突（Axon）突触（突触（Synapse）2003-2-452医学课件2.1 2.1 生物神经网生物神经网3、六个基本特征：、六个基本特征：1）神经元及其联接神经元及其联接；2）神经元之间的联接强度决定神经元之间的联接强度决定信号传递信号传递的强弱；的强弱；3）神经元之间的联接强度是可以随神经元之间的联接强度是可以随训练训练改变的；改变的；4）信信号号可可以以是是起起刺刺激激作作用用的的，也也可可以以是是起起抑抑制制作作用的；用的；5）一一个个神神经经元元接接受受的的信信号号的的累累积积效效果果决决定定该该神神经经元的状态；元的状态；6)每个神经元可以有一个每个神经元可以有一个“阈值阈值”。2003-2-453医学课件2.2人工神经元人工神经元神经元是构成神经网络的最基本单元（构件）。神经元是构成神经网络的最基本单元（构件）。人工神经元模型应该具有生物神经元的六个基本特性。人工神经元模型应该具有生物神经元的六个基本特性。2003-2-454医学课件2.2.1人工神经元的基本构成人工神经元的基本构成人工神经元模拟生物神经元的人工神经元模拟生物神经元的一阶特性一阶特性。输入：输入：X=（x1，x2，xn）联接权：联接权：W=（w1，w2，wn）T 网络输入：网络输入：net=xiwi 向量形式：向量形式：net=XWxnwnx1w1x2w2net=XW2003-2-455医学课件2.2.2激活函数激活函数(ActivationFunction)激激活活函函数数执执行行对对该该神神经经元元所所获获得得的的网网络络输输入入的的变变换换，也可以称为激励函数、活化函数：也可以称为激励函数、活化函数：o=f（net）1、线性函数（线性函数（LinerFunction）f（net）=k*net+c netooc2003-2-456医学课件2、非线性斜面函数（、非线性斜面函数（RampFunction）2、非线性斜面函数（、非线性斜面函数（RampFunction）ifnetf（net）=k*netif|net|0为一常数，被称为饱和值，为该神经元的最大输出。为一常数，被称为饱和值，为该神经元的最大输出。2003-2-457医学课件2、非线性斜面函数（、非线性斜面函数（RampFunction）-neto2003-2-458医学课件3、阈值函数（、阈值函数（ThresholdFunction）阶跃函数阶跃函数3、阈值函数（、阈值函数（ThresholdFunction）阶跃函数阶跃函数ifnetf（net）=-ifnet、均为非负实数，均为非负实数，为阈值为阈值二值形式：二值形式：1ifnetf（net）=0ifnet双极形式：双极形式：1ifnetf（net）=-1ifnet 2003-2-459医学课件3、阈值函数（、阈值函数（ThresholdFunction）阶跃函数阶跃函数-onet02003-2-460医学课件4、S形函数形函数压压缩缩函函数数（SquashingFunction）和和逻逻辑辑斯斯特特函函数数（LogisticFunction）。）。f（net）=a+b/(1+exp(-d*net)a，b，d为常数。它的饱和值为为常数。它的饱和值为a和和a+b。最简单形式为：最简单形式为：f（net）=1/(1+exp(-d*net)函数的饱和值为函数的饱和值为0和和1。S形函数有较好的增益控制形函数有较好的增益控制 2003-2-461医学课件4、S形函数形函数a+bo(0,c)netac=a+b/22003-2-462医学课件2.2.3M-P模型模型x2w2fo=f（net）xnwnnet=XWx1w1McCullochPitts（MP）模型，模型，也称为处理单元（也称为处理单元（PE）2003-2-463医学课件2.3人工神经网络的拓扑特性人工神经网络的拓扑特性连接的拓扑表示连接的拓扑表示 ANiwijANj2003-2-464医学课件2.3.1联接模式联接模式用用正正号号（“+”，可可省省略略）表表示示传传送送来来的的信信号号起起刺刺激激作作用用，它用于增加神经元的活跃度；它用于增加神经元的活跃度；用用负负号号（“-”）表表示示传传送送来来的的信信号号起起抑抑制制作作用用，它它用用于于降低神经元的活跃度。降低神经元的活跃度。层层次次（又又称称为为“级级”）的的划划分分，导导致致了了神神经经元元之之间间的的三三种种不同的不同的互连模式互连模式：2003-2-465医学课件2.3.1联接模式联接模式1、层（级）内联接层（级）内联接层层内内联联接接又又叫叫做做区区域域内内（Intra-field）联联接接或或侧侧联联接接（Lateral）。）。用来加强和完成层内神经元之间的竞争用来加强和完成层内神经元之间的竞争2 2、循环联接循环联接反馈信号。反馈信号。2003-2-466医学课件2.3.1联接模式联接模式3、层（级）间联接、层（级）间联接 层层间间（Inter-field）联联接接指指不不同同层层中中的的神神经经元元之之间间的的联联接接。这这种种联联接接用用来来实实现现层层间间的的信信号传递号传递 前馈信号前馈信号 反馈信号反馈信号 2003-2-467医学课件2.3.2网络的分层结构网络的分层结构单级网单级网 简单单级网简单单级网 W=（wij）输出层的第输出层的第j个神经元的网络输入记为个神经元的网络输入记为netj：netj=x1w1j+x2w2j+xnwnj 其中其中,1jm。取取 NET=（net1，net2，netm）NET=XWY=F（NET）2003-2-468医学课件简单单级网简单单级网wnm输出层输出层x1o1w11w1mx2o2w2mxnomwn1输入层输入层2003-2-469医学课件单级横向反馈网单级横向反馈网V=（vij）NET=XW+OVO=F（NET）稳定性判定稳定性判定时时间间参参数数神神经经元元的的状状态态在在主主时时钟钟的的控控制制下下同同步变化步变化考虑考虑X总加在网上的情况总加在网上的情况 NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1)O（0）=0考虑仅在考虑仅在t=0时加时加X的情况。的情况。2003-2-470医学课件单级横向反馈网单级横向反馈网输出层输出层x1o1w11w1mx2o2w2mxnomwn1输入层输入层V2003-2-471医学课件多级网多级网层次划分层次划分 信号只被允许从较低层流向较高层。信号只被允许从较低层流向较高层。层层号号确确定定层层的的高高低低：层层号号较较小小者者，层层次次较较低低，层号较大者，层次较高。层号较大者，层次较高。输输入入层层：被被记记作作第第0层层。该该层层负负责责接接收收来来自自网络外部的信息网络外部的信息2003-2-472医学课件多级网多级网 第第j层层：第第j-1层层的的直直接接后后继继层层（j0），它它直直接接受第接接受第j-1层的输出。层的输出。输输出出层层：它它是是网网络络的的最最后后一一层层，具具有有该该网网络络的最大层号，负责输出网络的计算结果。的最大层号，负责输出网络的计算结果。隐藏层隐藏层：除输入层和输出层以外的其它各层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号也不直接向外界发送信号2003-2-473医学课件多级网多级网x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn2003-2-474医学课件多级网多级网约定约定 输出层的层号为该网络的层数：输出层的层号为该网络的层数：n层网络，或层网络，或n级网络。级网络。第第j-1层层到到第第j层层的的联联接接矩矩阵阵为为第第j层层联联接接矩矩阵阵，输输出出层层对对应应的的矩矩阵阵叫叫输输出出层层联联接接矩矩阵阵。今今后后，在在需需要要的的时时候候，一一般般我我们用们用W（j）表示第表示第j层矩阵层矩阵。非线性激活函数非线性激活函数 2003-2-475医学课件循环网循环网如如果果将将输输出出信信号号反反馈馈到到输输入入端端,就就可可构构成成一一个个多多层层的循环网络。的循环网络。输入的原始信号被逐步地输入的原始信号被逐步地“加强加强”、被、被“修复修复”。大大脑脑的的短短期期记记忆忆特特征征看看到到的的东东西西不不是是一一下下子子就从脑海里消失的。就从脑海里消失的。稳稳定定：反反馈馈信信号号会会引引起起网网络络输输出出的的不不断断变变化化。我我们们希希望望这这种种变变化化逐逐渐渐减减小小，并并且且最最后后能能消消失失。当当变变化化最最后后消消失失时时，网网络络达达到到了了平平衡衡状状态态。如如果果这这种变化不能消失，则称该网络是不稳定的。种变化不能消失，则称该网络是不稳定的。2003-2-476医学课件循环网循环网x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn2003-2-477医学课件2.4存储与映射存储与映射空间模式空间模式（SpatialModel）时空模式时空模式（SpatialtemporalModel）空间模式三种空间模式三种存储类型存储类型1、RAM方式（方式（RandomAccessMemory）随机访问方式是将地址映射到数据。随机访问方式是将地址映射到数据。2、CAM方式（方式（ContentAddressableMemory）内容寻址方式是将数据映射到地址。内容寻址方式是将数据映射到地址。3、AM方式（方式（AssociativeMemory）相联存储方式是将数据映射到数据。相联存储方式是将数据映射到数据。2003-2-478医学课件2.4存储与映射存储与映射后续的两种方式是人工神经网络的工作方式。后续的两种方式是人工神经网络的工作方式。在在学学习习/训训练练期期间间，人人工工神神经经网网络络以以CAM方方式式工工作作；权权矩矩阵阵又又被被称称为为网网络络的的长长期期存存储储（LongTermMemory，简简记记为为LTM）。）。网网络络在在正正常常工工作作阶阶段段是是以以AM方方式式工工作作的的；神神经经元元的的状状态态表表示示的的模模式式为为短短期期存存储储（Short Term Memory，简简记记为为STM）。2003-2-479医学课件2.4存储与映射存储与映射自自相相联联（Auto-associative）映映射射：训训练练网网络络的的样样本本集集为为向向量集合为量集合为A1，A2，An在在理理想想情情况况下下，该该网网络络在在完完成成训训练练后后，其其权权矩矩阵阵存存放放的的将将是上面所给的向量集合。是上面所给的向量集合。2003-2-480医学课件2.4存储与映射存储与映射异相联（异相联（Hetero-associative）映射映射（A1，B1），（），（A2，B2），），（，（An，Bn）该该网网络络在在完完成成训训练练后后，其其权权矩矩阵阵存存放放的的将将是是上上面面所给的向量集合所蕴含的对应关系。所给的向量集合所蕴含的对应关系。当当输输入入向向量量A不不是是样样本本的的第第一一的的分分量量时时，样样本本中中不不存在这样的元素（存在这样的元素（Ak，Bk），），使得使得AiA Ak kAA或者或者AAA Ak kA Aj j且此时有且此时有AiAAA Aj j则向量则向量B是是Bi与与Bj的插值。的插值。2003-2-481医学课件2.5人工神经网络的训练人工神经网络的训练人工神经网络最具有吸引力的特点是它的学习能力。人工神经网络最具有吸引力的特点是它的学习能力。1962年年，Rosenblatt给给出出了了人人工工神神经经网网络络著著名名的的学学习习定定理理：人工神经网络可以学会它可以表达的任何东西。人工神经网络可以学会它可以表达的任何东西。人工神经网络的表达能力大大地限制了它的学习能力。人工神经网络的表达能力大大地限制了它的学习能力。人工神经网络的学习过程就是对它的训练过程人工神经网络的学习过程就是对它的训练过程2003-2-482医学课件2.5.1无导师学习无导师学习无无 导导 师师 学学 习习(Unsupervised Learning)与与 无无 导导 师师 训训 练练(UnsupervisedTraining)相对应相对应 抽抽取取样样本本集集合合中中蕴蕴含含的的统统计计特特性性，并并以以神神经经元元之之间间的的联联接接权的形式存于网络中。权的形式存于网络中。2003-2-483医学课件2.5.1无导师学习无导师学习Hebb学学 习习 律律、竞竞 争争 与与 协协 同同（CompetitiveandCooperative）学学 习习、随随 机机 联联 接接 系系 统统（RandomlyConnectedLearning）等。等。Hebb算法算法D.O.Hebb在在1961年年的核心：的核心：当两个神经元同时处于激发状态时被加强，否则被减弱。当两个神经元同时处于激发状态时被加强，否则被减弱。可用如下数学表达式表示：可用如下数学表达式表示：Wij（t+1）=Wij（t）+oi（t）oj（t）2003-2-484医学课件2.5.2有导师学习有导师学习有有导导师师学学习习(SupervisedLearning)与与有有导导师师训训练练(SupervisedTraining)相对应。相对应。输输入入向向量量与与其其对对应应的的输输出出向向量量构构成成一一个个“训训练练对对”。有导师学习的训练算法的主要步骤包括：有导师学习的训练算法的主要步骤包括：1）从样本集合中取一个样本（从样本集合中取一个样本（Ai，Bi）；）；2）计算出网络的实际输出计算出网络的实际输出O；3）求求D=Bi-O；4）根据根据D调整权矩阵调整权矩阵W；5 5）对对每每个个样样本本重重复复上上述述过过程程，直直到到对对整整个个样样本本集集来来说说，误差不超过规定范围。误差不超过规定范围。2003-2-485医学课件Delta规则规则Widrow和和Hoff的写法的写法：Wij（t+1）=Wij（t）+（yj-aj（t）oi（t）也可以写成：也可以写成：Wij（t+1）=Wij（t）+Wij（t）Wij（t）=joi（t）j=yj-oj（t）Grossberg的写法为：的写法为：Wij（t）=ai（t）（）（oj（t）-Wij（t）更一般的更一般的Delta规则为：规则为：Wij（t）=g（ai（t），），yj，oj（t），），Wij（t）2003-2-486医学课件第第3章章感知器感知器主要内容主要内容：感知器与人工神经网络的早期发展；感知器与人工神经网络的早期发展；线性可分问题与线性不可分问题；线性可分问题与线性不可分问题；Hebb学习律；学习律；Delta规则规则 感知器的训练算法。感知器的训练算法。重点：重点：感知器的结构、表达能力、学习算法感知器的结构、表达能力、学习算法难点：难点：感知器的表达能力感知器的表达能力 2003-2-487医学课件第第3章章感知器感知器3.1感知器与人工神经网络的早期发展感知器与人工神经网络的早期发展 3.2感知器的学习算法感知器的学习算法 3.2.1离散单输出感知器训练算法离散单输出感知器训练算法 3.2.2离散多输出感知器训练算法离散多输出感知器训练算法 3.2.3连续多输出感知器训练算法连续多输出感知器训练算法3.3线性不可分问题线性不可分问题 3.3.1异或异或(ExclusiveOR)问题问题 3.3.2线性不可分问题的克服线性不可分问题的克服 2003-2-488医学课件3.1感知器与感知器与ANNANN的早期发展的早期发展McCulloch 和和Pitts 1943年年，发发表表第第一一个个系系统统的的ANN研究。研究。1947年，开发出感知器，即阈值加权和年，开发出感知器，即阈值加权和(M-P)模型模型单输出的感知器单输出的感知器(M-P模型模型)x2x1oxn2003-2-489医学课件3.1感知器与感知器与ANNANN的早期发展的早期发展1962年年，Rosenblatt宣宣布布：人人工工神神经经网网络络可可以以学学会会它它能能表表示的任何东西示的任何东西 o1多输出感知器多输出感知器x1x2o2omxn输入层输入层输出层输出层2003-2-490医学课件3.2感知器的学习算法感知器的学习算法 感知器的学习是有导师学习感知器的学习是有导师学习 感感知知器器的的训训练练算算法法的的基基本本原原理理来来源源于于著著名名的的Hebb学学习习律律 基基本本思思想想：逐逐步步地地将将样样本本集集中中的的样样本本输输入入到到网网络络中中,根根据输出结果和理想输出之间的差别来调整网络中的权矩阵据输出结果和理想输出之间的差别来调整网络中的权矩阵 2003-2-491医学课件3.2.1离散单输出感知器训练算法离散单输出感知器训练算法二二值值网网络络：自自变变量量及及其其函函数数的的值值、向向量量分分量量的的值值只只取取0和和1函数、向量。函数、向量。权向量：权向量：W=（w1，w2，wn）输入向量：输入向量：X=（x1，x2，xn）训练样本集：训练样本集：（X，Y）|Y为为输入向量输入向量X对应的输出对应的输出 2003-2-492医学课件算法算法3-1离散单输出感知器训练算法离散单输出感知器训练算法1初始化权向量初始化权向量W；2重复下列过程，直到训练完成：重复下列过程，直到训练完成：21对每个样本（对每个样本（X，Y），），重复如下过程：重复如下过程：211输入输入X；212计算计算o=F（XW）；）；213如果输出不正确，则如果输出不正确，则当当o=0时，取时，取W=W+X，当当o=1时，取时，取W=W-X2003-2-493医学课件3.2.2离散多输出感知器训练算法离散多输出感知器训练算法激活函数：激活函数：F 权矩阵权矩阵W=（wij）样本集：样本集：(X,Y)|Y为为输入向量输入向量X对应的输出对应的输出输入向量：输入向量：X=（x1,x2,xn）理想输出向量：理想输出向量：Y=（y1,y2,ym）实际输出向量实际输出向量：O=（o1,o2,om）2003-2-494医学课件算法算法3-2离散多输出感知器训练算法离散多输出感知器训练算法1初始化权矩阵初始化权矩阵W；2重复下列过程，直到训练完成：重复下列过程，直到训练完成：21对每个样本（对每个样本（X，Y），），重复如下过程：重复如下过程：211输入输入X；212计算计算O=F（XW）；）；213fori=1tom执行如下操作：执行如下操作：ifoiyithenifoi=0thenforj=1tonwij=wij+xielseforj=1tonwij=wij-xi2003-2-495医学课件算法算法3-2离散多输出感知器训练算法离散多输出感知器训练算法算算法法思思想想：将将单单输输出出感感知知器器的的处处理理逐逐个个地地用用于于多多输输出出感感知知器输出层的每一个神经元的处理。器输出层的每一个神经元的处理。第第1步，步，权矩阵的初始化权矩阵的初始化：一系列小伪随机数。：一系列小伪随机数。2003-2-496医学课件算法算法3-2离散多输出感知器训练算法离散多输出感知器训练算法第第2步，步，循环控制。循环控制。方法方法1：循环次数控制法：循环次数控制法：对样本集执行规定次数的迭代：对样本集执行规定次数的迭代改改进进分分阶阶段段迭迭代代控控制制：设设定定一一个个基基本本的的迭迭代代次次数数N，每当训练完成每当训练完成N次迭代后，就给出一个中间结果次迭代后，就给出一个中间结果2003-2-497医学课件算法算法3-2离散多输出感知器训练算法离散多输出感知器训练算法方法方法2：精度控制法：精度控制法：给定一个精度控制参数给定一个精度控制参数 精精度度度度量量：实实际际输输出出向向量量与与理理想想输输出出向向量量的的对应分量的差的绝对值之和；对应分量的差的绝对值之和；实实际际输输出出向向量量与与理理想想输输出出向向量量的的欧欧氏氏距距离离的的和和“死死循循环环”：网网络络无无法法表表示示样样本本所所