人工神经网络PPT

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,*,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,人工神经网络PPT,概述,1.1 什么是人工神经网络,人工神经网络：是一种应用类似于大脑神经突触联接的构造进展信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点或称神经元和之间相互联接构成。每个节点代表一种特定的输出函数，称为鼓励函数activation function。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出那么依网络的连接方式，权重值和鼓励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。,简单来说, 大脑是由大量神经细胞或神经元组成的。,每个神经元可看作是一个小的处理单元，这些神经元按某种方式连接起来，形成大脑内部的生理神经元网络。,这种神经元网络中各神经元之间联结的强弱，按外部的鼓励信号做自适应变化，而每个神经元又随着所接收到的多个接收信号的综合大小而呈现兴奋或抑制状态。,现已明确大脑的学习过程就是神经元之间连接强度随外部鼓励信息做自适应变化的过程，而大脑处理信息的结果那么由神经元的状态表现出来。,由于我们建立的信息处理系统实际上是模仿生理神经网络，因此称它为人工神经网络。,需要指出，尽管人工神经网络是对大脑构造的模仿，但这种模仿目前还处于极低的水平。,按美国神经网络学者Nielsen的定义,人工神经网络是一个并行、分布处理构造，它由处理单元及其称为联接的无向讯号通道互连而成。,这些处理单元具有局部内存，可以完成局部操作，即它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。,每个处理单元有一个单一的输出联接，输出信号可以是任何需要的数学模型。,人工神经网络与一般计算机的区别,在一般的计算机中，通常有一个中央处理器，它可访问其存储器。,该处理器可取一条指令和该指令所需的数据，并执行该指令，最后将计算结果存入指定的存储单元中。,任何动作都按照确定的操作程序，以串行方式执行。,在人工神经网络中，操作既不是串行的，也不是预先确定的，它根本没有确定的存储器，而是由许多互连的简单处理单元组成。,每个处理单元的处理功能只是求其所有输入信号的加权和，当该和值超过某一阈值时，输出呈现兴奋状态高电平，否那么低于阈值时呈现抑制状态低电平。,人工神经网络并不执行指令序列，它对并行加载的输入信号也按并行方式来处理和响应，结果也不存储在特定的存储单元中。当它到达某种平衡状态后，网络的整个状态就是所求的结果。,目前还没有用硬件真正实现的并行处理的人工神经网络，对它的实现还是基于一般计算机的软件模拟，这显然并没有真正发挥出人工神经网络并行快速的特点。,人工神经网络的两种操作过程,训练学习,训练时，把要教给神经网络的信息外部输入作为网络的输入和要求的输出，使网络按某种规那么称为训练算法调节各处理单元间的连接权值，直至加上给定输入，网络就能产生给定输出为止。,这时，各连接权已调接好，网络的训练就完成了。,正常操作回忆操作,对训练好的网络输入一个信号，它就可以正确回忆出相应输出，得到识别结果。,文本英文朗读机实例,输入装置是一个阅读窗口，当它沿文本的一行移动时，每次前移一个字母，但每个瞬间输入七个相邻的字母包括空格和句号信息。,由于英文字母的发音与其前后字母有关，所以训练人工神经网络时，只要求每次七个字母的中间字母发音靠人工神经网络的输出相应状态驱动一个语音综合发生器。,训练时，将一篇有1024个字的文本一行一行通过阅读窗口，并要求对应每个字母时人工神经网络的输出结点能输出相应音素的状态值。,这样通过十遍阅读训练，可以到达输出可理解的语音。,通过50遍阅读训练，可以到达95%的准确度。,训练过程中听上去像小孩学说话一样，由不清楚到清楚。,训练完成后，再阅读从未见过的课文，朗读精度仍可达78%，完全可以听懂。,人脸识别实例,用10个人的照片，每个人都在不同的角度照5张照片，共有50张照片的输入信息。,对人工神经网络进展训练，每个照片信息作为输入时，代表10个人的10个结点中相应的一个结点输出最大，每个人的5张照片都对应着同一个结点的最大输出。,经过训练后，再对原来的10个人中的一个从不同角度拍照尺寸不变，进展识别，结果是他本人对应的结点的输出比其它9个结点的输出都高得多。,总结和讨论,传统计算机采用的是串行处理方式，限制了大量信息的快速传输和处理，即使用了多个处理器并行工作，还是会把许多时间浪费在完成串行操作上，而且问题的并行化分解和并行程序的编写也是一个难题。,虽然至今开发出的超型计算机，其速度和容量都大得惊人，但仍不能很好地完成诸如小孩可以做到的事情，如认识面孔、学习说话、识别图像等。,尽管人工神经网络还是生物大脑的极低水平的模仿，但在图像识别、语音识别、记忆、预测以及优化等方面表现出了良好的智能特性和应用前景，可以完成传统计算机不易实现的智能性工作。,1.1.3 人工神经网络的特点,固有的并行构造和并行处理,人工神经网络与人类的大脑类似，不但构造上是并行的，其处理顺序也是并行的和同时的。,在同一层内的处理单元都是同时工作的，即神经网络的计算功能分布在多个处理单元上，而传统的计算机通常只有一个处理单元，其处理顺序是串行的。,目前的神经网络功能常常用一般计算机的串行工作方式来模拟，所以显得很慢，真正意义上的神经网络将会大大提高处理速度，实现快速处理。,知识的分布存储,在神经网络中，知识不是存储在特定的存储单元，而是分布在整个系统中，要存储多个知识就需要很多连接。,在计算机中，只要给定一个地址就可以得到一个或一组数据，在神经网络中，要获得存储的知识那么采用“联想的方法，这类似于人类和动物的记忆。,1.1.3 人工神经网络的特点,容错性,人类大脑具有很强的容错能力，这正是由于大脑中知识是存储在很多处理单元和它们的连接上的。,每天大脑的一些细胞都可能会自动死亡，但这并没有影响人们的记忆和思考能力。,人工神经网络可以从不完善的数据和图形进展学习和做出决定,由于知识存在整个系统中，而不是在一个存储单元内，因此一定比例的结点不参与运算，对整个系统的性能不会产生重大影响。,神经网络中承受硬件损坏的能力比一般计算机要强得多。,1.1.4 人工神经网络的根本原理,人工神经网络,(,Artificial Neural Networks,or ANN)是对人类大脑系统,一阶特性的一种描述。,简单的讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能的一种方法。,什么是人工智能？,人工智能Artificial Intelligence,or AI最初是在1956年被引入的，它研究怎样用计算机，模拟人脑从事推理、设计、思考、学习等思维活动，以解决和处理较复杂的问题，简单的说，人工智能就是让计算机模仿人脑进展工作。,联接主义观点：,在现代神经科学的研究成果根底上，人们提出了一种观点认为：智能的本质是联接机制。神经网络是一个由大量简单的处理单元，组成的高度复杂的大规模非线性自适应系统。,人工智能的代表学派,一、符号主义或逻辑主义学派,二、连接主义(或并行分布处理主义学派,三、进化主义或行动/响应)学派,典型生物的神经元,生物神经元构造与功能特点,生物神经元在构造上由四局部组成：,细胞体cell body,树突dendrite,轴突Axon,突触synapse,用来完成神经元间信息的接收、传递和处理。人类大脑皮层约有100亿个神经元，60亿突触以及它们的连接体。,一、MP模型,MP模型属于一种阈值元件模型，它是提出的最早神经元模型之一。MP模型是大多数神经网络模型的根底。,1.2 人工神经网络根本模型,MP模型,感知器模型,自适应线性神经元,图,2 不带激活的人工,神经元,神经元的数学模型,激活函数Activation Function,线性函数Liner Function,非线性斜面函数Ramp Function,阈值函数Threshold Function,S型函数Squaing Function,etc,激活函数：执行对该神经元所获得的网络,输入的变换，也可以称为鼓励函数、活化,函数： o=fnet,人工神经网络的根本构成,人工神经元模拟生物神经元的一阶特性。,输入：X=x1，x2，xn,联接权：W=w1，w2，wnT,网络输入：net=xiwi,向量形式：net=XW,x,2,w,2,f,o=f（net）,x,n,w,n,net=XW,x,1,w,1,2.2.2,激活函数,(Activation Function),1、线性函数Liner Function,fnet=k*net+c,net,o,o,c,2、非线性斜面函数(Ramp Function), if net,fnet= k*netif |net|0为一常数，被称为饱和值，为该神经元的最大输出。,2、非线性斜面函数Ramp Function,-,-,net,o,3、阈值函数Threshold Function阶跃函数,if net,fnet=,-if net ,、均为非负实数，为阈值,二值形式：,1if net,fnet=,0if net ,双极形式：,1if net,fnet=,-1if net ,3、阈值函数Threshold Function阶跃函数,-,o,net,0,2.2.4 人工神经网络处理单元,符号函数sgn(),硬限幅函数的一种,4,、,S,形函数,a+b,o,(0,c),net,a,c=a+b/2,3.2 人工神经网络根底,3,.2.2 人工神经网络处理单元,Sigmoid函数,S型函数的一种,y = F(s) = 1/(1+e,-s,),3.2 人工神经网络根底,可以把该型函数看作为处理单元定义了一个非线性增益，增益的大小决定于曲线在给定s点的斜率。,当s由负无穷增到0时，增益由0增至最大；,当s由0增到正无穷时，增益又由最大返回到0。,发现，用该函数可使同一网络既能处理小信号，也能处理大信号。,该函数的中间高增益区解决了处理小信号的问题；,伸向两边的低增益区正好适合于处理大的鼓励信号；,这种现象正像生物神经元在输入电平范围很大的情况下能正常工作一样。,人工神经网络处理单元是生物神经元的简单近似，在模仿生物神经网络时，具备了生物神经元的某些特性。,至于模仿效果，还需进一步研究，修改模型。,人工神经网络处理单元忽略了生物神经元的很多特征。,它没有考虑影响系统动态特性的时间延迟，而认为一个输入立即产生一个输出。,它没有包括同步机能和神经元的频率调制功能的影响。,其它未知的生物神经元的功能和特性。,人工神经网络的拓扑构造,虽然单个处理单元可以处理简单的图形检测功能，但更强的识别处理能力是来自多个结点“连成的网络，即人工神经网络。,这里的“连成，是靠输入至结点或者结点至结点间的信号传输通路实现的，这一通路相当于生物神经系统中的轴突和突触，它们影响着输入信号。,以后我们把这种信号传输通路称为“连接，每一个连接都具有一个加权值，称为“连接权，反映连接的强度。,单层网络,最简单的网络是把一组结点形成一层。,左边的黑色圆点只起着分配输入信号的作用，没有计算作用，不看作是网络的一层。,右边用圆圈表示的一组结点被看作一层。,输入信号表示为行向量：,x,= (,x,1,x,2,x,N,)，其中每一分量通过加权连接到各结点。,每一个结点均可产生一个加权和。,输入和结点间采用全连接，并且都是前馈连接。,实际的人工神经网络和生物神经网络中有些连接可能不存在。,在这种单层网络中，可把各加权表示为加权矩阵W。,矩阵的维数是N x n，N是输入信号向量也称输入图形的分量数，n是该层内的结点数。,由第三个输入连接到第二个结点的连接权表示为W32。,单层网络,输入信号的加权和表示为：,s是各结点加权和的行向量，s=(s,1, s,2, s,n,)。,输出向量 y=(y,1, y,2, y,n,)，其中y,j,=F(s,j,)。,人工神经网络的拓扑构造,多层网络,一般来说，大而复杂的网络能提供更强的计算能力。,虽然目前已构成了很多网络模型，但它们的结点都是按层排列的，这一点正是模仿了大脑皮层中的网络模块。,多层网络是由单层网络进展级联构成的，即上一层的输出作为下一层的输入。,多层网络,两层网络前馈全连接网络,三层网络前馈全连接网络,多层网络,注意：在构成多层网络时，层间的转移函数应是非线性的，否那么多层网络的计算能力并不比单层网络强。,在线性转移函数的情况下，两层网络输出的计算是第一层的输出xW1作为第二层的输入，通过第二个加权矩阵得到网络的输出,y=(xW1) W2=x(W1W2),这说明两层线性网络等效于单层网络，只是后者的加权矩阵为两个加权矩阵的乘积。,多层网络中，接收输入信号的层称为输入层。,它不计入网络层数，因为它只起着输入信号缓冲器的作用，没有处理功能。,产生输出信号的层称为输出层。,除此之外的中间层称为隐藏层或隐蔽层，它不直接与外部环境打交道。,隐藏层的层数可从零到假设干层。,实际情况中，层与层之间可能有局部连接的情况。,回归型网络反响网络,一般来说，凡包含反响连接的网络均称为回归型网络，或称反响网络。,一层反响网络,回归型网络反响网络,一层反响网络中，连接均限于一层之内，这种连接称为层内连接或层内横向反响连接。,相对于一层反响网络的为多层反响网络，其连接不限于一层之内。,非回归型网络与回归型网络反响网络的比较,非回归型网络不需存储记忆，它的输出只是由当前的输入和加权值确定。,而在反响网络中，要将以前的输出循环返回到输入，所以其输出不但取决于当前的输入，还要取决于以前的输出。,反响网络类似于人类的短期记忆，即网络的输出状态局部取决于以前的输入，是一类广泛应用的网络。,3.2,存储和回忆,存储就是将信息或图形存在某种存储器中，而回忆那么是将已存储的信息按某种方式恢复出来。,为了与人类大脑的功能类比，我们把这种信息的恢复称为回忆。,人工神经网络中存储图形的类型,在计算机中，数据和信息是存放在存贮器中RAM或ROM)，以8比特字节作为存储单位。,在人工神经网络中，信息或图形不再限定为8比特，它是多维的二进制数据或连续信息。,人工神经网络中存储的两类图形,空间图形的存储,存储单个空间静态图像，如一幅画面。,时空图形的存储,存储一系列随时间变化的图像，比方电影。,我们讨论的人工神经网络存储的图形大多是空间图形，因它是构成时空图形的根底。,人工神经网络中图形的存储,人工神经网络中的图形存储器与计算机中存储器的差异,在计算机中，一般采用RAM，将数据信息存在确定地址的存储单元内，有了地址就可检索数据。,在人工神经网络中，那么是用内容寻址存储器和联想存储器来存储图形信息。,2,感知器模型,感知器是一种早期的神经网络模型，由美国学者F.Rosenblatt于1957年提出.感知器中第一次引入了学习的概念，使人脑所具备的学习功能在基于符号处理的数学模型中得到了一定程度的模拟，所以引起了广泛的关注。,简单感知器,简单感知器模型实际上仍然是MP模型的构造，但是它通过采用监视学习来逐步增强模式划分的能力，到达所谓学习的目的。,其构造如以下图所示,感知器处理单元对n个输入进展加权和操作v即：,其中，wi为第i个输入到处理单元的连接权值,为阈值。 f取阶跃函数.,多层感知器,如果在输入和输出层间加上一层或多层的神经元(隐层神经元)，就可构成多层前向网络，这里称为多层感知器。,这里需指出的是：多层感知器只允许调节一层的连接权。这是因为按感知器的概念，无法给出一个有效的多层感知器学习算法。,上述三层感知器中，有两层连接权，输入层与隐层单元间的权值是随机设置的固定值，不被调节；输出层与隐层间的连接权是可调节的。,4、人工神经网络的根本特点,1可处理非线性,2并行构造对神经网络中的每一个神经元来说；其运算都是同样的这样的构造最便于计算机并行处理,3具有学习和记忆能力一个神经网络可以通过训练学习判别事物；学习某一种规律或规那么神经网络可以用于联想记忆,4对数据的可容性大在神经网络中可以同时使用量化数据和质量数据如好、中、差、及格、不及格等,5神经网络可以用大规模集成电路来实现如美国用 256个神经元组成的神经网络组成硬件用于识别手写体的邮政编码,4.2 根本BP算法,4.2.1,网络的构成,神经元的网络输入：,net,i,=x,1,w,1i,+x,2,w,2i,+x,n,w,ni,神经元的输出：,输出函数分析,0.5,f (net),0.25,o,0,1,1,（0,0.5）,net,（0,0）,o,应该将net的值尽量控制在收敛比较快的范围内,可以用其它的函数作为激活函数，只要该函数是处处可导的,BP神经网络-,简单单级网,x,1,x,2,x,n,o,1,o,2,o,m,w,nm,w,11,w,1m,w,2m,w,n1,O,k,o,j,Input layer Hidden layer Output layer,BP学习算法,1 权值初始化；,2 依次输入p个学习样本；,3 依次计算各个层的输出；,4 求各个层的反传误差；,5 记录已经学习过的样本数p，假设pP,那么转到步骤2，假设p=P那么转到步骤6；,6 按照权值修整公式修整各个层的权值或阈值；,7 按照新的权值再计算，当到达误差要求或最大学习次数，那么终止学习，负责转到步骤2.,网络的拓扑构造,BP网的构造,输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的决定,实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。,BP网一般都选用二级网络。,4.2.2,训练过程概述,样本：(输入向量，理想输出向量),权初始化：“小随机数与饱和状态；“不同保证网络可以学。,1、向前传播阶段：,1从样本集中取一个样本(Xp，Yp)，将Xp输入网络；,2计算相应的实际输出Op：,Op=Fl(F2(F1(XpW(1)W(2)W(L),4.2.2,训练过程概述,2、向后传播阶段误差传播阶段：,1计算实际输出Op与相应的理想输出Yp的差；,2按极小化误差的方式调整权矩阵。,3网络关于第p个样本的误差测度：,4 网络关于整个样本集的误差测度：,4.2.3,误差传播分析,1、输出层权的调整,w,pq,= w,pq,+w,pq,w,pq,=,q,o,p,=f,n, (net,q,)(y,q,-o,q,)o,p,=o,q,(1-o,q,) (y,q,-o,q,)o,p,w,pq,AN,p,AN,q,第L-1层,第L层,w,pq,2、隐藏层权的调整,AN,p,AN,q,AN,h,v,hp,pk-1,1k,w,p1,w,pq,qk,w,pm,mk,第k-2层,第k层,第k-1层,2、隐藏层权的调整,pk-1的值和1k，2k，mk 有关,不妨认为pk-1,通过权wp1对1k做出奉献，,通过权wp2对2k做出奉献，,通过权wpm对mk做出奉献。,pk-1= fk-1(netp) (wp11k+ wp22k+ wpmm k),2、隐藏层权的调整,v,hp,=v,hp,+v,hp,v,hp,=,pk-1,o,hk-2,=f,k-1,(net,p,)( w,p1,1k,+ w,p2,2k,+ w,pm,mk,)o,hk-2,=o,pk-1,(1-o,pk-1,)( w,p1,1k,+ w,p2,2k,+ w,pm,mk,)o,hk-2,AN,p,AN,q,AN,h,v,hp,pk-1,1k,w,p1,w,pm,qk,w,pq,mk,第k-2层,第k层,第k-1层,BP算法根本思想,样本集：S=(X1,Y1),(X2,Y2),(Xs,Ys),根本思想 ：,逐一地根据样本集中的样本(Xk,Yk)计算出实际输出Ok和误差测度E1，对W(1) ，W(2) ，W(L)各做一次调整，重复这个循环，直到Ep。,用输出层的误差调整输出层权矩阵，并用此误差估计输出层的直接前导层的误差，再用输出层前导层误差估计更前一层的误差。如此获得所有其它各层的误差估计，并用这些估计实现对权矩阵的修改。形成将输出端表现出的误差沿着与输入信号相反的方向逐级向输入端传递的过程,谢谢！,