计算智能--人工神经网络

,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,第二部,计算智能,Computational Intelligence,计算智能的概念,计算智能,（,Computational Intelligence,）,1992,贝兹德克,(,Bezdek,),：,CI,取决于数据，不依赖知识；,AI,应用知识精品,.,计算智能,:,生命科学,+,信息科学,计算智能是信息科学、生命科学、认知科学等不同学科相互交叉的产物。它主要,借鉴仿生学的思想,，基于人们,对生物体智能机理的认识,，,采用数值计算的方法,去模拟和实现人类的智能。,计算智能的主要研究领域包括：,神经计算、进化计算、模糊计算、蚂群计算,等。,计算智能的主要研究领域,神经网络,是一种对人类智能的,结构模拟,方法，它是通过对大量人工神经元的广泛并行互联，构造人工神经网络系统去模拟生物神经系统的智能机理的。,进化计算,是一种对人类智能的,演化模拟,方法，它是通过对生物遗传和演化过程的认识，用进化算法去模拟人类智能的进化规律的。,模糊计算,是一种对人类智能的,逻辑模拟,方法，它是通过对人类处理模糊现象的认知能力的认识，用模糊逻辑去模拟人类的智能行为的。,人工智能与,计算智能,AI,：基于知识处理,CI,：基于数值计算,高级认知形式 低级认知形式,逻辑计算 自然计算,推理学习 优化适应,计算复杂度：,CI - AI - BI,(Biological),大量实践证明，只有把,AI,和,CI,很好地结合起来，才能更好地模拟人类智能，才是智能科学技术发展的正确方向。,CNN,CPR,CI,ANN,APR,AI,BNN,BPR,BI,人类知识,(+),传感输入,知识,(+),传感数据,计算,(+),传感器,B,生物的,A,符号的,C,数值的,复杂性,复杂性,输入,层次,贝慈德克的智能的,3,个层次,组合优化问题求解,局部搜索,（,LS,：,Local Search,）,遗传算法,(GA,：,Genetic Algorithm),人工神经网络,（,ANN: Artificial Neural Network,）,模拟退火算法,（,SA,：,Simulated Annealing,）,蚂蚁群算法,(ACA,：,Ant Colony Algorithm),免疫算法,(IA,：,Immune Algorithm ),粒子群优化算法,（,PSO,：,Particle Swarm Optimization,）,第六章 人工神经网络,( ANN : Artificial Neural Network ),人工神经网络概述,多层前馈神经网络,(BP,网络,),HOPFIELD,神经网络,HOPFIELD,网络应用,6.1,人工神经网络概述,(,一,),人工神经网络,( Artificial Neural Network : ANN ) :,抽象,简化与模拟大脑生物结构的计算模型,也称连接主义或并行分布处理,(,Paralell,Distributed Processing : PDP),模型,人工神经元,ANN,的三大要素,:,神经元，网络拓扑结构,学习算法,拓扑结构,:,分层结构,互连结构,学习算法,:,监督型,(,有指导,),非监督型,(,没指导,),生物神经元结构,神经元的工作机制,神经元组成：,细胞体,（处理器）、,树突,（输入端）、,轴突,（输出端）,神经元有两种工作状态：,兴奋和抑制,神经元间的,连接权,是可以接受外界刺激而改变的，这构成了学习机能的基础。,什么是神经元网络,神经元网络,(Neural Net),指由大量,神经元,互连而成的网络，有点象服务器互连而成的国际互连网,(Internet).,人脑有,1000,亿个神经元，每个神经元平均与,10000,个其他神经元互连，这就构成了人类智慧的直接物质基础。,人工神经元的基本结构,x1,xn,xi,F( ),y,i,=,f(u,j,) =f,（,w,i,x,i,-,）,uj,w1,wn,wi,激励函数,(,或传播函数,),要素,:,权值,(,wi,),门限值,(,),非线性激励函数,(f),状态,:,被激活的兴奋状态,(,ui,=,),没被激活的抑制状态,(,ui,),常用神经元激励函数,(,一,),1,-1,a,阶跃函数,1,-1,b,斜坡函数,f(x)= 1 x,1,kx,-1 x 1,-1 x-1,f(x)= 1 x,0,-1 x 0,常用神经元激励函数,(,二,),1,-1,Sigmoid,函数,f(x) = 1 / ( 1+exp(-x) ),y,j,= f( (,w,ij,h,i,) -,j,),激励函数为,Sigmoid,多层神经网络,输入层,隐层,1,x1,xn,y1,yn,隐层,2,输出层,H,j,= f( (,w,ij,x,i,) -,j,),h,j,= f( (,w,ij,h,i,) -,j,),6.1,人工神经网络概述,(,二,),ANN,的突出特点,信息的分布存储,：即使局部损坏，通过联想可恢复。,自适应,自组织,自学习,：根据环境自动改变网络及结构。,并行处理,：速度快。,非线性映射：,任意精度逼近。,从训练样本中自动获得知识,：特别是针对复杂环境。,ANN,的,应用,-,走向实用化,诊断与检测：,疾病诊断、故障检测等,。,识别,：,图像、文字、指纹、语音等。,分析与预测,：,天气、市场、股票，决策控制、管理等。,6.1,人工神经网络概述,(,二,),ANN,的分类,拓扑结构,：无反反馈,/,有反馈、层次,/,全连接,学习方法,：有教师,/,无教师,网络性能,：连续型,/,离散型、线性,/,非线性,确定性,：确定性,/,随机型,ANN,的发展,到,50,年代中期前 到,60,年代末期 到,80,年代初期 至今,产生时期,-,高潮时期,-,低潮时期,-,蓬勃发展时期,神经元模型 双层感知器模型,69,年,Minsky,论著,1982,年,Hopfield,的成功,求解,TSP NP,难题,6.2,单层感知机神经网络,(,一,),单层感知机神经网络,: 1957,年,Rosenblatt,提出,可实现二分类,学习算法,(,为二分类问题,),Step1,初始化劝值,(,wi,),以及阀值,Step2,提交训练示例,(x1,xn, d),如,x,属于,A,类, d=1;,否则,x,属于,B,类,d=0;,Step3,计算输出,Step4,修正数值,:,wij(t+1) =,wij(t,) +,kdj(t,) -,yj(t,),yj(t,),Step5,goto,2,直到,w,对一切样本都稳定不变,.,当,f=,sgn(wx,-,),时,以上学习算法一定收敛,.,y,j,= f( (,w,ij,x,i,) -,j,),单层感知机神经网络基本结构,输入部分,输出层,x1,xn,y1,ym,w,ij,可解决的问题,两类线性可分模式的分类问题,不能解决的问题,复杂的模式分类问题,使用感知机的主要目的是为了对外部输入进行分类。罗森勃拉特已经证明，如果外部输入是线性可分的（指存在一个,超平面,可以将它们分开），则单层感知器一定能够把它划分为两类。其判别超平面由如下判别式确定：,作为例子，下面讨论用单个感知器实现逻辑运算的问题。事实上，单层感知器可以很好地实现“与”、“或”、“非”运算，但却不能解决“异或”问题。,y= f( w,1,x,1,+w,2,x,2,-,),单层感知机分类器实例,输入部分,输出层,x1,x2,y,w,2,w,1,例,1 “,与”运算（,x,1,x,2,）,(0,0),(1,1),(0,1),(1,0),与运算问题图示,输入,输出,超平面,阈值条件,x,1,x,2,x,1,x,2,w,1,*x,1,+ w,2,* x,2,-=0,0,0,0,w,1,*0+ w,2,*0 -0,0,0,1,0,w,1,*0+ w,2,*1,-0,w,2,1,0,0,w,1,*1+ w,2,*0 -0,w,1,1,1,1,w,1,*1+ w,2,*1-0,w,1,+ w,2,可以证明此表有解，例如取,w,1,=1,，,w,2,=1,，,=1.5,，,其分类结果如右图所示。,其中，输出为,1,的用实心圆，输出为,0,的用空心圆。后面约定相同。,例,2 “,或”运算（,x,1,x,2,）,输入,输出,超平面,阈值条件,x,1,x,2,x,1,x,2,w,1,*x,1,+ w,2,* x,2,-=0,0,0,0,w,1,*0+ w,2,*0 -0,0,0,1,1,w,1,*0+ w,2,*1,-,0,w,2,1,0,1,w,1,*1+ w,2,*0 -,0,w,1,1,1,1,w,1,*1+ w,2,*1-0,w,1,+ w,2,此表也有解，例如取,w,1,=1,，,w,2,=1,，,=0.5,，,其分类结果如右图所示。,(,0,1),(0,0),(1,0),与运算问题图示,(1,1),例,3 “,非”运算（,x,1,）,输入,输出,超平面,阈值条件,x,1,x,1,w,1,*x,1,-=0,0,1,w,1,*0 - 0,0,1,0,w,1,*1,w,1,此表也有解，例如取,w,1,=-1,，,=-0.5,，其分类结果如右图所示。,非运算问题图示,0,1,例,4 “,异或”运算（,x,1,XOR x,2,）,输入,输出,超平面,阈值条件,x,1,x,2,X,1,XOR x,2,w,1,*x,1,+ w,2,* x,2,-=0,0,0,0,w,1,*0+ w,2,*0 -0,0,0,1,1,w,1,*0+ w,2,*,1,-,0,w,2,1,0,1,w,1,*1+ w,2,*0 -,0,w,1,1,1,0,w,1,*1+ w,2,*1-w,1,+ w,2,此表无解，即无法找到满足条件的,w,1,、,w,2,和,，,如右图所示。因为异或问题是一个非线性可分问题，需要用多层感知器来解决。,(0,1),(0,0),(1,0),异或运算问题图示,(1,1),XOR,问题,A2 (1,1),A1 (0,0),B1 (1,0),B2 (0,1),无法用一条直线把节点正确分开,-,非线性问题,XOR,问题,A2 (1,1),A1 (0,0),B1 (1,0),B2 (0,1),可以用二条直线把节点正确分开,-,多层网络,6.2,多层前馈网络,(,二,),多层感知机神经网络,(MPNN),MPNN,的计算能力,:,激励函数为,S,型函数时,二层,MPNN:,足可以解决任意分类判定问题,.,三层,MPNN:,可形成任意复杂决策区域,以任意精度逼近任何连续函数,.,MPNN,的应用领域,:,函数逼近,模式识别,分类等,.,BP,学习算法,:,y,j,= f( (,w,ij,h,i,) -,j,),激励函数为,Sigmoid,三层感知机神经网络基本结构简化图,输入层,隐层,1,x1,xn,y1,yn,隐层,2,输出层,H,j,= f( (,w,ij,x,i,) -,j,),h,j,= f( (,w,ij,h,i,) -,j,),x,11,y=x,1,XOR,x,2,x,1,X,2,x,12,1,-1,1,1,1,-1,输入层,隐层,输出层,权值,权值,图,5.14 “,异或”问题的多层感知器,阈值,0.5,阈值,-1.5,阈值,1.5,(0,1),(0,0),(1,0),图,5.15,异或问题的解决,(1,1),隐层神经元,x,11,所确定的直线方程为,它可以识别一个半平面。隐层神经元,x,12,所确定的直线方程为,它也可以识别一个半平面。,输出层神经元所确定的直线方程为,它相当于对隐层神经元,x,11,和,x,12,的输出作“逻辑与”运算，因此可识别由隐层已识别的两个半平面的交集所构成的一个凸多边形，如图所示。,y=x1 XOR x2 = (x1Vx2) AND (-x1V-x2),反向传播法,(,Back Propagation,)(,一,),反向传播法,(BP) : 1985,年,Rumellart,等提出,.,正向计算,:,正向计算各层输出,计算最终输出与目标输出间的误差,.,反向计算,:,逐层传播误差信号,修正劝值,直到误差小于给定值,.,Step1,初始化劝值,(,wij,),及阀值为小的随机数,.,Step2,施加输入,(x0,x1,xn-1),期待输出,(d0,d1,dn-1),Step3,正向计算,:,各层的输出,y0,y1, , yn-1,Step4,反向计算,: wij(t+1) =,wij(t,) + k,i,Xi(t),Step5,goto,3,直到,w,对一切样本都稳定不变,.,输出层,:,i=yi(1-yi)(di-yi),中间层,:,i=xi(1-xi),k,wik,反向传播法,(BP)(,二,),优点,:,算法推导清楚,精度高,.,计算能力强,.,训练后的网络运行速度块,.,缺点,:,非线性优化,可能陷入局部最小区间,.,学习算法的收敛速度慢，可能不收敛,.,网络中隐含节点的设置无理论指导,.,基于神经网络的知识表示与推理,基于神经网络的知识表示并不像在产生式系统中那样独立地表示为每一条规则，而是将,某一问题的若干知识在同一网络中表示（分布式）。,例如，在有些神经网络系统中，知识是用神经网络所对应的有向权图的邻接矩阵及阈值向量表示的。,异或逻辑的神经网络,邻接矩阵,如果用产生式规则描述，则该网络代表下述四条规则：,IF,x,1,=0 AND,x,2,=0 THEN,y,=0,IF,x,1,=0 AND,x,2,=1 THEN,y,=1,IF,x,1,=1 AND,x,2,=0 THEN,y,=1,IF,x,1,=1 AND,x,2,=1 THEN,y,=0,基于神经网络的推理,基于神经网络的推理是通过网络计算实现的。把用户提供的,初始证据,用作网络的输入，通过网络计算最终得到输出结果。,正向神经网络推理的特征,同层神经元完全并行，层间的信息传递串行。,计算的数据结果是确定的，不会出现推理冲突。,学习训练的模式是自适应推理。,每个神经元的计算可以分为已知输入加权和与未知输入加权和，如果前者大于后者，则未知输入的输入不影响结果判断，从而在信息不完全时，照样可以进行推理,。,6.3 HOPFIELD,神经网络,(,一,),HOPFIELD,神经网络,(HOP,网络,) :,全连接网络,同步离散,HOP,网络,:,S(t+1) =,sgn, WS(t) + I ,W:,权值矩阵,S :,状态向量,当神经元不断更新状态使,S(t+1) =S(t),时,网络收敛,.,主要用于,:,组合优化,记忆与联想,.,验证,HOP,网络的稳定性,:,能量函数是下降函数,E = - 1/2,w,ij,v,i,v,j,+,i,v,i,wii,=0,wij,=,wji,设只有一个神经元的状态变化,(1-0),那么,E,的增量,:,E,i,=1/2,w,ij,v,j,i,系统的稳定条件为：,i =,w,ij,6.3 HOPFIELD,神经网络,(,二,),节点间的权值：,wij,每个节点的状态：,si,si,= 1,如果,WS(t) + I ,0,0,其他情况,wij,6.3 HOPFIELD,神经网络,(,三,),能量函数,:,决定网络的平衡状态,函数的极小点就是网络的平衡状态,.,设计能量函数,利用极小点,(,平衡状态,),存储信息,.,m,Wij,= k,(2xi-1)(2xj-1) ij,其它,wij,= 0;,s=1,6.3 HOP,网络应用,(,一,),1 N,皇后问题,问题表示,:,矩阵,能量函数,:,E = A/2,(s,ij,-1),2,+,A/2,(s,ij,-1),2,+(A+B)/2s,ij,(1-s,ij,),+C/2s,ij,(s,i+k,j+k,+,s,i+k,j-k,),i,j,i,i,i,j,j,j,6.3 HOP,网络应用,(,二,),2,二分图问题,问题表示,:,连接矩阵,C,si,= 1,若 节点,i,属于节点集合,A,-1,若 节点,i,属于节点集合,B,问题可转化为：在,s,i,=0,的,条件下，,最小化,- ,c,ij,s,i,s,j,能量函数,: ?,6.3 HOP,网络应用,(,二,),2,二分图问题,问题表示,:,连接矩阵,C,si,= 1,若 节点,i,属于节点集合,A,-1,若 节点,i,属于节点集合,B,问题可转化为：在,s,i,=0,的,条件下，,最小化,- ,c,ij,s,i,s,j,能量函数,:,E = - 0.5, ,c,ij,s,i,s,j,+ 0.5k s,i,2,= 0.5Nk,0.5 ,w,ij,s,i,s,j,(,w,ij,=,c,ij,-k,),6.3 HOP,网络应用,(,三,),3,行商问题,问题表示,:,1 2 3 4,顺序号,A 0 1 0 0,城市,B 0 0 1 0,C 1 0 0 0,D 0 0 0 1,能量函数,:,E = ?,6.3 HOP,网络应用,(,三,),3,行商问题,能量函数,:,E =,行,限制,+,列限制,+,通过城市限制,+,成本限制, = A,/2s,xi,s,xj, = B,/2s,xi,s,yi, = C,/2(s,xi-,N),2, = D,/2dxys,xi,(s,x,(I+1) +,s,x,（,I-1,）,),x,i,6.4 ANN,的局限,受脑科学研究的限制,没有完整成熟的理论体系,还带有浓厚的经验色彩,与传统技术的接口不成熟,练习题,计算智能有什么特点,?,包括哪些领域？,什么是人工神经网络？主要特点是什么？,人工神经网络,三大要素,是什么？,BP,网络的工作原理是什么？,什么是,HOP,网络和能量函数？,HOP,网络有什么主要特点？,