人工智能8--神经网络1

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,人工神经网络,陈志华,主要内容,人工神经网络,概,概述,生物神经元,人工神经元,1.人工神,经,经网络概述,什么是人工神,经,经网络？,T.Koholen,的定义：“人,工,工神经网络是,由,由具有适应性,的,的简单单元组成的广泛并,行,行互连的网络,，,，它的组织能,够,够模拟生物神经,系,系统对真实世,界,界物体所作出,的,的交互反应。”,ANN,研究的目的和,意,意义,(1),通过揭示物理平面与认,知,知平面之间的,映,映射，了解它们相,互,互联系和相互,作,作用的机理，,从,从而揭示思维,的,的本质，探索,智,智能本源。,(2),争取构造出尽,可,可能与人脑具,有,有相似功能的,计,计算机，即,ANN,计算机。,(3),研究仿照脑神经系,统,统的人工神经,网,网络，将在模式识,别,别、组合优化,和,和决策判断等,方,方面，取得传,统,统计算机所难,以,以达到的效果,。,。,神经网络研究,的,的发展,(1),第一次热潮,(40-60,年代未,),1943,年,美国心理学家,W.McCulloch,和数学家,W.Pitts,在提出了一个,简,简单的神经元,模,模型，即,MP,模型。,1958,年，,F.Rosenblatt,等研制出了感,知,知机,(Perceptron,）。,(2),低潮,(70-80,年代初,),(3),第二次热潮,1982,年，美国物理,学,学家,J.J.Hopfield,提出,Hopfield,模型，它是一,个,个互联的非线,性,性动力学网络,。,。它解决问题,的,的方法是一种,反,反复运算的动,态,态过程,这是符号逻辑,处,处理方法所不,具,具备的性质,.,1987,年首届国际,ANN,大会在圣地亚,哥,哥召开，国际,ANN,联合会成立，,创,创办了多种,ANN,国际刊物。,1990,年,12,月，北京召开,首,首届学术会议,。,。,神经网络的优,点,点,一般而言,ANN,与经典计算方,法,法相比并非优,越,越,只有当常规方,法,法解决不了或,效,效果不佳时,ANN,方法才能显示,出,出其优越性。,对问题的机理,不,不甚了解或不,能,能用数学模型,表,表示的系统,如故障诊断、,特,特征提取和预,测,测等问题,ANN,往往是最有利,的,的工具。,对处理大量原,始,始数据而不能,用,用规则或公式,描,描述的问题,表现出极大的,灵,灵活性和自适,应,应性,。,人工神经网络,以,以其具有自学习、自组,织,织、较好的容,错,错性和优良的,非,非线性逼近能,力,力，受到众多领,域,域学者的关注,。,。,在实际应用中,，,，,80%,90%,的人工神经网,络,络模型是采用,BP,网络，目前主要应,用,用于函数逼近,、,、模式识别、,分,分类和数据压,缩,缩或数据挖掘,。,。,人工神经网络,研究的局限性,（,1,）,ANN,研究受到脑科,学,学研究成果的,限,限制。,（,2,）,ANN,缺少一个完整,、,、成熟的理论,体,体系。,（,3,）,ANN,研究带有浓厚,的,的策略和经验,色,色彩。,（,4,）,ANN,与传统技术的,接,接口不成熟。,2.生物神,经,经元,神经元是大脑,处,处理信息的基,本,本单元,人脑大约由,10,11,个神经元组成,，,，神经元互相,连,连接成神经网络,神经元以细胞,体,体为主体，由,许,许多向周围延,伸,伸的不规则树,枝,枝状纤维构成,的,的神经细胞，,其,其形状很像一,棵,棵枯树的枝干,神经元主要由细胞体、树突,、,、轴突和突触组成,生物神经元示,意,意图,细胞体,用于处理从其他神,经,经元传递过来,的,的信息,轴突,相当于神经元的输出,电,电缆，利用尾部的,神,神经末梢和梢,端,端的突触输出,树突,神经元的输入,端,端,突触,神经元之间相,互,互连接的接口，即,一,一个,神,神经,元,元的,神,神经,末,末梢,与,与另,一,一个,神,神经,元,元的,树,树突,相,相接,触,触的,交,交接,面,面,突触,的,的信,息,息处,理,理,神经,元,元各,组,组成,部,部分,的,的功,能,能来,看,看，,信,信息,的,的处,理,理与,传,传递,主,主要,发,发生,在,在突触,附,附近,神经,元,元细,胞,胞体,通,通过,轴,轴突,将,将脉,冲,冲传,递,递到,突,突触,前,前膜,当脉,冲,冲幅,度,度达到,一,一定,强,强度,，,，即,超,超过,其,其阈,值,值电,位,位后,，,，突,触,触前,膜,膜将,向,向突,触,触间,隙,隙释,放,放神,经,经传,递,递的,化,化学,物,物质,生物,神,神经,元,元传,递,递信,息,息的,过,过程,为,为多输入,、,单输出,突触有两,种,种类型：兴奋性突,触,触和抑制,性,性突触。前者产,生,生正突触,后,后电位，,后,后者产生,负,负突触后,电,电位,突触的传,递,递功能与,特,特点,不可逆性,脉冲只从,突,突触前传,到,到突触后,，,，不逆向,传,传递,对信息传,递,递具有时,延,延和不应,期,期，一般,为,为,0.3,lms,相邻的两,次,次输入之,间,间，需要,一,一定的间,隔,隔；在此,间,间隔内，,突,突触不传,递,递信息,可塑性,突触传递,信,信息的强,度,度是可变,的,的，即具,有,有学习功,能,能,学习、遗,忘,忘或疲劳,（,（饱和）,效,效应,对应突触,传,传递作用,增,增强、减,弱,弱和饱和,生物神经,网,网络基本,模,模型,3.人,工,工神经元,人工神经,网,网络,神经网络,是,是一个并行和分,布,布式的信息处,理,理网络结,构,构,它一般由,大,大量神经,元,元组成,每个神经,元,元只有一,个,个输出，,可,可以连接,到,到很多其,他,他的神经,元,元,每个神经,元,元的输入,有,有多个连,接,接通道，,每,每个连接,通,通道对应,于,于一个连,接,接权系数,M-P,神经元模,型,型,心理学家,麦,麦克洛奇,(W.McCulloch),和数理逻,辑,辑学 家,皮,皮兹,(W.Pitts),于,1943,年首先提,出,出了一个,简,简化的神,经,经元模型,称为,M-P,模型,y,兴奋性输入,e,抑制性输入,i,说明,圆表示神,经,经元的细,胞,胞体；,外部输入,包,包括兴奋,性,性输入和,抑,抑制性输,入,入,符号,表示神经,元,元兴奋的,阈,阈值,M-P模,型,型的输入,输,输出关系,常用的神,经,经元结构,模,模型,模型说明,阈值函数,S,型函数,双曲正切函数,4.人,工,工神经网,络,络的互联,结,结构,ANN,可分为两,种,种,相互连接,网,网络,分层网络,单层,两层网络,结,结构,多层网络,结,结构,相互连接,网,网络,典型的网,络,络结构,单层网络,多层前向,网,网络,带侧抑制,的,的多层网,络,络,带反馈的,多,多层网络,多层神经,网,网络,3,层及,3,层以上,的神经网,络,络，称多,层,层神经网,络,络,按照各层,功,功能可分,为,为,输入层,中间层（,隐,隐层）：,可,可包含多,层,层,输出层,小结,神经网络,的,的定义,神经元模,型,型,神经网络,的,的典型结,构,构及其分,类,类,