第15讲 基于人工神经网络的模式识别

上传人:仙*** 文档编号:243810860 上传时间:2024-09-30 格式:PPT 页数:75 大小:2.45MB
返回 下载 相关 举报
第15讲 基于人工神经网络的模式识别_第1页
第1页 / 共75页
第15讲 基于人工神经网络的模式识别_第2页
第2页 / 共75页
第15讲 基于人工神经网络的模式识别_第3页
第3页 / 共75页
点击查看更多>>
资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第18讲 基于神经网络的模式识别,要点:,神经网络的,参考书,神经网络的,几种别名,神经网络的,发展历史,神经网络的,基本模型,神经网络的,其它模型,神经网络在模式识别中的,应用,神经网络的参考书,Simon,Haykin,著,神经网络原理,叶世伟、史忠植译,机械工业出版社,2004年1月,蒋宗礼,人工神经网络导论,高等教育出版社, 2001年8月,杨行峻、郑君里,人工神经网络,高等教育出版社,1992年9月,返回,神经网络的几种别名,人工神经网络(,Artificial Neural Networks),自适应网(,Adaptive Networks),联接模型(,Connectionism),神经计算机(,Neurocomputer,),返回,神经网络的发展历史,神经网络的,发展初期,(,20世纪40年代),),神经网络的,第一次高潮,(19501968),神经网络,的,反思期,(,19691982,)及,发展,神经网络的,第二次高潮,(,19831990),及,发展,神经网络的,近期发展,(1991),返回,神经网络的发展初期,1943年,心理学家,McCulloch,和数学家,Pitts,合作就曾提出形式神经元的数学模型(,MP),1944,年,,Hebb,提出了改变神经元连接强度的,Hebb,规则,返回,神经网络的第一次高潮,1957年,Rosenblatt,首次引进感知器(,perceptron,),的概念,1962年,,Widrow,提出了自适应线性元件(,Adaline,),在60代掀起了神经网络研究的第一次高潮。人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究,希望尽快占领制高点。,返回,神经网络的,反思期,1969,年,美国著名人工智能专家,Minsky,和,Papert,出版,Perceptron,一,书,指出感知机的功能局限性,甚至连,XOR(,异或)这样的问题也不能解决。,60年代以来计算机的飞速发展和知识工程等方面的研究成果,使人们当时认为传统人工智能技术的潜力是无穷的,从而暂时掩盖了发展新型计算机和寻找新的人工智能途径的必要性和迫切性。,人们在认识上的局限性使神经网络的研究进入了低潮。,返回,神经网络在低潮时期的发展,一些学者扎扎实实地继续着神经网络模型和学习算法的基础理论研究,提出了许多有意义的理论和方法。其中,主要有自适应共振理论,自组织映射,认知机网络模型理论,,BSB,模型等等,为神经网络的发展奠定了理论基础。,返回,神经网络的第二次高潮,进入80年代,基于“知识库”的专家系统的研究和运用虽然取得了较大成功,但不像人们所希望的那样高明,特别是在处理视觉、听觉、形象思维、联想记忆以及运动控制等方面,传统的计算机和人工智能技术面临着重重困难。,模拟人脑的智能信息处理过程,如果仅靠串行逻辑和符号处理等传统的方法来解决复杂的问题,会产生计算量的组合爆炸。因此,具有并行分布处理模式的神经网络理论又重新受到人们的重视。对神经网络的研究又开始复兴,掀起了第二次研究高潮。,返回,神经网络在第二次高潮的发展,1982年,美国加州理工学院物理学家,JJHopfield,提出了一种新的神经网络,HNN。,1984,年,,J. Hopfield,设计并研制成功,Hopfield,网的电路。较好地解决了著名的,TSP,问题,引起了较大的轰动。,1985年,,UCSD,的,Hinton、,Sejnowsky,、,Rumelhart,等人所在的并行分布处理(,PDP),小组的研究者在,Hopfield,网络中引入了随机机制,提出所谓的,Boltzmann,机。,1986,年,Rumelhart,等人提出了多层神经网络模型的反向传播学习算法(,BP,算法),解决了多层前向神经网络的学习问题。 (,Paker1982,和,Werbos1974,年),返回,国内首届神经网络大会是1990年12月在北京举行的,。,神经网络的近期发展,开发现有模型的应用,并在应用中根据实际运行情况对模型、算法加以改造,以提高网络的训练速度和运行的准确度。,希望在理论上寻找新的突破,建立新的专用/通用模型和算法。,进一步对生物神经系统进行研究,不断地丰富对人脑的认识。,返回,神经网络的基本模型,生物神经元网络,简介,标准,MP,模型,简单感知器,模型,多层感知器,模型,返回,生物神经元网络简介,生物神经系统是一个有高度组织和相互作用的数量巨大的细胞组织群体。人类大脑的神经细胞大约在10,11,一10,13,个左右。神经细胞也称神经元,是神经系统的,基本单元,,它们按不同的结合方式构成了复杂的神经网络。通过神经元及其联接的可塑性,使得大脑具有学习、记忆和认知等各种智能。,返回,生物神经元示意图,返回,标准,MP,模型,MP,模型属于一种阈值元件模型,它是由美国,Mc,Culloch,和,Pitts,提出的最早神经元模型之一。,MP,模型是大多数神经网络模型的基础。,标准,MP,模型,的基本结构,标准,MP,模型的,学习方法,返回,标准,MP,模型的基本结构,参数解释,。,返回,标准,MP,模型的参数解释,w,ij,代表神经元,i,与神经元,j,之间的连接强度(模拟生物神经元之间突触连接强度),称之为连接权;,i,代表神经元,i,的阈值;,u,i,代表神经元,i,的,活跃,值,,即神经元状态;,v,j,代表神经元,j,的,输出,,即是神经元,i,的一个输入。,函数,f,表达了神经元的输入输出特性,。在,MP,模型中,,f,通常称为激活函数,在这里定义为阶跃函数:,返回,活跃值的计算,活跃值也称作神经元的总输入,其计算公式如下:,如果把阈值,i,看作为一个特殊的权值,则可改写为:,其中,w,0,i,=-,i,,,v,0,=1,返回,神经元输出的计算,神经元的输出可以根据其总输入来计算:,虽然在标准,MP,模型中,f,定义为阶跃函数,但是在许多其他模型中常采用连续的,s,型函数,来表达神经元的非线性变换能力,即,:,返回,s,型(,sigmoid),函数示意图,想一想,阶跃函数的图形?,返回,标准,MP,模型的学习方法,MP,模型在发表时并没有给出一个学习算法来调整神经元之间的连接权,为了进行学习可以采用下面的,Hebb,学习规则:,若第,i,和第,j,个神经元同时处于兴奋状态,则它们之间的连接应当加强,即:,w,ij,=,w,ij,+ ,w,ij,,,w,ij,=,u,i,v,j,Hebb,规则与“条件反射”学说一致,并已得到神经细胞学说的证实。,是表示学习速率的比例常数。,返回,简单感知器模型,感知器是一种早期的神经网络模型,由美国学者,F.Rosenblatt,于1957年提出。感知器中第一次引入了学习的概念,使人脑的学习功能得到了一定程度的模拟,所以引起了广泛关注。,简单感知器的,基本结构,简单感知器与,MP,模型的,关系,简单感知器,的,基本能,力,简单感知器的,学习算法,及,学习举例,返回,简单感知器的基本结构,参数解释,。,返回,f,w,1,w,2,w,n,x,1,x,2,x,n,y,简单感知器的参数解释,x,i,为第,i,个输入,w,i,为第,i,个输入到处理单元的连接权值,为阈值,,f,取阶跃函数。,简单感知器的作用是先对,n,个输入进行加权和操作,再进行一次函数变换,即:,返回,简单感知器与,MP,模型的关系,感知器在形式上与,MP,模型差不多,它们之间的区别在于神经元间连接权的变化。感知器的连接权定义为可变的,这样感知器就被赋予了学习的特性。,返回,简单感知器的基本能力,能够实现三种基本,逻辑运算,能够解决两类线性可分问题,不能解决“异或”问题(为什么?),对线性不可分问题均无能为力,返回,三种基本逻辑运算,与运算,,,或运算,,,非运算,的真值表如下:,简单感知器的数学描述如下:,y,=,f,(,w,1,x,1,+,w,2,x,2,-,),简单感知器,的,几何意义,。,返回,与运算的简单感知,器,当取,w,1,=,w,2,=1,,=,1.5,时,下式完成逻辑“与”的运算:,y,=,f,(,w,1,x,1,+,w,2,x,2,-,),即:,y,=,f,(,x,1,+,x,2,-1.5,),返回,或运算的简单感知,器,当取,w,1,=,w,2,=1,,=,0,.5,时,下式完成逻辑“或,”,的运算:,y,=,f,(,w,1,x,1,+,w,2,x,2,-,),即:,y,=,f,(,x,1,+,x,2,-0.5,),返回,非运算的简单感知器,当取,w,1,=-1,,w,2,=0,,=-,1,时,下式完成逻辑“非”的运算:,y,=,f,(,w,1,x,1,+,w,2,x,2,-,),即:,y,=,f,(-,x,1,-1,),返回,简单感知器的几何意义,简单感知器的作用是在几何上把平面分成两个半平面,其中一部分为激发区,(,y,=1),,另一部分为抑制,区(,y,=0),,因此只能区分线性可分的两类样本。,例如,在二维平面上,对于“或”运算,直线,x,1,+x,2,-0.5=0,将,二维平面分为两部分,。,四个输入样本,(0,0),(0,1),(1,0),和(1,1)分别位于激发区和抑制区,恰好线性可分。,返回,或,运算感知器示意图,其中上部为激发区(,y,=1,,用表示),下部为抑制区(,y,0,,用表示)。,返回,简单感知器的学习算法,误差学习算法:,(1)选择一组初始权,值,w,i,(0)。,(2),计算输入样本实际输出与期望输出的误差,(3),如果,小于给定值,结束,否则继续。,(4)更新权值(阈值可视为输入恒为1的一个权值):,w,i,(,t,+1)=,w,i,(,t,+1)-,w,i,(,t,)=,d-y,(,t,),x,i,式中,为 (0,1)中的一个常数,称为学习步长,它的取值与训练速度和,w,(,t,),收敛的稳定性有关,;,d,、,y,为神经元的期望输出和实际输出,;,x,i,为神经元的,第,i,个输入。,(5)返回(2)重复,直到对所有样本输出均能满足要求。,误差学习算法的,改进,返回,误差学习算法的改进,为了改进收敛速度,也可以采用变步长的方法,每次迭代步长可用下式计算:,其中,为一个正的常量,通常取值为0.1。,返回,简单感知器的学习举例,参数,返回,学习过程参数的变化,结果:,w,1,(7)=,0.225,w,2,(7)=,0.0875,(7)=,0.1875。,返回,多层感知器模型,多层感知器的,别名,多层感知器的,基本结构,多层感知器的,基本能力,多层感知器的,数学描述,多层感知器的,学习算法,返回,多层感知器的别名,Multiple-Layer,Perceptrons,多层神经网络,多层网络,前馈神经网络,前馈网络,BP,神经网络,,BP,网络,返回,多层感知器的基本结构,两层感知器,的结构(一层?,),三层感知器,的结构(两层?,),四层感知器,的结构(三层,?),多层感知器,举例,返回,两层感知器示意图,返回,x,1,x,2,x,n,y,1,y,2,y,m,w,nm,w,11,w,1,m,w,2,m,w,n,1,输出层,输入层,三层感知器示意图,返回,输入层,隐层,输出层,x,1,x,2,x,n,y,1,y,2,y,m,W,12,W,23,四层感知器示意图,返回,输入层,第二隐层,第一隐层,输出层,多层感知器举例,最简单,的三层网络(1-1-1),异或,网络(2-2-1),波包,网络(2-4-1),二维线性边界,网络,(2-1),二维任意边界,网络(2-,n,-1),返回,最简单的三层网络示意图,1-1-1结构,返回,异或网络示意图,2-2-1结构,返回,波包网络示意图,2-4-1结构,返回,二维线性边界网络示意图,2-1结构。,返回,二维任意边界网络示意图,2-,n,-1,结构。,返回,多层感知器的基本能力,1962,年,,Rosenblatt,宣布:人工神经网络可以学会它能表示的任何东西,Hornik,等人证明了:仅有一个非线性隐层的前馈网络就能以任意精度逼近任意复杂度的函数,返回,多层感知器的数学描述,如果神经元的激活函数取为,Sigmoid,函数,那么一个具有,M,层、且第,l,层包含,N,l,个神经元的的多层感知器可用下面的方程来描述,(,l,0) :,注意:输入被看作第0层。,参数说明,。,返回,数学描述中的参数说明,是第,l,层第,j,个神经元的输入加权和与阈值之差, 是,第,l,层第,j,个神经元的阈值, 是第,l,1,层第,i,个神经元与,第,l,层第,j,个神经元的连接权值, 是第,l,层第,j,个神经元的激活函数, 是整个网络的输入, 是,第,l,层第,j,个神经元的输出。,返回,多层感知器的学习算法,多层感知器的,准则函数,多层感知器的,BP,学习算法,三层感知器的,BP,学习算法,BP,学习算法的,缺点,BP,学习算法的,改进,BP,学习算法,举例,返回,多层感知器的准则函数,其中 是,M,层上第,j,个神经元在输入第,p,个样本时的实际输出, 是相应的期望输出,,且:,返回,多层感知器的,BP,学习算法,通过准则函数对所有的权值变量构造梯度下降算法,就可得到,BP,学习算法:,(1)选择初始权值 和初始阈值,(2)选择步长,h,(3),迭代计算并在适当条件停止,:,返回,三层感知器的,BP,学习算法,三层感知器的,结构参数,三层感知器的,准则函数,BP,学习算法的,推导过程,返回,三层感知器的结构参数示意图,返回,三层感知器的准则函数,为了简化计算,准则函数定义如下:,误差减小的调整向量为,误差减小的调整分量为,返回,BP,学习算法的推导过程,因为,所以,其中,返回,BP,学习算法的缺点,在实际应用中,步长,h,的选取对网络的训练非常重要,如果,h,取得太大,,,BP,算法可能发生持续振荡而难于收敛;取得太小,,BP,算法又收敛得十分缓慢,且很容易陷入的局部极小。,返回,BP,学习算法的改进,1.给每一步迭代的权值变化加上惯性量:,其中其中,称为动量因子,,称为动量项,2.采用新的准则函数(略),3.采用可变步长或最优步长(略),4.进行二阶矩阵分析或采用共轭梯度法(略),等等。,返回,BP,学习算法举例,用一个“2-2-1”网络解决“异或”问题:,网络结构,示意图,输入层,描述图,隐含,层,描述图,训练误差,描述图,返回,网络结构示意图,返回,输入层描述图,返回,隐含层描述,图,返回,训练误差描述图,返回,神经网络的其它模型,径向基函数网络,(,radial-basis-function networks),自组织特征映射,(,Self-organizing map, SOM),自适应共振理论,(,Adaptive Resonance Theory, ART),Hopfield,网络(,Hopfield neural networks),时延神经网络,(,time delay neural network, TDNN),递归网络或循环网络,(,recurrent neural networks),竞争神经网络,(,competitive neural networks),细胞神经网络,(,cellular neural networks),双联存储器(,Bidirectional Associative Memory, BAM),Boltzmann,机,委员会机器,返回,神经网络在模式识别中的应用,多层感知器在所有神经网络中应用最多、也最成功。具体的应用方法主要有两种:,多输出型网络,的应用,单输出型网络,的应用,返回,多输出型网络的应用,基本应用,方法,其它应用,方法,缺点及改进,返回,多输出型网络的基本应用方法,每个输入节点对应样本的一个特征,输出节点数等于类别数,一个输出节点对应一个类,在训练阶段,如果输入样本的类别标号是,i,则,其期望输出设为第,i,个节点为1,其余输出节点均为0,在识别阶段,当一个未知类别的样本作用到输入端时,考查各输出节点的输出,并将这个样本判定为与输出值最大的那个节点对应的类别,在某些情况下,如果输出最大的节点与其它节点输出的差距较小,则可以做出拒绝决策。,返回,多输出型网络的其它应用方法,多输出型前馈的基本应用方法有时也称为 “1-0”编码方法或者,“,c,中取1”方法。另一种应用方法描述如下:,如果网络有,m,个输出,那么可以用它们的某种编码来表示,c,个类别。,返回,多输出型网络的缺点及改进,在多输出方式中,由于网络要同时适应所有类别,势必需要更多的隐层节点;而且学习过程往往收敛较慢。,此时可以采用多个多输入单输出形式的网络,让每个网络只完成识别两类的分类任务,即判断样本是否属于某个类别。这样可以克服类别之间的耦合,经常可以得到更好的结果。,返回,单输出型网络的应用,多类情况下,的应用,两类情况下,的应用,返回,多类情况下的应用,每个输入节点对应一个特征,输出节点只有一个。,为每一个类建立一个这样的网络,但网络的隐层节点数可以不同。,对每一个类进行分别训练相应的网络,将属于这一类的样本的期望输出设为1,而把属于其它类的样本的期望值输出设为0。,在识别阶段,将未知类别的样本输入到每一个网络,如果某个网络的输出接近1(或大于某个阈值,比如0.5),则判断该样本属于这一个类;而如果有多个网络的输出均大于阈值,则或者将类别判断为具有最大输出的那一类,或者做出拒绝;当所有网络的输出均小于阈值时也可采取类似的决策方法。,返回,两类情况下的应用,在只有两个类别的情况,只需要一个单输出网络即可。,将一类对应于输出1,另一类对应于输出0,识别时只要输出大于0.5,则决策为第一类,否则决策为第二类。,或者在两类之间设定一个阈值,当输出在这个阈值之间时作拒绝决策。,返回,
展开阅读全文
相关资源
正为您匹配相似的精品文档
相关搜索

最新文档


当前位置:首页 > 管理文书 > 施工组织


copyright@ 2023-2025  zhuangpeitu.com 装配图网版权所有   联系电话:18123376007

备案号:ICP2024067431-1 川公网安备51140202000466号


本站为文档C2C交易模式,即用户上传的文档直接被用户下载,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有。装配图网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私,请立即通知装配图网,我们立即给予删除!