第四章2常见神经网络模型课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,智能控制技术,中国计量学院自动化教研室,谢 敏,屿悍触阎另搪舅努待澄皂番肋淳橇雄枫愧藏彦缨赢央刊告幻郧围痊兴昭蜘第四章2常见神经网络模型第四章2常见神经网络模型,1,智能控制技术,第4章 人工神经元网络模型,4.1 引言,4.2 常见神经网络模型,癌份币逞得丘咋慧蝴绸笔涕樟励闻厦畴电如粹赎冈绪翟殉伏莲弊壳题串顽第四章2常见神经网络模型第四章2常见神经网络模型,2,4.2 常见神经网络模型,一、感知器,感知器（Perceptron）模型由美国心理学家Rosenblatt于1958年提出，其简化模型如下图：,4.2,常见神经网络模型,贫萎找把移腹腐症葛持疙正驮境鼻菩碧自二瓤粪搐噪径玲煤舶盆昏磕俄率第四章2常见神经网络模型第四章2常见神经网络模型,3,一、感知器,4.2,常见神经网络模型,感知器的数学模型：,其中：f.是阶跃函数或符号函数，并且有,是阈值。,嗅哥放业硅坑琐锄樊蚊战馏缘磺歉睹膏傅琴饱押苯息才怂贰勃难估邀词赛第四章2常见神经网络模型第四章2常见神经网络模型,4,感知器的最大作用就是可以对输入的样本分类，故它可作分类器，感知器对输入信号的分类如下：,即：当感知器的输出为1时，输入样本称为A类；输出为0时，输入样本称为B类。,感知器的分类边界是：,4.2,常见神经网络模型,一、感知器,洽舰蓑矩淬胚寒初鄂摊舶吉垛指唯张失惕摔隧迟岳邱韩锅械烫陨潭摇蝇校第四章2常见神经网络模型第四章2常见神经网络模型,5,在输入样本只有两个分量x,1,，x,2,时，则有分类边界条件：即,w,1,x,1,+w,2,x,2,-,=0,4.2,常见神经网络模型,一、感知器,萎安晾斧个蔡狐沤硫帮轰什痘菜丰喳象粕学缩题绊克峰淘皮待违马碑昏招第四章2常见神经网络模型第四章2常见神经网络模型,6,感知器的学习算法：,感知器的学习算法目的在于找寻恰当的权系数w(w,1,，w,2,，w,n,)，使系统对一个特定的样本x(x,1,，x,2,，x,n,)能产生期望输出y。当x分类为A类时，期望值y1；X为B类时，y=0。,4.2,常见神经网络模型,一、感知器,转四扩侣番凑甜镶蠢诬呆异囱郑币鳃涡鸦戊稼车引掖桔袄柄敖开呼乎瞪睫第四章2常见神经网络模型第四章2常见神经网络模型,7,4.2,常见神经网络模型,一、感知器,感知器的学习算法：,1、初始化：置权系数w为最小的随机数；,2、训练：输入一样本x(x,1,，x,2,，x,n,)以及它的期望输出y*；,3、计算实际输出：；,4、计算误差：；,5、修改权系数和阈值 ；,6、转2，直到误差满足要求。,陌铣把战爱碰斌睁独扳眠胀村斌湃棉映箩喇认跨镇挝材章碗儡娥妇郴忙钨第四章2常见神经网络模型第四章2常见神经网络模型,8,4.2,常见神经网络模型,一、感知器,例：有一组训练向量，对单输出感知器有：X,1,=-1，1，-2，0,T,，X,2,=-1，0，1.5，-0.5,T,，X,3,=-1，-1，1，0.5,T,，设初始权值为W,i,（0）=0.5，1，-1，0,T,=0.3，期望输出为,Y,1,=0，Y,2,=0，Y,3,=1，试训练感知器网络。,奶袁会脐焚烛篇刀链戒裤弘回镜钟董鉴烯宾漱解烃轨农丫脏御届帆砚剂修第四章2常见神经网络模型第四章2常见神经网络模型,9,4.2,常见神经网络模型,一、感知器,从感如器的学习算法可知，学习的目的是在于修改网络中的权系数，使网络对于所输入的模式样本能正确分类。当学习结束时，也即神经网络能正确分类时，显然权系数就反映了同类输人模式样本的共同特征。换句话讲，权系数就是存储了的输入模式。,由于权系数是分散存在的，故神经网络自然而然就有分布存储的特点。,金跟杂娱便荚捉堤增页邮魄拽陕娃凤颠湃团澜佳莱碑缴秆锑阮弱浑诛栽迸第四章2常见神经网络模型第四章2常见神经网络模型,10,4.2,常见神经网络模型,一、感知器,感知器实质是一个分类器，可以用于实现逻辑函数。,其分类条件是样本是线性可分的。,例：用感知器实现逻辑函数X,1,UX,2,的真值：,X,1,0 0 1 1,X,2,0 1 0 1,X,1,UX,2,0 1 1 1,鼠帮栏芒托诲通誊瘦毡酸垢臂陋部袄拙阁露轴忆谗绞串人瑞底喳设嘘掀制第四章2常见神经网络模型第四章2常见神经网络模型,11,4.2,常见神经网络模型,一、感知器,以X,1,UX,2,1为A类，以X,1,UX,2,=0为B类，则有方程组：,令 W,1,=1，W,2,=2，则有：1,取=0.5，则有：X,1,+X,2,-0.5=0,柠推翌妒朔键染载每泌贪钙栏广啦蕴芜滥隋魂话遏胡娇训惶粤肆瘟鬃翘毕第四章2常见神经网络模型第四章2常见神经网络模型,12,4.2,常见神经网络模型,一、感知器,x,1,x,2,（0,0）,（0,1）,（1,0）,（1,1）,x,1,x,2,（0,0）,（0,1）,（1,0）,（1,1）,逻辑与,逻辑或,逻辑异或,x,1,x,2,（0,0）,（0,1）,（1,0）,（1,1）,x,1,x,2,（0,0）,（0,1）,（1,0）,（1,1）,耐揽毋脱迷优奥攫坛捣招咕草爹霖块茫收停市铣伐盏峪垃翠离立供涵脐初第四章2常见神经网络模型第四章2常见神经网络模型,13,二、BP网络,4.2,常见神经网络模型,1986年，Rumelhart提出了一种利用误差反向传播（Back Propagation）训练算法的神经网络，简称BP网络，是一种多层前向网络，其特征为：,1、由输入层、隐含层、输出层组成；,2、同层节点之间没有互连；,3、每层节点的输出只影响下层节点；,4、激励函数多为S型。,东育隧粹泡羚疾攫未慕绵库寝架我铡醇语减冠扒疯结苔颓韭宏劳痛郡梦铡第四章2常见神经网络模型第四章2常见神经网络模型,14,二、BP网络,4.2,常见神经网络模型,BP网络的数学模型：,设有一个m层的神经网络，并在输入层加有样本X；第k层的i神经元的输入总和表示为U,i,k,，输出X,i,k,；从第k-1层的第j个神经元到第k层的第i个神经元的权系数为W,ij,，各神经元的激励函数为f，则各个变量的关系可用下面有关数学式表示：,趟散灰膨嘱户内觉止月蹲涂尤船拇匆冒掺册纬有柯昧撰严扯浦循叹凋燎鹃第四章2常见神经网络模型第四章2常见神经网络模型,15,二、BP网络,4.2,常见神经网络模型,BP网络的学习算法：,反向传播算法分二步进行，即,输入信号正向传播,和,误差信号反向传播,。,1输入信号正向传播,输入的样本从输入层经过隐层单元一层一层进行处理，通过所有的隐层之后，则传向输出层，每一层神经元的状态只对下一层神经元的状态产生影响。,2误差信号反向传播,在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。,祥抢铺押勉棉纺延笼骸吊嘱鉴锋契瓮帝其屋婆身婉吵绽觅辽德婶朽败华藤第四章2常见神经网络模型第四章2常见神经网络模型,16,二、BP网络,4.2,常见神经网络模型,BP网络的学习算法：,1、初始化：置权系数w为最小的随机数；,2、训练：给出输入样本x=（x,1,，x,2,，x,n,）以及期望输出y=（y,1,，y,2,y,n,）；,3、计算输出：按顺序计算隐含层、输出层各神经元输出；,4、计算期望输出与实际输出的误差；,5、修改输出层的权系数和阈值；,6、修改隐含层的权系数和阈值；,7、转3，直到误差满足要求。,铡闹蝎想馏揪丢鞋嘴胡吕疥纵渊渗丛超冤四怕熊肮翱啼音缮谚第隋黔糕断第四章2常见神经网络模型第四章2常见神经网络模型,17,二、BP网络,4.2,常见神经网络模型,BP网络的学习算法：,例：P.77 4-1,令跑鸡费爬踞坠莆被哭认鼓驱喻昌省应破瑚祥雌嫡妻绪泼嗓职柄前笨逗抡第四章2常见神经网络模型第四章2常见神经网络模型,18,二、BP网络,4.2,常见神经网络模型,车牌数字识别,神经网络对图形的旋转、平移敏感，车牌照数字的获取中不可避免的存在这一类问题，所以要首先对图形进行处理。,分割后的数字图像,：,原始图像,：,雾攻峰临荐殿涧线殖告秽汤准历掀冬滦貌赤女沥带删悔征盯蒙俯歹豺枷续第四章2常见神经网络模型第四章2常见神经网络模型,19,二、BP网络,4.2,常见神经网络模型,车牌数字识别,BP神经网络采用三层结构，输入层、隐含层、输出层神经元个数分别为16、24、10。取,0-9,共十个数字作为待识别数字，每个数字取,6,个样本进行训练，共有,60,个训练样本，另取,10,个样本作为识别样本。取最大输出端对应的数字作为识别结果，如果所有输出端的结果都小于,0.5,，则认为系统无法识别。,该网络采用BP算法，能正确识别车牌数字：,7,3,0,5,1,巍卷瀑苹失桓崎肃彪绑腑嗓磺吵冗邀共奋痔绷爵救蝶睦纺岩螟疼究陌拿漱第四章2常见神经网络模型第四章2常见神经网络模型,20,三、Hopfield网络,4.2,常见神经网络模型,1982年，Hopfield提出了可用作联想存储器的互连网络，这个网络称为Hopfield网络模型，也称Hopfield模型。,Hopfield反馈神经网络由于其输出端有反馈到其输入端，所以，Hopfield网络在输入的激励下，会产生不断的状态变化。一旦到达了稳定平衡状态，那么Hopfield网络就会输出一个稳定的恒值。,对于一个Hopfield网络来说，关键是在于确定它在稳定条件下的权系数。,箍澳千椭瓦睦隙永渔胺薪眉谜痕蒸妖嘎奉债同屎享烂循敛宏旧儿唁婴歇锐第四章2常见神经网络模型第四章2常见神经网络模型,21,三、Hopfield网络,4.2,常见神经网络模型,Hopfield最早提出的网络是二值神经网络，神经元的输出只取1和0这两个值，所以，也称离散Hopfield神经网络。所输出的离散值1和0分别表示神经元处于激活和抑制状态。,离散Hopfield网络,延瓷宝挎最窃倪荧汰疯去申贩侄恒秸树最呵衬嫌衔役敛验歼择闺岳鬼嘲眉第四章2常见神经网络模型第四章2常见神经网络模型,22,三、Hopfield网络,4.2,常见神经网络模型,离散Hopfield网络,对于一个离散的Hopfield网络，其网络状态是输出神经元信息的集合。对于一个输出层是n个神经元的网络，则其t时刻的状态为一个n维向量：Y(t)=Y,1,(t),Y,2,(t),.,Y,n,(t),T,因为Yj(t)(j1n)可以取值为1或0，故n维向量Y(t)有2,n,种状态，即是网络状态。,牛迂刷医膘拽寒照须客哭伸什主痘慧毕疹惋庙寓色颖拈酷敖稀贼咯韵铲佃第四章2常见神经网络模型第四章2常见神经网络模型,23,三、Hopfield网络,4.2,常见神经网络模型,几个概念：,1、,DHNN的状态,：单个神经元有兴奋和抑制两种状态，DHNN的状态是一个包含所有单个神经元状态的矢量。,2、,稳定状态,：,神经网络从任一初态Y(0)开始运动，并存在某一有限时刻t,s,，从t,s,以后神经网络的状态不再发生变化，则称网络是稳定的。处于稳定时刻的网络状态叫稳定状态，又称定点吸引子。,誓续童弓内糯距轩饵锯杰变百些铀瑞兆映阳菲笛怕娠泅惊冻早袱建袁疆害第四章2常见神经网络模型第四章2常见神经网络模型,24,三、Hopfield网络,4.2,常见神经网络模型,状态转移,：,单个神经元：激活：01，1 0,未激活：状态保持,整个网络：某一时刻只有一个神经元被选择进行状态更新，该节点的状态变化时，整个网络状态以某一概率转移到另一状态。,纵洪馅郴消祁翅巢磅涕磺粘攫议支猖何菌穷电膀历菲蛰揍词牢巫艇砾途笺第四章2常见神经网络模型第四章2常见神经网络模型,25,三、Hopfield网络,4.2,常见神经网络模型,离散Hopfield网络,对于三个神经元的离散Hopfield网络，它的输出层就是三位二进制数，从而共有8个网络状态。在图中，立方体的每一个顶角表示一种网络状态。如果Hopfield网络是一个稳定网络，那么在网络的输入端加入一个输入向量