数据挖掘技术前馈神经网络

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,数据挖掘技术前馈神经网络,数据挖掘技术前馈神经网络,第1页,Artificial Neural Networks(ANN),由生物神经系统,(,如人脑,),所引发信息处理框架。,结构,:,大量互连信息处理单元，即神经元,(neuron),，相互协作，共同处理问题。,向人类一样,神经网络从实例中进行学习。,原理简单，功效强大。,数据挖掘技术前馈神经网络,第2页,神经网络发展史,1943,，,McCulloch&Pitts,最先提出神经网络。,十九世纪五六十年代，大量学者研究感知器。,1969,，,Minsky&Papert,论证了感知器功效有限。,从此神经网络研究停滞了,15,年。,十九世纪八十年代中期，,BP,算法、,SOM,提出使神经网络研究重新复苏。,数据挖掘技术前馈神经网络,第3页,神经网络本质,一个简化人脑模拟模型。,从本质上讲，是一个功效模拟器。,数据挖掘技术前馈神经网络,第4页,神经网络组成,由大量相互连接神经元,(neuron),组成，这些神经元相互协作，共同完成复杂功效。,数据挖掘技术前馈神经网络,第5页,神经网络普通结构,训练神经网络意味着学习神经元之间连接权重,数据挖掘技术前馈神经网络,第6页,神经网络与人类大脑,人类大脑大约有,10,11,个神经元。,这些神经元经过神经突触相互连接。,平均每个神经元与其它,10,4,个神经元相互连接。,神经元之间通信时间,10,-3,秒。,ANN,研究动机是模拟人脑，但因为当前技术限制，,ANN,与真正人脑相去甚远。,数据挖掘技术前馈神经网络,第7页,人工脑,认为人工脑现在不能与人脑匹敌原因突出表现在神经元数量对比上。,提升人工脑神经元数量，宣称他开发人工脑可达猫脑水平。,很多学者也认为，除了数量以外，人脑神经元间“结构”也非常主要。批评者们认为,Garis,求,量,不求,质,。,Hugo de Garis,数据挖掘技术前馈神经网络,第8页,感知器,(Perceptron),最早含有学习能力神经网络,只有输入神经元和输出神经元,输入神经元通常只有两个状态,:ON,和,OFF,输出神经元使用简单阈值,(threshold),激励函数,只能处理线性问题，应用范围有限,数据挖掘技术前馈神经网络,第9页,一个感知器例子,若,3,个输入中最少有两个为,1,，则输出结果为,1,数据挖掘技术前馈神经网络,第10页,打开黑盒,数据挖掘技术前馈神经网络,第11页,用感知器分类,由互连结点和带有权重连接所组成模型。,对输入值加权求和,将加权求和结果与某个阈值,t,进行比较,Perceptron Model,or,数据挖掘技术前馈神经网络,第12页,感知器中权重确实定,有监督训练,若输出有误，则依据以下公式调整权重,:,数据挖掘技术前馈神经网络,第13页,感知器缺点,只有二值输入和二值输出。,只有输入和输出两层。,1969,年，,Minsky&Papert,论证了感知器功效有限，无法表示一些逻辑功效，如,XOR,。,数据挖掘技术前馈神经网络,第14页,多层前馈神经网络,神经网络普遍采取这种形式,是感知器扩展,多个层次，输入输出之间层称为隐含层,(hidden layer),激励函数不再是简单阈值，通常是,sigmoid,函数,通用功效模拟器，应用范围不再局限于线性问题,信息单向传递,当前层输出组成了下一层输入,反向更新权重,数据挖掘技术前馈神经网络,第15页,激励函数,(activation function),用输入神经元加权和来产生输出。,绝大多数神经网络使用,sigmoid,函数。,平滑、连续、且单调递增,值域有明确上下限，不过开区间，即无法到达最大值和最小值,数据挖掘技术前馈神经网络,第16页,sigmoid,函数,最常见,sigmoid,函数是,f(x)=1/(1+e,x,),在神经网络中，激励函数导数十分主要，该函数导数实用,f(x)=f(x)(1,f(x),其余,sigmoid,函数还有：,双曲正切,(hyperbolic tangent),反正切,(arctangent),数据挖掘技术前馈神经网络,第17页,训练,(training),有监督训练,向,NN,提供输入数据和理想输出数据,评价神经网络对输入响应，依据实际输出与理想输出差异来修改权重。,无监督训练,只提供输入数据和理想输出数据,NN,自行调整权重，使得相同输入会得到相同输出。即,NN,在没有外界帮助条件下，自动确定模式及其差异。,Epoch,从提供输入到,NN,更新一次权重一次迭代过程,训练神经网络需要屡次,epochs,。,数据挖掘技术前馈神经网络,第18页,权重确实定,神经网络中，权重作用至关主要，学习神经网络实际上就是学习其连接权重。,训练就是向,NN,模型提供样本数据，并不停修改权重，使其更加好完成理想功效。,数据挖掘技术前馈神经网络,第19页,反向传输,得到网络中多个权重最普遍做法,有监督训练,关键思想是基于对错误函数导数最小化,简单,效率低,易于陷入局部最小值,数据挖掘技术前馈神经网络,第20页,BP(Backpropagation algorithm),算法,1.,初始化,确定输入层、隐含层和输出层结点数量,随机产生,(,1.0,1.0,),之间权重,选择一个,0,1,之间学习率,确定结束条件,2.,对每条训练实例,:,输入神经网络，计算输出结果,确定输犯错误,更新权重,3.,若未满足终止条件，则转步骤,2,4.,测试神经网络精度。若不满意，则更改参数重新训练。,数据挖掘技术前馈神经网络,第21页,示例,理想输出：,0.65,数据挖掘技术前馈神经网络,第22页,计算实际输出,结点,j,输入,:0.2*1+0.3*0.4+(-0.1)*0.7=0.25,结点,j,输出,:1/(1+e,-0.25,)=0.562,结点,i,输入,:0.1*1.0+(-0.1)*0.4+0.2*0.7=0.2,结点,i,输出,:1/(1+e,-0.2,)=0.550,结点,k,输入,:0.1*0.562+0.5*0.550=0.331,结点,k,输出,:1/(1+e,-0.331,)=0.582,数据挖掘技术前馈神经网络,第23页,输出层结点错误计算,Error,(,k,)=(,T,O,k,),f,(,x,k,),T,:,目标输出,O,k,:,输出结点,k,计算输出值,f,(,x,k,):,输出结点,k,sigmoid,函数一阶导数,x,k,:,输出结点,k,输入值,Error,(,k,)=(,T,O,k,),O,k,(1,O,k,),Error,(,k,)=(0.65,0.582,)*0.582*(,1,0.582)=0.017,数据挖掘技术前馈神经网络,第24页,隐含层结点错误计算,Error,(,j,)=(,k,Error,(,k,),W,jk,),f,(,x,j,),Error,(,k,):,输出层结点,k,错误,W,jk,:,连接隐含层结点,j,与输出层结点,k,权重,f,(,x,j,),:,隐含层结点,j,sigmoid,函数一阶导数,x,j,:,隐含层结点,j,输入值,Error,(,j,)=,0.017*0.1*0.562*(1 0.562)=0.00042,Error,(,i,),计算留作练习。,数据挖掘技术前馈神经网络,第25页,权重更新,w,jk,(,new,)=,w,jk,(,old,)+,w,jk,w,jk,=,*Error,(,k,)*,O,j,:,学习率,0,1,Error,(,k,):,结点,k,错误,O,j,:,结点,j,输出,假设,=0.5,w,jk,=,0.1,+,0.5*0.017*0.562=0.1048,w,1,j,=,0.2,+,0.5*0.00042*1.0=0.,w,2,j,=,0.3,+,0.5*0.00042*0.4=0.300084,w,3,j,=,0.1,+,0.5*0.00042*0.7=,0.099853,与,i,相关权重更新留作练习,数据挖掘技术前馈神经网络,第26页,隐含层与神经元,对绝大多数问题，一层隐含层就足够了,当目标函数不连续时，普通需要两层隐含层,神经元数量对性能影响很关键,:,太少，,Underfitting,太多，,Overfitting,多凭经验，普通从少许结点开始，伴随训练不停增加结点数量,数据挖掘技术前馈神经网络,第27页,训练策略,在线训练,(Online training):,每处理一个训练实例，就更新一次权重。,离线训练,(Offline training):,把全部训练实例都处理一遍之后，再更新权重。,在线学习应用范围广、简单易行,对单个训练实例敏感,产生局部极值几率比离线训练小,数据挖掘技术前馈神经网络,第28页,利用梯度下降法更新权重,优点,实现简单,使用范围广，使用效果很好,缺点,效率低,易于陷入局部极小值，从而无法得到最优解,数据挖掘技术前馈神经网络,第29页,模拟退火方法,(Simulated Annealing),优点：,全局最优，可确保得到最优解。,缺点：,比梯度下降效率低，实现复杂。,数据挖掘技术前馈神经网络,第30页,遗传算法,(Genetic Algorithm),优点：,效率高于模拟退火法。,陷入局部极值概率比,BP,神经网络低。,缺点：,效率比梯度下降法低。,不适合处理大型神经网络。,数据挖掘技术前馈神经网络,第31页,神经网络优点,抗噪性能好,既能处理连续数据，也能处理类别型数据,在多个领域有成功应用,既适合有监督学习，也适合无监督学习,数据挖掘技术前馈神经网络,第32页,