《人工神经网络》PPT课件.ppt

人工神经网络 中国科学院自动化研究所吴高巍gaowei wu 2016 11 29 联结主义学派 又称仿生学派或生理学派认为人的思维基元是神经元 而不是符号处理过程认为人脑不同于电脑核心 智能的本质是联接机制 原理 神经网络及神经网络间的连接机制和学习算法 麦卡洛可 McCulloch 皮茨 Pitts 什么是神经网络 所谓的人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统 计算机 个体单元相互连接形成多种类型结构的图循环 非循环有向 无向自底向上 Bottom Up AI起源于生物神经系统从结构模拟到功能模拟 仿生 人工神经网络 内容 生物学启示多层神经网络Hopfield网络自组织网络 生物学启示 神经元组成 细胞体 轴突 树突 突触神经元之间通过突触两两相连 信息的传递发生在突触 突触记录了神经元间联系的强弱 只有达到一定的兴奋程度 神经元才向外界传输信息 生物神经元 神经元 神经元特性信息以预知的确定方向传递一个神经元的树突 细胞体 轴突 突触 另一个神经元树突时空整合性对不同时间通过同一突触传入的信息具有时间整合功能对同一时间通过不同突触传入的信息具有空间整合功能 神经元 工作状态兴奋状态 对输入信息整合后使细胞膜电位升高 当高于动作电位的阈值时 产生神经冲动 并由轴突输出 抑制状态 对输入信息整合后使细胞膜电位降低 当低于动作电位的阈值时 无神经冲动产生 结构的可塑性神经元之间的柔性连接 突触的信息传递特性是可变的 学习记忆的基础 神经元模型 从生物学结构到数学模型 人工神经元 M P模型 McCllochandPitts Alogicalcalculusoftheideasimmanentinnervousactivity 1943 f 激活函数 ActivationFunction g 组合函数 CombinationFunction WeightedSumRadialDistance 组合函数 e f Threshold Linear SaturatingLinear LogisticSigmoid HyperbolictangentSigmoid Gaussian 激活函数 人工神经网络 多个人工神经元按照特定的网络结构联接在一起 就构成了一个人工神经网络 神经网络的目标就是将输入转换成有意义的输出 生物系统中的学习 自适应学习适应的目标是基于对环境信息的响应获得更好的状态在神经层面上 通过突触强度的改变实现学习消除某些突触 建立一些新的突触 生物系统中的学习 Hebb学习律神经元同时激活 突触强度增加异步激活 突触强度减弱学习律符合能量最小原则保持突触强度需要能量 所以在需要的地方保持 在不需要的地方不保持 ANN的学习规则 能量最小ENERGYMINIMIZATION对人工神经网络 需要确定合适的能量定义 可以使用数学上的优化技术来发现如何改变神经元间的联接权重 ENERGY measureoftaskperformanceerror 两个主要问题结构Howtointerconnectindividualunits 学习方法HowtoautomaticallydeterminetheconnectionweightsorevenstructureofANN SolutionstothesetwoproblemsleadstoaconcreteANN 人工神经网络 前馈结构 FeedforwardArchitecture withoutloops static反馈 循环结构 Feedback RecurrentArchitecture withloops dynamic non lineardynamicalsystems ANN结构 Generalstructuresoffeedforwardnetworks Generalstructuresoffeedbacknetworks 通过神经网络所在环境的模拟过程 调整网络中的自由参数Learningbydata学习模型Incrementalvs Batch两种类型Supervisedvs Unsupervised ANN的学习方法 若两端的神经元同时激活 增强联接权重UnsupervisedLearning 学习策略 HebbrianLearning 最小化实际输出与期望输出之间的误差 Supervised DeltaRule LMSRule Widrow Hoff B PLearning Objective Solution 学习策略 ErrorCorrection 采用随机模式 跳出局部极小 如果网络性能提高 新参数被接受 否则 新参数依概率接受 学习策略 StochasticLearning 胜者为王 Winner take all UnsupervisedHowtocompete HardcompetitionOnlyoneneuronisactivated SoftcompetitionNeuronsneighboringthetruewinnerareactivated 学习策略 CompetitiveLearning 重要的人工神经网络模型 多层神经网络径向基网络Hopfield网络Boltzmann机自组织网络 多层感知机 MLP 感知机实质上是一种神经元模型阈值激活函数 Rosenblatt 1957 感知机 判别规则 输入空间中样本是空间中的一个点权向量是一个超平面超平面一边对应Y 1另一边对应Y 1 单层感知机学习 调整权值 减少训练集上的误差简单的权值更新规则 初始化对每一个训练样本 ClassifywithcurrentweightsIfcorrect nochange Ifwrong adjusttheweightvector 30 学习 BinaryPerceptron 初始化对每一个训练样本 ClassifywithcurrentweightsIfcorrect i e y y nochange Ifwrong adjusttheweightvectorbyaddingorsubtractingthefeaturevector Subtractify is 1 多类判别情况 Ifwehavemultipleclasses Aweightvectorforeachclass Score activation ofaclassy Predictionhighestscorewins 学习 MulticlassPerceptron 初始化依次处理每个样本PredictwithcurrentweightsIfcorrect nochange Ifwrong lowerscoreofwronganswer raisescoreofrightanswer 感知机特性 可分性 trueifsomeparametersgetthetrainingsetperfectlycorrectCanrepresentAND OR NOT etc butnotXOR收敛性 ifthetrainingisseparable perceptronwilleventuallyconverge binarycase Separable Non Separable 感知机存在的问题 噪声 不可分情况 ifthedataisn tseparable weightsmightthrash泛化性 findsa barely separatingsolution 改进感知机 线性可分情况 Whichoftheselinearseparatorsisoptimal SupportVectorMachines Maximizingthemargin goodaccordingtointuition theory practiceOnlysupportvectorsmatter othertrainingexamplesareignorableSupportvectormachines SVMs findtheseparatorwithmaxmargin SVM 优化学习 问题描述训练数据目标 发现最好的权值 使得对每一个样本x的输出都符合类别标签样本xi的标签可等价于标签向量采用不同的激活函数平方损失 单层感知机 单层感知机 单层感知机 单层感知机 采用线性激活函数 权值向量具有解析解批处理模式一次性更新权重缺点 收敛慢增量模式逐样本更新权值随机近似 但速度快并能保证收敛 多层感知机 MLP 层间神经元全连接 MLPs表达能力 3layers Allcontinuousfunctions4layers allfunctions Howtolearntheweights waitingB Palgorithmuntil1986 B PNetwork 结构Akindofmulti layerperceptron inwhichtheSigmoidactivationfunctionisused B P算法 学习方法 Inputdatawasputforwardfrominputlayertohiddenlayer thentooutlayer Errorinformationwaspropagatedbackwardfromoutlayertohidderlayer thentoinputlayer Rumelhart Meclelland Nature 1986 B P算法 GlobalErrorMeasure desiredoutput generatedoutput squarederror Theobjectiveistominimizethesquarederror i e reachtheMinimumSquaredError MSE B P算法 Step1 Selectapatternfromthetrainingsetandpresentittothenetwork Step2 Computeactivationofinput hiddenandoutputneuronsinthatsequence Step3 Computetheerrorovertheoutputneuronsbycomparingthegeneratedoutputswiththedesiredoutputs Step4 Usethecalculatederrortoupdateallweightsinthenetwork suchthataglobalerrormeasuregetsreduced Step5 RepeatStep1throughStep4untiltheglobalerrorfallsbelowapredefinedthreshold 梯度下降方法 OptimizationmethodforfindingouttheweightvectorleadingtotheMSE learningrate gradient vectorform elementform 权值更新规则 Foroutputlayer 权值更新规则 Foroutputlayer 权值更新规则 Forhiddenlayer 权值更新规则 Forhiddenlayer 应用 Handwrittendigitrecognition 3 nearest neighbor 2 4 error400 300 10unitMLP 1 6 errorLeNet 768 192 30 10unitMLP 0 9 errorCurrentbest SVMs 0 4 error MLPs 讨论 实际应用中PreprocessingisimportantNormalizeeachdimensionofdatato 1 1 Adaptingthelearningrate t 1 t MLPs 讨论 优点 很强的表达能力容易执行缺点 收敛速度慢过拟合 Over fitting 局部极小 采用Newton法 加正则化项 约束权值的平滑性采用更少 但足够数量 的隐层神经元 尝试不同的初始化增加扰动 Hopfield网络 反馈结构可用加权无向图表示DynamicSystem两种类型Discrete 1982 andContinuous science 1984 byHopfield Hopfield网络 Combinationfunction WeightedSumActivationfunction Threshold 吸引子与稳定性 Howdowe program thesolutionsoftheproblemintostablestates attractors ofthenetwork Howdoweensurethatthefeedbacksystemdesignedisstable Lyapunov smodernstabilitytheoryallowsustoinvestigatethestabilityproblembymakinguseofacontinuousscalarfunctionofthestatevector calledaLyapunov Energy Function Hopfield网络的能量函数 WithinputWithoutinput Hopfield模型 Hopfield证明了异步Hopfield网络是稳定的 其中权值定义为Whateverbetheinitialstateofthenetwork theenergydecreasescontinuouslywithtimeuntilthesystemsettlesdownintoanylocalminimumoftheenergysurface Hopfield网络 联想记忆 Hopfield网络的一个主要应用基于与数据部分相似的输入 可以回想起数据本身 attractorstate 也称作内容寻址记忆 content addressablememory StoredPattern MemoryAssociation 虞台文 FeedbackNetworksandAssociativeMemories Hopfield网络 AssociativeMemories StoredPattern MemoryAssociation 虞台文 FeedbackNetworksandAssociativeMemories Hopfield网络的一个主要应用基于与数据部分相似的输入 可以回想起数据本身 attractorstate 也称作内容寻址记忆 content addressablememory Howtostorepatterns Howtostorepatterns Dimensionofthestoredpattern 权值确定 外积 OuterProduct Vectorform Elementform Why SatisfytheHopfieldmodel AnexampleofHopfieldmemory 虞台文 FeedbackNetworksandAssociativeMemories Stable E 4 E 0 E 4 Recallthefirstpattern x1 Stable E 4 E 0 E 4 Recallthesecondpattern x2 Hopfield网络 组合优化 CombinatorialOptimization Hopfield网络的另一个主要应用将优化目标函数转换成能量函数 energyfunction 网络的稳定状态是优化问题的解 例 SolveTravelingSalesmanProblem TSP Givenncitieswithdistancesdij whatistheshortesttour IllustrationofTSPGraph 1 2 3 4 5 6 7 8 9 10 11 HopfieldNetworkforTSP HopfieldNetworkforTSP Citymatrix Constraint1 Eachrowcanhaveonlyoneneuron on 2 Eachcolumncanhaveonlyoneneuron on 3 Foran cityproblem nneuronswillbeon HopfieldNetworkforTSP 1 2 4 3 5 Time City Thesalesmanreachescity5attime3 WeightdeterminationforTSP DesignEnergyFunction Constraint 1 Constraint 2 Constraint 3 能量函数转换为2DHopfield网络形式 Networkisbuilt Hopfield网络迭代 TSP Theinitialstategeneratedrandomlygoestothestablestate solution withminimumenergy A4 cityexample阮晓刚 神经计算科学 2006 自组织特征映射 SOFM WhatisSOFM NeuralNetworkwithUnsupervisedLearningDimensionalityreductionconcomitantwithpreservationoftopologicalinformation Threeprincipals Self reinforcing Competition Cooperation StructureofSOFM 竞争 Competition Findingthebestmatchingweightvectorforthepresentinput Criterionfordeterminingthewinningneuron MaximumInnerProduct MinimumEuclideanDistance 合作 Cooperation Identifyaneighborhoodaroundthewinningneuron TopologicalneighborhoodcanbeofdifferentshapessuchasSquare Hexagonal orGaussian Thewidthoftheneighborhoodisafunctionoftime asepochsoftrainingelapse theneighborhoodshrinks 权值自适应 Adaptation Weightsofneuronswithinthewinningclusterareupdated SOFM算法 Repeat Selection PickasampleSimilarityMatching FindthewinningneuronAdaptation UpdatesynapticvectorsofONLYthewinningcluster Update Updatethelearningrateandneighborhood Until thereisnoobservablechangeinthemap 小结 人工神经网络是人工神经元组成的并行自适应网络 目标是对人类神经系统的某个功能进行抽象和建模 人工神经元基本元素 Asetofconnectinglinks Acombinationfunction Anactivationfunction ANN中的两个关键问题ArchitectureandLearningApproachSolutionstothesetwoproblemsleadstoanANNmodel两种ANN结构Feedforwardvs Feedback Recurrent 学习策略Hebbrain ErrorCorrection Stochastic Winner take all 人工神经网络发展历程 谢谢