资源描述
文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。思考：思考：“人脑是如何工作的？”“人类如何从现实世界获取知识和运用知识？”“我们能否制作模仿人脑的人工神经系统？”人工神经网络以人的大脑工作模式为基础，研究自适应非程序的信息处理方法。这种工作机制的特点表现在通过网络中大量神经元的相互作用来体现它自身的处理功能，从模拟人脑的结构和单个神经元功能出发，达到模拟人脑处理信息的目的。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。人工神经网络的基础知识人工神经网络的基础知识什么是人工神经网络？什么是人工神经网络？人工神经网络的基本模型及其功能人工神经网络的基本模型及其功能人工神经网络的应用领域人工神经网络的应用领域文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。什么是人工神经网络？什么是人工神经网络？l目前，关于神经网络的定义尚不统一，按美国神经网络学家Hecht Nielsen的观点，神经网络的定义是：“神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算机系统，该系统靠其状态对外部输入信息的动态响应来处理信息”。l综合神经网络的来源特点和各种解释，它可简单地表述为：人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。人工神经网络的基本模型及其特性l人工神经元的模型l人工神经网络的特性文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。人工神经元的模型l人工神经元的研究源于脑神经元学说;l大脑皮层神经元的类型有多种，它的基本结构如图1 所示:文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。人工神经元的模型l神经元由细胞及其发出的许多突起构成。细胞体内有细胞核，突起的作用是传递信息。l作为引入输入信号的若干个突起称为“树突”或“晶枝”(dendrite)，而作为输出端的突起只有一个称为“轴突”(axon)。l树突是细胞体的延伸部，它由细胞体发出后逐渐变细，全长各部位都可与其它神经元的轴突末稍相互联系，形成所谓“突触”(synapse)。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。人工神经元的模型l突触可分为兴奋性与抑制性两种类型，它相应于神经元之间耦合的极性。l每个神经元的突触数目有所不同，最高可达105 个，各神经元之间的连接强度和极性有所不同，并且都可调整，基于这一特性，人脑具有存储信息的功能。对于这样一种多输入、单输出的基本单元可以进一步从生物化学、电生物学、数学等方面给出描述其功能的模型。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。经典的MeCulloch-Pitts 模型M-P 模型示意结构文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。M-P模型模型l对于第j个神经元，接受多个其它神经元的输入信号 l各突触强度以实系数 表示，这是第i个神经元对第j个神经元作用的加权值。l利用某种运算把输入信号的作用结合起来，给出它们的总效果，称为“净输入”，以 或 表示。净输入表达式有多种类型，其中，最简单的一种形式是线性加权求和，即：l此作用引起神经元j 的状态变化，而神经元j 的输出yj 是其当前状态的函数。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。M-P 模型的数学表达式为：l式中，式中，为阈值，为阈值，sgn为符号函数，当净输入超过为符号函数，当净输入超过阈值时，阈值时，yj取取+1输出，反之为输出，反之为-1输出。如果考虑输输出。如果考虑输出与输入的延时作用，表达式可修正为出与输入的延时作用，表达式可修正为文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。人工神经网络模型l利用大量神经元相互连接组成的人工神经网络，将显示出人脑的若干特征，人工神经网络也具有初步的自适应与自组织能力。l在学习或训练过程中改变突触权重wij 值，以适应周围环境的要求。l同一网络因学习方式及内容不同可具有不同的功能。l人工神经网络是一个具有学习能力的系统，可以发展知识，以至超过设计者原有的知识水平。-预测有监督(supervised)或称有导师的学习无监督(unsupervised)学习或称无导师学习文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。人工神经网络的特性1大规模并行处理人脑是一个大规模并行与串行组合处理系统，因而在许多问题上可以做出快速判断、决策和处理。2分布式存储人脑存储信息的特点是利用突触效能的变化来调整存储内容，也即信息储存在神经元之间连接强度的分布上，存储区与运算区合为一体。3自适应(学习)过程在学习和训练过程中改变突触权重值，以适应周围环境的要求。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。人工神经网络的基本功能1 联想记忆功能2 分类与识别功能3 优化计算功能4 非线性映射功能文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。1 联想记忆功能l由于神经网络具有分布存储信息和并行计算的性能，因此它具有对外界刺激和输入信息进行联想记忆的能力。这种能力是通过神经元之间的协同结构及信息处理的集体行为而实现的。l神经网络通过预先存储信息和学习机制进行自适应训练，可以从不完整的信息和噪声干扰中恢复原始的完整的信息。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。联想记忆功能l联想记忆又分自联想记忆和异联想记忆两种：自联想记忆（Associative memory）：假定有m 个样本矢量 X(i)，其中i=0,1,2,.,m-1，若网络输入 Xj=Xk+D，Xk 表示第k 个样本，D是由于噪声干扰或图形缺损等因素引起的偏差。要求输出Y=Xk，也即去掉偏差使信号按样本复原。神经网络所具有的此种功能称为自联想记忆功能。异联想记忆（Hetero-associative memory）：与自联想记忆不同，它涉及两组样本，若样本 Xk 与样本 Zk 一一对应，当具有偏差的输入信号为 Xj=Xk+D 时，输出为Y=Zk，此联想为异联想功能。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。2 分类与识别功能l神经网络对外界输入样本有很强的识别与分类能力；l对输入样本的分类实际上是在样本空间找出符合分类要求的分割区域，每个区域内的样本属于一类。l假定神经网络输入X 有m类样本，样本元素为n，输出 yk 相应与m类样本之一，k=0,1,2,.,m-1，输入 X 与输出Y 之间关系如图所示。神经网络分类器神经网络分类器文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。3 优化计算功能l优化计算是指在已知的约束条件下，寻找一组参数组合，使该组合确定的目标函数达到最小。l将优化约束信息（与目标函数有关）存储于神经网络的连接权矩阵之中，神经网络的工作状态以动态系统方程式描述。l设置一组随机数据作为起始条件，当系统的状态趋于稳定时，神经网络方程的解作为输出优化结果。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。4 非线性映射功能l在许多实际问题中，如过程控制系统辨识故障诊断机器人控制等诸多领域，系统的输入与输出之间存在复杂的非线性关系，对于这类系统，往往难以用传统的数理方程建立其数学模型。l神经网络在这方面有独到的优势，设计合理的神经网络通过对系统输入输出样本进行训练学习，从理论上讲，能够以任意精度逼近任意复杂的非线性函数。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。人工神经网络的应用领域1.信息领域：信号处理模式识别数据压缩2.自动化领域：系统辨识神经控制器智能监测3.工程领域4.4.医学领域医学领域检测数据分析l脑电棘波的实时检测和癫痫的预报生物活性研究l提取致癌物的分子结构特征，建立分子结构和致癌活性之间的定量关系，并对分子致癌活性进行预测医学专家系统生物信息学l利用神经网络分析疾病与基因的关系文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。人工神经网络的基本要素l在人工神经网络设计及应用研究中，通常需要考虑三个方面的内容，即：神经元功能函数；神经元之间的连接形式；网络的学习(训练)。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。神经元功能函数l神经元在输入信号作用下产生输出信号的规律由神经元功能函数（f Activation Function）给出，也称激活函数，或称转移函数，这是神经元模型的外特性。lf 函数形式多样，利用它们的不同特性可以构成功能各异的神经网络。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。常见的神经元功能函数：1简单线性函数神经元功能函数f 连续取值，输入x 由连接矩阵w 加权产生输出。f(x)=x2对称硬限幅函数这是一种非线性模型，输出只取二值，如+1 或-1(或1 与0 为硬限幅函数)，当净输入大于某一阈值时，输出取+1，反之，输出取-1，这一作用可借助符号函数表示，如图，此时有：f(x)=sgn(x-)文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。常见的神经元功能函数：3sigmoid 函数(s 形函数)l神经元输出是限制在两个有限值之间的连续非减函数，表达式可写为：l式中sigmoid 曲线由双曲正切函数构成，最大值与最小值分别取+1 与-1。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。常见的神经元功能函数：l如果将双曲函数向上平移，即换用以下函数即单极性S 型函数。l则曲线之最大与最小值分别取1 和0文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。常用的神经网络功能函数文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。神经元之间的连接形式l神经网络是一个复杂的互连系统，单元之间的互连模式将对网络的性质和功能产生重要影响。l互连模式种类繁多，这里介绍一些典型的网络结构。1前向网络(前馈网络)2反馈网络文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。前向网络(前馈网络)l网络可以分为若干“层”，各层按信号传输先后顺序依次排列，第i 层的神经元只接受第(i-1)层神经元给出的信号，各神经元之间没有反馈。l有向无环路图lBP 网络文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。反馈网络l每个节点都表示一个计算单元，同时接受外加输入和其它各节点的反馈输入，每个节点也都直接向外部输出。lHopfield 网络文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。人工神经网络的学习(训练)1Hebb 规则2误差修正法学习算法感知器学习规则学习规则Widrow-Hoff 学习规则3胜者为王(Winner-Take-All)学习规则文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。1.Hebb 规则l在Hebb 学习规则中，学习信号简单地等于神经元的输出：l权向量的调整公式为：lHebb 学习规则代表一种纯前馈无导师学习。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。Hebb 规则应用l典型的应用如利用Hebb 规则训练线性联想器的权矩阵。l如果假定网络的权矩阵初始化为0，然后将m 个输入输出对依此应用式（1-9），取学习率h=1，得权矩阵w：假设输入向量 Xk为标准正交向量（向量之间正交，每个向量的长度为单位长）。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。例子：例子：假设有两个样本基因的表达向量为：假设有两个样本基因的表达向量为：两个样本的类别标签为两个样本的类别标签为请利用请利用Hebb规则设计线性联想器。规则设计线性联想器。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。例子例子解：网络的权矩阵设计可以验证这两个输入向量为标准正交向量。则网络的权矩阵为：文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。例子例子线性联想器验证用上述两个原型输入验证该权矩阵有：文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。例子例子线性联想器的预测：假如有一个新样本的基因表达为0.75,-0.75,1,-0.60，这个样本属于哪一类呢？由于d1d2，所以新样本和y1是一类.文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。2误差修正法学习算法l下面介绍另一种学习算法，称为误差修正法，权值的调整与网络的输出误差有关，它包括学习规则、Widrow-Hoff 学习规则、感知器学习规则和误差反向传播的BP(Back Propagation)学习规则等。l此处仅介绍前面几种算法，BP 算法将单独进行详细分析。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。感知器学习规则l1958 年，美国学者Frank Rosenblatt 首次定义了一个具有单层计算单元的神经网络结构，取名为感知器(Perceptron)。单计算节点感知器单计算节点感知器包括输入层在内，应为两层。包括输入层在内，应为两层。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。感知器学习规则l在给定样本的条件下，首先随机设置初始权重值(包括w 和值)。然后，加入样本矢量。l对于第j 神经元，假设xi 为其输入矢量的第i 元素，而wij 是相应的权重值。l如果期望输出为dj，而实际输出是yj，那么，在训练过程中，wij 的调整规则由下式给出：文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。感知器学习规则l对离散感知器，其中l式中，h 为调整步幅系数，h 0，离散感知器学习规则只适用二进制神经元，初始权值可取任意值。l单计算节点感知器仅对线性可分问题具有分类能力，而无法解决线性不可分问题。l如简单的线性感知器不可能实现“异或”的逻辑关系等。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。逻辑与&异或问题l我们设计一个单层感知器，有两个我们设计一个单层感知器，有两个输入，一个计算神经元。输入，一个计算神经元。x1x2yjw1jw2j文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。逻辑与&异或问题（1）设输入向量 ，对逻辑运算节点j 的输出式可写为：x1x2yjw1jw2j文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。逻辑与&异或问题对逻辑“与”而言可见总存在一组w1j和w2j满足式也就是说，单计算节点感知器对逻辑“与”问题具有分类能力。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。逻辑与&异或问题对逻辑“异或”很明显，此式是无解的。简单的线性感知器不可能实现简单的线性感知器不可能实现“异或异或”的逻辑关系。的逻辑关系。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。学习规则-了解l与离散感知器相对应的是连续感知器学习规则，也称为学习规则。其权值调整为：l对学习规则，其中l要求功能函数可导，因此它只适用于有导师学习中，定义功能函数为连续函数的情况。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。Widrow-Hoff 学习规则lWidrow-Hoff 学习规则的权值修正关系为：lh 为学习速度，与算法的稳定性有关l最大稳定学习速度为：l其中 是有关输入向量的矩阵特征值。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。例子例子l假设有两个样本的基因表达数据如下：l其中y1是疾病样本，标签为y1=-1,y2是正常样本，样本标签为y2=1,请利用Widrow-Hoff学习规则设计线性模式分类器。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。例子例子解：（1）最大稳态学习速度h通过求解输入相关矩阵的特征值可以求得h。假定输入向量是以相等概率随机产生，则可以如下计算输入相关矩阵：R的特征值为l故最大稳态学习速度为：文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。例子例子（2）权值学习训练开始时可将所有权值设为0，然后输入样本进行训练。直到网络权值最后稳定下来。l输入x1,y1：l则新的权矩阵为：文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。例子例子l下一次输入x2，y2：l则 新 的 权 矩 阵 为：文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。例子例子l下 一 次 输 入x1,y1：l则 新 的 权 矩 阵 为：文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。例子例子l按此过程经多次训练后，算法将收敛于：（3）线性分类器验证文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。例子：总结例子：总结l样本训练数据加到网络输入端，同时将相应的期望输出与网络输出相比较得到误差信号，以此控制权重连接强度的调整，经计算至收敛后给出确定的w 值。当样本情况发生变化时，经学习可修正w 值以适应新的环境。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。3胜者为王(Winner-Take-All)学习规则l以上几种学习规则都属于监督类型的学习。l对于无监督学习的情况，事先不给定标准样本，直接将网络置于“环境”之中，学习(训练)阶段与应用(工作)阶段成为一体。此时，学习规律服从连接权重w 的演变方程：l选定初始值w0 之后，由于环境不断改变，x，w 随之逐渐改变，对于平稳环境w 可达稳定状态。如果环境发生变化，w 也随之改变。这种边学习边工作的特征与人脑学习过程更相似。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。胜者为王规则胜者为王规则l一般将网络的某一层定为竞争层，对于一个特定的输入X，竞争层的所有p 个神经元均有输出响应，其中响应值最大的神经元为竞争中获胜神经元，即：l只有获胜神经元才有权调整其权向量Wm，调整量为l在反复的竞争学习过程中，竞争层的各神经元所对应的权向量被逐渐调整为输入样本空间的聚类中心。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。小结小结l人工神经网络基本概念特性及应用的介绍（了解）l人工神经网络的三大基本要素（掌握）：神经网络的结构形式；功能函数；学习规则；l学习规则的类型以及应用分析（掌握）文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。小结：小结：神经网络常规学习算法文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。典型神经网络分析以及应用典型神经网络分析以及应用lBP 误差反传神经网络误差反传神经网络lHopfield 神经网络神经网络文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。BP 误差反传神经网络lBP(Error Back Propagation Network)神经网络是目前应用最为广泛和成功的神经网络之一。l1986年，由Rumelhant 和Mcllelland 提出的。l是一种多层网络的“逆推”学习算法。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。基本思想基本思想l基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。l正向传播时，输入样本从输入层传入，经隐层逐层处理后，传向输出层。l若输出层的实际输出与期望输出（教师信号）不符，则转向误差的反向传播阶段。l误差的反向传播是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。l这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行。权值不断调整过程，也就是网络的学习训练过程。l此过程一直进行到网络输出的误差减少到可以接受的程度，或进行到预先设定的学习次数为止。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。BP 网络结构输入层输出层和中间层（或称隐层）组成文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。BP 网络学习算法BP 网络前向传播计算：BP 网络后退算法（BP 算法）l基本思想：如果神经元j 在输出层，则Oij 就是网络的实际计算输出，记为 yj，通过 yj 与所期望的输出dj 之间的误差反向传播来修改各权值。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。BP 算法l对此计算要使其能直接编制程序进行计算，必须求出 与神经元输出之间的递推关系：文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。BP 算法文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。BP 算法文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。BP 算法文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。BP神经网络的应用神经网络的应用l基于神经网络方法的乳腺癌亚型识别研究l数据：2000例乳腺癌的24个基因的表达数据；2000例乳腺癌被划分为4个亚型：Luminal A:ER+and low gradeLuminal B:ER+but often high gradeNormal breast-like Basal-like:ER-,PR-and HER2-;also called triple negative breast cancer(TNBC)为了方便处理，我们将类别信息用1-4数字表示文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。BP神经网络的模型建立过程神经网络的模型建立过程文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。l数据以及程序见数据以及程序见BP文件夹文件夹文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。Hopfield 反馈神经网络lHopfield 递归网络是美国加洲理工学院物理学家J.J.Hopfield 教授于1983 年提出的,他对神经网络学科的发展史颇具影响。lHopfield 网络按网络输入和输出的数字形式不同可分为离散型和连续型两种网络,即：离散型Hopfield 神经网络DHNN(Discrete Hopfield Neural Network)；连续型Hopfield 神经网络CHNN(Continues Hopfield Neural Network)。我们主要讲解DHNN的主要原理以及应用。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。DHNN 结构与工作方式lDHNN 结构它是一种单层全反馈网络,共有n 个神经元。每个神经元都通过连接权接收所有其它神经元输出反馈来的信息，其目的是为了让任一神经元的输出能接受所有神经元输出的控制,从而使各神经元能相互制约。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。DHNN 网络状态及工作方式 网络状态：lDHNN 中每个神经元都有相同的功能，其输出称为状态，状态用xj 表示（xj 神经元 j状态输出），所有神经元状态的集合就构成反馈网络的状态 l反馈网络的输入就是网络的初始状态值，可以表示为：l网络在外界激发作用下,从初始状态进入动态演变过程，文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。DHNN的转移函数lDHNN的转移函数常用符号函数表达,也有用对称饱和线性函数来表达。符号函数：对称饱和线性函数：文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。工作方式 DHNN 异步方式 串行工作方式每次只有一个神经元进行状态的调整计算,其他保持不变;神经元状态的调整次序可以按某种规定的次序进行,也可随机选定.DHNN 同步方式并行工作方式所有神经元同时进行状态的调整计算。为直观地说明离散型Hopfield 神经网络的运行过程，我们给出一离散型Hopfield 神经网络进行简单模式分类的实例。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。简单实例：基于离散型简单实例：基于离散型Hopfield 神经网络的简单模式分类器神经网络的简单模式分类器（1）问题提出：l某水果货仓存储着各种水果，不同类型的水果可能会混淆在一起，所以希望设计一台能够将水果自动分类的仪器。l分类时可以从水果三个方面进行识别：外形质地和重量。如果水果基本上是圆形的，其外形测试传感器输出为“1”；如果水果更接近于椭圆形的，其外形测试传感器输出为“-1”。如果水果表面光滑，其质地测试传感器输出为“1”；如果水果表面比较粗糙，其质地测试传感器输出为“-1”。当水果的重量超过 1 磅时，重量测试传感器的输出为“1”；当水果的重量轻于 1 磅时，重量测试传感器的输出为“-1”。l将三个测试传感器的输出输入到设计好的Hopfield 神经网络分类器中，待网络稳定后，其输出则对应水果的类型。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。简单实例：基于离散型简单实例：基于离散型Hopfield 神经网络的简单模式分类器神经网络的简单模式分类器l为简单起见，现假设只有两类水果：苹果和橘子。每个水果用一三维向量表示：一个标准的橘子可以表示为：一个标准的苹果可以表示为：圆形表面粗糙小于1磅圆形表面光滑小于1磅文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。（2）Hopfield 神经网络分类器设计l此处为了说明网络的作用和工作过程，直接给出网络训练好的权矩阵和阈值矩阵：l利用对称饱和线性函数可以将Hopfield 神经网络的运算关系写为：l这里希望网络输出要么收敛于橘子的标准模式 X1，要么收敛于苹果的标准模式X2文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。Hopfield 神经网络分类器设计l无论网络初始值是多少，第一个元素的值将不断增加直到最后的值为1；第三个元素的值将不断减少直到最后的值为-1；第二个元素乘上一个大于 1 的数，当第二个元素的初始值为负数时，它将收敛于-1，当第二个元素的初始值为正数时，它将收敛于1。文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。（3）网络分类功能检测l此处用椭圆形橘子的实例对Hopfield 神经网络分类器进行检测。此时待识别水果的特征向量可以表示为：椭圆形表面粗糙小于1磅Hopfield 神经网络最终收敛于橘子模式文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。小结小结l了解了解BP神经网络的基本工作原理；神经网络的基本工作原理；l了解了解BP神经网络在乳腺癌亚型分类中的应用；神经网络在乳腺癌亚型分类中的应用；l了解了解Hopfield 神经网络分类器设计原理以及分类的神经网络分类器设计原理以及分类的应用；应用；l了解了解Hopfield 神经网络的工作方式。神经网络的工作方式。
展开阅读全文