神经网络在数学建模中的应用.doc

毕 业 论 文神经网络在数学建模中的应用刘军200530760320指导教师 曾庆茂讲师学院名称理学院 专业名称信息与计算科学论文提交日期2009年5 月23 日 论文答辩日期年 月 日答辩委员会主席 _评 阅 人 _摘 要神经网络（Neural NetworkNN）是当今最具魅力的一个新兴学科生长点,已发展成为现代科学技术的新热点,其迅猛发展将对整个信息科学产生巨大的影响。神经网络在数学建模中的应用也非常的广泛。本文首先概述了人工神经网络的基础理论，接着阐述了神经网络的模型、结构、分类、特性。然后针对应用的目的，介绍了数学建模中常用两种的神经网络。常用的神经网络主要有两种：一种是基于误差反传算法的前馈神经网络，即BP神经网络，主要用来实现非线性映射；另一种是自组织神经网络，即SOM网，主要用来聚类和模式识别。神经网络在数学建模中比较擅长的是联想记忆，作分类器，作预测，作参数选择，作控制器等等，这些问题都可以通过神经网络进行解决。应用实例为2005年数学建模竞赛原题，使用“BP神经网络逼近法”预测算法模型，计算了观测站各时间段的预测值。“BP神经网络逼近法”为通用算法，优点是计算灵活，尤其对稳态随机过程的逼近效果较好，对精度要求比较高的问题，可以很好的解决，而且可以作整体预测，因此是目前最流行的算法。它解决了两个实际问题，其一为函数逼近问题，其二为预测问题，重点论述了如何结合实际应用问题来进行数据预处理、网络建立、网络训练及结果分析，展示BP神经网络在应用上的能力。最后，本文简要展望神经网络网络的发展前景，我们有理由相信，只要我们坚持不懈地努力，来自神经网络理论研究的一些新理论和新方法必将给2l世纪科学研究带来源源不断的动力。关键词： 神经网络 数学建模 BP神经网络 自组织神经网络目 录1 前言12 神经网络基本理论12.1 什么是神经网络12.2 人工神经网络基础12.2.1 生物神经元模型12.2.2 人工神经元模型22.2.3 处理单元的激活转移函数32.2.4 M-P模型52.3 神经网络模型52.4 人工神经网络的训练52.4.1 无导师学习62.4.2 有导师学习72.5 神经网络特性83 BP神经网络93.1 BP神经网络结构93.2 BP网络的Matlab编程实现及讨论113.3 学习算法讨论124 自组织特征映射神经网络（Self-Organizing feature Map）134.1 SOM网简介134.2 SOM网的生物学基础134.3 SOM网的拓扑结构144.4 SOM网的权值调整域144.5 SOM网的学习算法155 神经网络在数学建模中的应用举例165.1 神经网络在数学建模中解决哪类问题165.1.1 联想记忆165.1.2 分类和聚类175.1.3 优化计算175.1.4 预测175.2 应用举例：雨量预报方法的评价（2005数学建模竞赛题目C题，见附录B）185.2.1 问题重述：185.2.2问题的条件和假设：185.2.4 模型分析与求解195.2.5 问题一的分析205.2.6 预测算法设计：205.2.7 两种算法对六小时降雨量预报方法准确性分析245.2.8 问题二的求解算法255.2.9问题的结论265.2.10 模型的评价286 神经网络的发展展望29致 谢31参 考 文 献32Abstract33附 录34本科生毕业论文成绩评定表371 前言人工神经网络的研究始于20世纪40年代。人工神经网络是从微观结构与功能上对人脑神经系统的模拟而建立起来的一类模型，具有模拟人的部分形象思维的能力，其特点主要是具有非线性特性、学习能力和自适应性，是模拟人的智能的一条重要途径。它是由简单信息处理单元(人工神经元，简称神经元)互联组成的网络，能接受并处理信息。网络的信息处理由单元之间的相互作用来实现，它是通过把问题表达成处理单元之间的连接权来处理的。20世纪80年代以来。神经网络的理论和应用研究都取得了很大的成绩在模式识别、信号处理、知识工程、专家系统、优化组合、智能控制等领域得到了广泛的应用2 神经网络基本理论2.1 什么是神经网络人工神经网络简称神经网络，是人脑及其活动的一个理论化的数学模型，它由大量的处理单元通过适当的方式互联构成，是一个大规模的非线性自适应系统。1988年，Hecht-Nielsen曾给人工神经网络下了如下定义：人工神经网络是一个并行、分布处理结构，它由处理单元及称为联接的无向信号通道互联而成。这些处理单元（PE-Processing Element）具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分支成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。人工神经网络除了可以叫做并性分布处理系统（PDP）外，还可以叫做人工神经系统（ANS）、神经网络（NN）、自适应系统（Adaptive Systems）、自适应网（Adaptive Networks）、联接模型（Connectionism）、神经计算机（Neurocomputer）等。2.2 人工神经网络基础2.2.1 生物神经元模型神经元（即神经细胞）是脑的基本组成单位，从人脑的结构来看，它由大量的神经细胞组合而成。这些细胞相互连接，每个细胞完成某种基本功能，如兴奋和抑制，它们并行工作，整体上完成复杂思维活动和信息处理。大多数神经元具有某些结构上的共同特征，通常可以将其分为细胞体、树突和轴突三个区，如图1所示。图1 生物神经元结构细胞体由细胞核、细胞质和细胞膜等组成；树突是精致的管状延伸物，是细胞体向外伸出的许多较短的分支，围绕细胞体形成灌木丛状，它们的作用是接受来自四面八方传入的神经冲击信息，相当于细胞的“输入端”，信息流从树突出发，经过细胞体，然后由轴突传出。轴突是由细胞体向外伸出的最长的一条分支，形成一条通路，信号能经过此通路从细胞体长距离地传送到脑神经系统的其他部分，其相当于细胞的“输出端”。人脑功能是依靠信息流经由神经元组成的复杂网络来完成的，信息是通过神经元系统中的接合部（即突触）由一个细胞传递至另一个细胞。突触有两种类型：即兴奋型和抑制型。当输入脉冲使细胞膜电位升高，超过动作电位的阈值时，产生正的电位的称为兴奋型突触；当输入脉冲使细胞膜电位下降至动作电位的阈值时，产生负的电位的称为抑制型突触。由于轴突的末端分出许多末梢，它们与其他神经元的树突（和细胞体、轴突）构成一种称为突触的结合部，树突在突触接收信号后，将它传递给细胞体，信号在那里积累，激起神经元兴奋或抑制，从而决定神经元的状态。2.2.2 人工神经元模型神经元是神经网络的基本处理单元，一般表现为一个多输入、单输出的非线性器件通用的结构模型如图2所示。图2 神经元结构模型其中，为神经元的内部状态，为阈值，为输入信号，表示与神经元连接的权值，表示某一外部输入的控制信号。 （1.1）神经元模型常用一阶微分方程来描述，它可以模拟生物神经网络突触膜电位随时间变化的规律。2.2.3 处理单元的激活转移函数激活转移函数是一个神经元的重要组成部分，转移函数也称为激励函数，它描述了生物神经元的转移特性，激活函数的基本作用是： 控制输入对输出的激活作用。 对输入、输出进行函数转换。 将可能无限域的输入变换成指定的有限范围内的输出。常用的激活函数有以下几种： 阈值型函数这种激活函数将任意输入转化为或两种状态输出，有时称为硬限幅函数，如图3（a）所示，其表达式为（1.2）或 （1.3）其主要特征是不可微、阶跃型，常应用于M-P模型、感知器模型及Hopfield模型。 线性型函数线性型函数可将输入转化为任意值输出，即将输入原封不动地输出，而不像阈值型函数的输出只是两种状态，其输入输出关系如图3（b）所示，线性函数表达式为（1.4） 分段线性型（饱和型）函数实质上，饱和型函数是阈值型函数和线性型函数的综合，如图3（c）所示，其表达式为（1.5）其主要特征是不可微、阶跃型，常用于细胞神经网络，如模式识别、文字识别或噪声控制等。 S（Sigmoid）型函数S型激活函数将任意输入值压缩到或的范围内，常用的S型函数有对数函数，即（1.6）或双曲正切函数，即（1.7）如图3（d）、（e）所示，其主要特征是可微、阶跃型，常用于BP（Back Proragation）模型或Fukushina（认识机/神经认识机）模型。图3 激活转移函数2.2.4 M-P模型将人工神经元的基本模型和激活函数合在一起构成人工神经元，这就是著名的McCulloch-Pitts模型，简称M-P模型，也可以称之为处理单元（PE-Processing Element）2.3 神经网络模型神经网络是由大量的神经元广泛互联而成的网络。根据连接的方式不同，神经网络可以分成两大类：没有反馈的前向网络和相互结合性网络。前向网络由输入层、中间层（或叫隐层）和输出层组成，中间层可有若干层，每一层的神经元只接受前一层神经元的输出。而相互连接型网络中任意两个神经元间都有可能连接，因此输入信号要在神经元之间反复往返传递，从某一初态开始，经过若干次的变化，渐渐趋于某一稳定状态或进入周期振荡状态。目前虽然已有数十种的神经网络模型，但已有的神经网络可分成三大类，即前向网络（Feedforward NNs）、反馈网络(Feedback NNs)和自组织网络（Self-organizing NNs）。2.4 人工神经网络的训练人工神经网络最具有吸引力的特点是它的学习能力。1962年，Rosenblat给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。但是，人工神经网络的表达能力有限，这就大大限制了它的学习能力。人工神经网络的学习过程就是对它的训练过程。所谓训练，就是在将来由样本向量构成的样本集合（被简称为样本集、训练集）输入到人工神经网络的过程中，按照一定的方式去调整神经元之间的联接权，使得网络能将样本集的内涵以联接权矩阵的方式存储起来，从而使得在网络接受输入时，可以给出适当的输出。从学习的高级形式来看，一种是有导师学习，另一种是无导师学习，而前者看起来更为普遍些。无论是学生到学校接受老师的教育，还是自己读书学习，都属于有导师学习。还有不少时候，人们是经过一些实际经验不断总结学习的。也许这些应该算做无导师学习。从学习的低级形式来看，恐怕只有无导师学习的学习形式。目前为止，我们还没能发现在生物神经系统中有导师学习是如何发生的。在那里还找不到“导师”的存在并发挥作用的迹象，所有的只是自组织、自适应的运行过程。2.4.1 无导师学习无导师学习（Unsupervised Learning）与无导师训练（Unsupersived Training）相对印。该方法最早由Kohonen等人提出。虽然从学习的高级形式来看，人们熟悉和习惯的是有导师学习，但是，人工神经网络模拟的是人脑思维的生物过程。而按照上诉说法，这个过程应该是无导师学习的过程。所以无导师训练方式是人工神经网络的较具说服力的训练方法。无导师训练方法不需要目标，其训练集中只含一些输入向量，训练算法致力于修改权矩阵，以致网络对一个输入能够给出相容的输出，即相似的输入向量可以得到相似的输出向量。在训练过程中，相应的无导师训练算法用来训练的样本集合中蕴含的统计特性抽取出来，并以神经元之间的联接权的形式存于网络中，以致网络可以按照向量的相似性进行分类。虽然用一定的方法对网络进行训练后，可收到较好的效果。但是，对给定的输入向量来说，它们应该被分成多少类，某一个向量应该属于哪一类，这一类的输出向量的形式是什么样的，等等，都是难以事先给出的。从而在实际应用中，还要求进行将其输出变换成一个可以理解的形式的工作。另外，其运行结果的难以预测性也给此方法的使用带来一定的障碍。主要的无导师训练方法有Hebb学习律、竞争与协同（Competitive and Cooperative）学习、随机联接学习（Randomly Connected Learning）等。其中Hebb学习律是最早被提出的学习算法，目前的大多数算法都来源于此算法。Hebb算法是D.O.Hebb在1961年提出的，该算法认为，联接两个神经元的突触的强度安下列规则变化：当两个神经元同时处于相同状态时被加强，否则被减弱。可用如下数学表达式表示： （1.8）其中，、分别表示神经元到的联接在时刻t+1和时刻t的强度，、为这两个神经元在时刻t的输出，为给定的学习率。2.4.2 有导师学习在人工神经网络中，除了上面的介绍的无导师训练外，还有导师训练。有导师学习（Supervised Learning）与有导师训练（Supervised Training）相对应。虽然有导师训练从生物神经系统的工作原理来说，因难以解释而受到一定的非议，但是，目前看来，有导师学习却是非常成功的。因此，需要对有导师学习方法进行研究。在这种训练中，要求用户在给出输入向量的同时，还必须同时给出对应的理想输出向量。所以采用这种训练方式的网络实现的是异相联的映射。输入向量与其对应的输出向量构成一个“训练对”。有导师学习的训练算法的主要步骤是：（1）从样本集合中取一个样本；（2）计算出网络的实际输出O；（3）求；（4）根据D调整权矩阵W；（5）对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。有导师训练算法中，最为重要、应用最普遍的是Delta规则。1960年，Widrow和Hoff就给出了如下形式的Delta规则： （1.9）也可以写成 （1.10） （1.11）Grossberg的写法为 （1.12）更一般的Delta规则为 （1.13）上述式子中，、分别表示到的联接在时刻t+1和时刻t的强度，、为这两个神经元在时刻t的输出，为神经元的理想输出，、分别为神经元和的激活状态。2.5 神经网络特性自适应学习的能力神经网络的信息处理和存储是在节点间连接权上进行的, 在其自适应自学习过程中不断完善自己, 具有创新的特点。神经网络的自适应自学习过程, 属于一个递归调用过程, 每学习一遍, 检查输出信号是否达到了要求, 若尚未达到规定值, 则自动地调整内部各参数, 继续进行学习。神经网络自适应自学习的目的旨在验证其输出层的实际输出值与所需输出值的误差, 使其减至最小。在自适应自学习过程中误差值逐渐减小, 直至达到允许值为止。它不仅可处理各种变化的信息, 而且在处理信息的同时其自身亦在不断地变化, 即通过其某种自学习机制, 自身总结经验, 可对一些无规律的问题, 作出及时的反应与对策。整体性和系统性单个神经元仅作简单运算, 而大量神经元通过互连成网络之后具有自适应自学习的功能, 善于联想、概括、类比和推广的整体运算能力, 会产生出某种向一致的整体效应。神经网络具有理智而敏捷的判断思维, 可处理一些环境信息颇为复杂、知识背景不清晰、推理规律模糊、信息模式多变、甚至相互矛盾的问题, 可从典型实例中正确处理具体事例, 给出最终会令人满意的结果。大规模并行处理信息的能力神经网络处理信息快速、准确, 其信息处理是在大量单元中并行而有层次地进行, 它不易出差错, 且处理速度较之数字式卜算机快得多。极强的容错和抗噪能力任何局部的损坏不会影响整体的结果, 它会自动进行修正。神经网络具有高度分散的信息存储方式, 在神经网络中, 一个信息并不是存放于一个地方, 而是分布于整个网络内,网络中每一处又能存人多个信息, 即使网络局部系统受损, 亦不致降低整个网络的整体效能仅在某种程度上减慢处理速度, 但其处理速度仍远高于普通计算机, 查询任一部分信息, 有关的信息皆可回忆出来, 恢复其原始信息。3 BP神经网络3.1 BP神经网络结构BP神经网络由多个网络层构成，通常包括一个输入层、若干个中间层和一个输出层。BP网络的特点是：各层神经元仅与相邻层神经元之间有连接；各层内神经元之间没有任何连接；各层神经元之间也没有反馈连接。BP网络具有很强的非线性映射能力，根据Kolrnogorov定理，一个3层BP神经网络能够实现对任意非线性函数进行逼近。一个典型的3层BP神经网络模型如图4所示。图4 典型的三层BP神经网络结构设BP网络的输入层、中间层和输出层分别有NI、NJ和NK个神经元。中间层第j个神经元的输入为： （3.1）式中，为输入层中第个神经元到中间层第个神经元的权值；为输入层中第i个神经元的输出。输出层第k个神经元的输入为： （3.2）式中，为中间层中第个神经元到输出层第个神经元的权值；为中间层中第k个神经元的输出。输入层、中间层和输出层的输出分别为： （3.3） （3.4） （3.5）式中和分别为中间层第个神经元和输出层第个神经元的阈值。BP网络的训练采用基于梯度法的学习律，其目标是使网络输出与训练样本的均方误差最小。设训练样本为P个，其中输入向量为；输出向量为；相应的教师值(样本)向量为。则第P个样本的均方误差为： （3.6）式中， 和分别为第k个输出神经元第p个样本的教师值和实际输出值。输出层的权值调整为： （3.7） （3.8） 式中，为学习率；为动量因子。中间层的权值调整为： （3.9） （3.10）阈值的调整与权值相类似，不再赘述。3.2 BP网络的Matlab编程实现及讨论设要求逼近的函数为，其中训练结束设置样本权值阈值初始化误差足够小？计算各层误差计算各层输出修正权值和阈值。网络采用2-5-1结构，即输入层2个节点，隐层5个节点，输出层1个节点。输出层的和中间层采用标准Sigmoid函数。实现流程如图5所示，具体步骤如下。 初始化。权值和阈值取随机数；确定学习率 和动量因子；设定学习误差准则。 N 设置样本。将、在给定范围内均匀lO等 分，产生121个训练样本。 Y 前向传播：根据式(3.1)(3.5)计算各层输出。 N 后向传播：根据式(3.8)和式(3.10)计算各层误差。 Y 根据式(3.7)和式(3.9)调整权值和阈值。 全部样本是否都已训练?若否，则返回步骤 进行下一样本训练。 图5 BP网络实现流程计算总性能指标。全部样本的误差函数为判断性能指标是否满足要求：？若已满足，则训练结束；否则返回步骤。 经过3845次学习(=O03，无动量项)后达到设定误差=01，误差曲线如图6所示。用训练好的BP网络对测试样本进行测试，测试样本为、在给定范围内均匀20等分产生441个数据。测试误差均值为-0.0027，方差为0.0012，测试数据用Matlab中的Mesh()三维画图函数得到如图7所示结果，程序见附录A。 图6 BP学习误差曲线 图7 仿真结果 3.3 学习算法讨论在实际应用中，BP算法存在着训练时间长、收敛速度慢的缺点。在BP基本算法中增加动量项是一种常用且有效的方法，通过实验对改进学习算法中学习率和动量因子对收敛速度的影响进行仿真研究。不同学习率和动量因子时所需的学习次数如表1所示。表1 不同学习率和动量因子下所需的学习次数0.010.020.030.040.050.30.40.50.60.70.8795068175683454931422266404134442875230717421181270223201941156511958432045175814751196927678165014211195975769568从表1结果中可以看出：当学习率不变时，增大动量因子，所需学习次数随之减少。当动量因子不变时，增大学习率，所需学习次数随之减少，但学习率不能过大，否则将可能导致学习算法不收敛。增加动量项后对学习速度有明显改善。如，当=O.5时，学习次数通常只需无动量项时的50，当=0.8时，学习次数通常只需无动量项时的25。BP网络是一种无反馈的多层前向神经网络，有很强的函数逼近能力，应用非常广泛。通过一个二元函数逼近的实例，对BP网络的构造和程序实现进行了研究。针对BP网络存在训练时间长、收敛速度慢的缺点，采用动量项的学习算法能有效提高学习速度，不同参数对BP网络的收敛速度有很大影响，仿真结果表明，较大的学习率和动量因子能提高学习速度，但过大的取值则可能导致学习算法不收敛。4 自组织特征映射神经网络（Self-Organizing feature Map）4.1 SOM网简介1981年芬兰Helsink大学的T.Kohonen教授提出一种自组织特征映射网，简称SOM网，又称Kohonen网。Kohonen认为：一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，而且这个过程是自动完成的。自组织特征映射正是根据这一看法提出来的，其特点与人脑的自组织特性相类似。4.2 SOM网的生物学基础生物学研究的事实表明，在人脑的感觉通道上，神经元的组织原理是有序排列。因此当人脑通过感官接受外界的特定时空信息时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应区域是连续映象的。对于某一图形或某一频率的特定兴奋过程，神经元的有序排列以及对外界信息的连续映象是自组织特征映射网中竞争机制的生物学基础。4.3 SOM网的拓扑结构SOM网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层，如图8。 (a)一维线阵 (b)二维平面线阵图8 SOM网的拓扑结构4.4 SOM网的权值调整域SOM网的获胜神经元对其邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要程度不同地调整权向量。如图9，这种调整可用三种函数表示：图9 权向量调整函数表示以获胜神经元为中心设定一个邻域半径，该半径圈定的范围称为优胜邻域。在SOM网学习算法中，优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。优胜邻域开始定得很大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。4.5 SOM网的学习算法Kohonen 学习算法(1)初始化对输出层各权向量赋小随机数并进行归一化处理，得到，；建立初始优胜邻域；学习率赋初始值。(2)接受输入从训练集中随机选取一个输入模式并进行归一化处理，得到，。(3)寻找获胜节点 计算与的点积，从中选出点积最大的获胜节点。(4)定义优胜邻域以为中心确定t 时刻的权值调整域，一般初始邻域较大，训练过程中随训练时间逐渐收缩。(5)调整权值 对优胜邻域Nj*(t)内的所有节点调整权值： （4.1）式中，是训练时间t 和邻域内第j 个神经元与获胜神经元 j* 之间的拓扑距离N 的函数。流程图如图10。初始化、归一化权向量W： j=1,2,m建立初始优胜邻域Nj*(0)学习率h(t)赋初始值输入归一化样本，p1,2,P计算点积，j=1,2,m选出点积最大的获胜节点j*定义优胜邻域Nj*(t)对优胜邻域Nj*(t)内节点调整权值：i=1,2,n jNj*(t)N Y结束 图10 Kohonen学习算法程序流程5 神经网络在数学建模中的应用举例5.1 神经网络在数学建模中解决哪类问题5.1.1 联想记忆所谓联想记忆是指：设给定m个样本。当输入时，要求输出（可以等于，这就是记忆的功能）。现在，当输入为时，其中为噪声，希望其输出仍为，这就是联想的功能，即当输入与有一些误差时网络仍然“认得”出是，故称之为联想。网络既能记忆，又能联想，故称之为有联想记忆能力。 联想有两种类型，一种是由联想到，另一种是由联想到（一般）5.1.2 分类和聚类设有一样本集k，它分成m个互不相交的类：。若当约定当属于时令其输出y的第i个分量为1，其余分量为0，用式子表示为 （5.1）若给定的网络能完成上诉功能，则称对应的网络有分类功能力。聚类：设给定一样本集k，再给定一分类的要求；希望网络能将集中的样本按要求自动分成若干个类。具有这种能力的网络就称为具有聚类能力。分类与聚类略有不同，分类指每个样本对应哪一类，预先是知道的；而聚类则指每个样本对应哪一类预先是不知道的（它是由分类的要求所决定的）。5.1.3 优化计算求在某种约束条件下，达到最优解的计算，同常称之为优化计算。一般，我们将优化条件存贮在神经网络的权系数和阈值中，网络的工作状态以动态方程式描述。然后，取一初始值，当系统的状态趋于稳定时，网络的解（输出）就是我们所求的最优化的解。5.1.4 预测用神经网络进行预测，首先要采集训练样本，然后选择神经网络模型，训练神经网络，训练好的神经网络才有预测能力。用神经网络来进行预测的过程如图11所示网络模型选择神经网络学习神经网络拟合预测结果预测模型校验预测模型校验网络模型选择神经网络学习神经网络拟合预测结果理论、数据等图11 神经网络用于预测的过程其中网络模型的选择就是根据具体对象选择合适的神经网络进行预测，主要包括模型类型(连接方式、学习算法等)、网络规模(神经网络层数、隐含节点个数、输入输出个数等)。神经网络学习是根据历史数据调整神经网络的连接权值和阈值，使得神经网络模仿历史数据中的因果关系。神经网络拟合是用调整好了的连接权值和阈值的神经网络来拟合历史数据，这反映了神经网络对历史数据中的因果关系的模拟情况。预测模型校验是用检验样本输入训练好的神经网络，得到预测输出，再与实际数据进行对比测试误差，这反映了神经网络的泛化能力。待神经网络拟合和预测模型校验都达到要求，就可以进行预测。5.2 应用举例：雨量预报方法的评价（2005数学建模竞赛题目C题，见附录B）5.2.1 问题重述：雨量预报对农业生产和城市工作和生活有重要作用。我国某地气象台和气象研究所正在研究6小时雨量预报方法，即每天晚上20点预报从21点开始的4个时段（21点至次日3点，次日3点至9点，9点至15点，15点至21点）在某些位置的雨量，这些位置位于东经120度、北纬32度附近的5347的等距网格点上。同时设立91个观测站点实测这些时段的实际雨量，由于各种条件的限制，站点的设置是不均匀的。预测点的经纬度、41天的预测数据、及实测点的经纬度、41天的实测数据分别给出。本文要求建立数学模型对下述预测效果进行评价：建立数学模型，来评价两种6小时雨量预报方法的准确性。气象部门将6小时降雨量分为6等：0.1-2.5毫米为小雨，2.6-6毫米为中雨，6.1-12毫米为大雨，12.1-25毫米为暴雨，25.1-60毫米为大暴雨，大于60.1毫米为特大暴雨。若按此分级向公众预报，如何在评价方法中考虑公众的感受？5.2.2问题的条件和假设：1在本题中，假设所有预测数据和观测数据及预测点和观测站的经纬度坐标值均有效，即不考虑人为因素造成的无效数据或误差。2在同一时间段降雨量呈连续分布，即同一时间段内预测点及其所围成的区域内每一点降雨量函数值形成一个连续曲面。3当两地距离大于某个确定时，假设两地降雨量没有必然联系。4在问题二中，假设当预测值在等区间而预报为相邻降雨等级时，认为观众可以接受。5.2.3 符号说明：表示个等距网格点上第行、第列的经纬度坐标(; )。：表示91个观测站的经纬度坐标()。：分别表示第一、二种预测方法对预测点第天第时间段的预测值 (;)。：表示观测站第天第时间段的观测值(; ; )。：分别表示第一、二种预测方法对观测站第天第时间段的预测值(; )。：表示观测站到预测点的距离。：表示观测站预测值和观测值差的绝对值。：预测值与观测值误差的绝对值的数学期望。：表示预测值和观测值误差绝对值的方差。：分按时间段进行降雨量等级预报时公众满意度函数。：公众对预测方法的平均满意度。5.2.4 模型分析与求解根据题目提供的预报点的经纬度、及观测站的经纬度，通过描点，可以得到如下预报点及观测站位置如图12：图12 预测点及观测站分布图其中“”表示预测点的位置，“*”表示观测站的位置。从图中可以看出，预报点分布较均匀，而观测站分布不规则，它主要集中在北纬2934度、东经118123度之间。5.2.5 问题一的分析本题已经给出了一段时间内若干预报点及观测站的降雨量预报值及实际观测值，要求评价两种6小时预报降雨量方法的准确性。要检验准确性，只能通过对预报点的预报数据进行分析，建立起一个预测模型，通过预测模型预测观测站的预测值，然后将预测值与观测值进行比较，得到预测准确性的评价方法。首先将利用插值算法，建立相关数学模型，对观测站的降雨量进行预测。由于插值算法比较多，我将用三种具有代表性的算法计算所有观测站的降雨量预测值，然后再利用相关的评价算法，对前两种预测算法进行相应的评价。5.2.6 预测算法设计：由于此问题数据量大，选择算法非常关键。模型结构简单，计算量小，预测准确性好，是我的目标。但是，熊掌鱼翅不可兼得，我将给出三种预测模型，它们各有所长。预测算法1 (最邻近点插值法)人们最容易想到的、最简单的一种算法是最邻近点插值法。这种算法的思想，就是将与最邻近的点的预测值作为观测站的观测值所对应的预测值，即, （5.2）这是一种最简单的插值算法，这种算法简单直观，计算量小，对于数据量大，对预测精度要求不是太严格，预测值随时间变化比较快时，用这种快速算法不失为一种有意义的算法。我利用此算法对观测站的降雨量进行了观测，得到如图13，图14所示的预测值。 图13 最邻近插值算法预测6月23日四个时间段各观测站方法2下的预测值图14 最邻近点插值算法对所有观测站41天每天4个时段两种方法的预测值预测算法2 (反距离加权平均法) 由于观测站处的降雨量不仅与它最邻近点的降雨量有关，而且与它周围的降雨量存在着密切的关系，对处降雨量的预测，应考虑邻近网格点预测值对它的影响。将寻找的一个方形邻域，只考虑这个方形邻域内的点对预测的影响。对于，给出如下算法：定义到的距离如下： （5.3）则两种预测方法对点在第天、第时间段的预测值定义为： （5.4）其中。这个算法叫“反距离加权平均”法，又称Shepard方法。其基本思想是对于，对处的预测值的影响随它们之间距离的增大而减小。这种算法与最邻近点插值法相比，具有如下优点：(1) 此算法充分考虑了观测站邻近点对观测站预测值的影响。同时，认为预测点对观测站预测值的影响随距离增大而减小的假设也较合理。(2) 由于数据量大，如果在对每一个观测站进行预测时，都考虑所有预测网点对它的影响，就会因为计算量大而很难实现，同时，也会因为计算过程产生的计算误差而导致计算效果降低。从而在这里寻找的一个方形邻域，只考虑方形邻域内的预测网点的预测值对它的影响，这样得到的预测值不仅比算法1更合理，而且计算量不会有太大增加。取，通过计算，得到两种预测方法在91个站点41天每天4个时段的全部预测值，;(如图15所示)。 图15 反距离加权平均法预测所有站点所有时间段降雨量预测值3预测算法3 (BP神经网络算法)上面两种算法都只是利用某观测站邻近预测点的信息对其进行独立预测，也就是说只考虑观测站周围一个点或若干个点对它的影响，而没有将所有预测点的信息进行整体考虑，这些算法具有较大局限性。为此，给出另一种算法，这种算法和前面两种算法不同，它是基于逼近理论，充分考虑一个紧集上的点对全部观测站预测值的影响的基础上建立起来的一种整体预测算法。这就是现在最流行的算法之一“三层BP神经网络算法”。BP网络可看作是一个从输入到输出的高度非线性映射，网络学习公式的推导思想是，对网络权值的修正与阈值的修正，使误差函数沿负梯度方向下降，BP网络三层节点表示为：输入节点：；隐节点：；输出节点：BP模型的计算公式：（1）隐节点的计算输出： （5.5）（2）输出节点的计算输出： （5.6）其中。（3）输出节点的误差为： （5.7）其中为期望输出，为实际输出，通过对误差求导，使误差沿负梯度方向下降。经过反复训练，得到一组常数网络权值，使神经网络能够以任意精度逼近紧集内的点所对应的函数值，这个理论已经得到证明，证明过程从略。这种算法与前面两种算法相比，有如下的优点：(1) 对于一个给定紧集上的未知函数，如果知道集合中足够数量的特征点及其对应的函数值，就可以建立一个神经网络，通过对这些点进行训练，得到一组常数权值，在这组权值下，只要给定紧集上的任意一点，就可以通过公式(5.5)、(5.6)计算这点所对应的函数值，而且逼近误差可以达到任意精度。(2) 这种算法是一种整体算法，避免了只考虑少数点对观测值影响而造成的误差。(3) BP网络已经比较成熟，在Matlab中有相应工具箱，只要输入误差限、特征点的坐标及其函数值，调用相关函数，就可以对网络进行训练，减小了编程的难度。当然，也要一分为二看待，由于神经网络在进行训练时，进行了大量的梯度运算，计算速度比较慢。占用较多的机时。在这里只用BP神经网络对观测站的值进行预测，不对它的预测效果进行分析和评价。取紧集为，在其内对每一个时段的预测值分别进行训练，然后对观测站每个时间段的降雨量进行预测，得到如下图所示的预测值函数图像：图16 BP算法对所有观测站全部时间段预测值5.2.7 两种算法对六小时降雨量预报方法准确性分析第个观测站第天时段预测值与观测值的误差绝对值为： （5.8）91个观测站第天时段的预测值与观测值误差绝对值的均值为： , . （5.9）91个观测站41天时段的预测值与观测值误差的均值为： , . （5.10）对第天时段预测值与观测值误差的方差为：， （5.11）若按时段分析，第时段预测值与观测值误差的方差为： 说明：为观测站降雨量的测量值和预测值之间的偏差，反映了预测值偏离观测值的程度，越小越好。本题关心的是预测值和观测值之间的差距是多少，至于是偏大还是偏小都不影响用此方法对两种预测方法的评价，而且运用统计规律对误差进行处理时，不能产生误差相互抵消的情况，所以误差只有定义为预测值偏离观测值的绝对值，才有意义。用来评价第种方法在第天时段对91个观测站预测好坏，而用来评价第种方法通过41天对91个观测站第时段预测效果的好坏。5.2.8 问题二的求解算法问题2中，气象部门将降雨量分成6个等级，用0，1，2，3，4，5，6等7个数字分别表示无雨、小雨、中雨、大雨、暴雨、大暴雨及特大暴雨等，从这个分段中可以看出，降雨量在等区间处无定义，将定义域补充完整后定义如下分段函数： （5.12）为了考虑公众的感受，定义如下公众满意度函数： （5.13）其中表示取不大于的整数，即取“地板函数”。可见此法有很好的“容忍性”，即当预测值在等区间而实测值在各自的相邻区间时，则公众满意度为1，如当而时，公众满意度为1，反之亦然。这个算法具有较好的科学性，由假设，当误差小于0.1mm，可以认为是公众对预报满意。另外，对公众的满意度进行了量化，取误差为零（=0）时满意度为1，误差的等级差距最大（=6）时满意度为0。其它的情况满意度介于0和1之间，且与级差成反比。利用此算法，容易得到公众对预报的满意程度。定义如下公众对两种预报方法的平均满意程度函数： （5.14） （5.15）表示第天时段公众对第种预测方法的满意度。表示41天内第时段公众对第种预测方法的满意度。用上述算法，对题中给出的两种预报数据进行分析、计算，得到了相关满意度结果(见模型的结论与评价)。5.2.9问题的结论这里利用“最邻近点插值法”及“反距离加权平均法”建立两种模型，在两种预测方法中，对问题一中预报降雨量的准确性进行了相关分析，得到如下结果：最邻近点插值法：预测值与测量值的误差平方和的平方根：(2) 两种预测方法误差的均值分别为：(3) 两种方法在41天中同一时间段的方差分别为： 通过上述三组数据的比较，我认为在“最邻近点插值法”建立起的算法模型下，预测方法一的预报降雨量效果比预测方法二的准确度要好一些。从这些数据还可看出，两种预测方法的误差的均值都非常小，说明两种方法都比较可靠，但是方法一的误差均值更小，说明它的预测值更接近于观测值，另外，方法一的方差比方法二小，说明它的预测更“稳定”，误差的波动范围要小，不会出现大的错误。两种预测方法在41天中四个时段的公众满意度及整体满意度分别为： ，从这组数据可以看出，公众对两种预测方法的满意度都在以上，满意度都比较高，而第一种预测方法比第二种方法的满意度略高，和问题一的结论一致。反距离加权平均法：(1) 预测值与测量值的误差平方和的平方根：(2) 两种预测方法误差的均值分别为：(3) 两种方法在41天中同一时间段的方差分别为： 和“最邻近点插值法”相似，在“反距离加权平均法”算法建立起的算法模型下，得到预测方法一的预报降雨量效果比预测方法二的准确度略好一些。两种预测方法在41天中四个时段的公众满意度及整体满意度分别为： ，从这组数据也可以得到，公众对两种预测方法的满意度都在以上，满意度都比较高，而第一种预测方法比第二种方法的满意度略高。通过两种模型对上述两种预测方法的有效性的研究，我得到，这两种预测方法都可以接受，而预测方法1对问题一的降雨量的预报准确度及问题二公众的满意度都要好一些。5.2.10 模型的评价通过建立三种预测算法模型，对观测站的降雨量进行了相关预测，并且分别用“最邻近点插值法”及“反距离加权平均法”模型对两种降雨量预报准确性及公众的满意度进行了评价，得到较满意的结论。所用的三种算法，各有特点。其中“最邻近点插值法”是一种最简单的插值算法，算法简单直观，计算量小。但是容易产生较大的误差，而且由于进行数据处理时用到的数据量很小，只用了2491个预测点中的91个点的数据，即只对其中百分之一的预测数据进行检验，可能使结果失真，但通过各个时段的数据进行分析，会在一定程度上克服这些弊端，对于数据量大，对预测精度要求不是太严格，预测值随时间变化比较快时，用这种快速算法不失为一种有意义的算法。Shepard 方法基本避免了算法1的缺点，检验用到的数据多，而且对一般情况，符合连续函数的机理，应用很广泛，较之算法1，计算量要多，对于要求不太高，只需进行定性判定的问题不必要。而且要找出一个合适的有效半径，因为许多问是，并不是在进行插值运算时用到的原始值越多越好。往往需要对有效半径先进行判定，或多次试探。算法3为通用算法，有很强的可靠性，但是计算量大，往往不是解决问题的最好算法，但是对精度要求比较高的问题，可以很好的解决，而且可以作整体预测，一般的问题都可以解决，因此是目前最流行的算法。虽然本题第一种算法，即最邻近点插值法，得出的结果最好，但这是具体问题的特殊性所造成的(因为从地理知识可知，被预报位置在为江苏、上海、浙江的沿海城市，这些位置降雨量极不均匀，在这种情况下，最邻近点插值法效果较好)。通常算法2比会得出比算法1更合理的结果，而算法3它是一种整体预测算法。这种方法就是现在最流行的算法。对于更一般的情况，即把本模型的解决方法推广应用于其它模型时，算法2和算法3会是很好的算法。6 神经网络的发展展望神经网络在国民经济和国防科技现代化建设中具有广阔的应用领域和应用前景。主要应用有：语音识别、图像识别和理解、计算机视觉、智能机器人、故障机器人、故障检测、实施语音翻译、企业管理、市场分析、决策优化、物资调运自适应控制、专家系统、智能接口、神经生理学、心理学和认知科学研究等等。随着神经网络理论研究的深入以及网络计算能力的不断提高，神经网络的应用领域将会不断扩大，应用水平将会不断提高，最终达到神经网络系统可用来帮人做事的目的，这也是神经网络研究的最终目标。神经网络研究在近十几年取得了引人瞩目的进展，从而激起了不同学科与领域的科学家和企业家的巨大热情和浓厚的兴趣。人工神经网络特有的非线性适应性信息处理能力克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在组合优化、预测、模式识别、智能控制等领域得到成功应用。人工神经网络与其它传统方法相结合。将推动人工智能和信息处理技术不断发展。近年来人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展随着人们对人工神经网络的日益关注，人工神经网络正向前发展着。神经网络作为人工神经网络应用最多的网络，也会不断向前发展。结合目前情况来看，神经网络今后的发展主要有以下几个方面： 应用研究新特点多学科综合目前，人工神经网络与其它传统方法相结合。将推动人工智能和信息处理技术不断发展。近年来人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展 实现技术研究的当务之急硬件实现目前在神经网络的应用中主要采用软件模拟的方法，由于该方法是用串行计算体系模拟并行计算体系，因而无法真正发挥神经网络并行处理的优势。硬件实现的神经网络中每个处理单元以及各处理单