资源描述
人工神经网络人工神经网络及其经济管理应用及其经济管理应用The Application of ANN to Economics&Management 第一章 导 论什么是人工神经网络（Artificial Neural Network）人脑结构对ANN的启示ANN 的特点人工神经网络的发展历史ANN在经济管理领域的应用什么是Artificial Neural NetworkNeural networks are composed of simple elements operating in parallel.These elements are inspired by biological nervous systems.As in nature,the network function is determined largely by the connections between elements.We can train a neural network to perform a particular function by adjusting the values of the connections(weights)between elements.模拟人脑，人工智能（AI）的基础之一。人脑结构对ANN的启示How human brain works?StimuliPreceptorEffecter人脑结构人脑是由大量神经细胞组成的复杂网络。神经细胞与神经传导人脑功能的基础神经网络人脑功能Who？对人脑进行模拟的两条道路黑箱方法功能模拟电子计算机黑箱方法功能模拟电子计算机白箱方法结构模拟智能机器（ANN）电子计算机（或称为Von Neumann 计算机）以逻辑代数为基本原理，模拟人的逻辑思维。人工神经网络试图模拟人脑的结构从而得到类似于人脑的功能。人脑与电脑共同点：获取、传递、存储、处理、输出信息（知识）。不同点：电脑：程序性、串行工作方式、储用分离、易损（Robust）、精确性。人脑：单元结构简单、整体结构复杂；并行处理；具有自主学习能力（环境可塑性）；联想功能；遗忘功能；复杂决策；高冗余、自我恢复；非线性特征明显。ANN 的特点ANN是AI（Artificial Intelligence）的一个分支。致力于从结构上模仿人脑的功能。分为软件模仿和硬件模仿。1、采用大规模分布式结构，通过学习具有非线性输入输出影射能力。2、通过学习存储知识，具有适应性、容错性及泛化能力（举一反三）。ANN的基本工作原理从环境样本中学习，学习的结果存储于连接之中（不可见），学习的过程叫做训练，训练成功的ANN可以用来解决特定的问题。学习的规则是ANN的核心，但学习规则与网络结构有关，以下是有监督学习的一般工作原理。ANN的软件模拟Matlab ToolboxMATLAB is a high-performance language for technical computing.The name MATLAB stands for matrix laboratory.Typical uses include：Math and computation Algorithm developmentData acquisition Modeling,simulation,and prototyping Data analysis,exploration,and visualization Scientific and engineering graphics Application developmentincluding graphical user interface building ANN的发展历史奠基时期早在十九世纪初就已经有人关注人类神经活动的复制。1943年McCulloch&Pitts发表“神经活动中蕴涵的思想与逻辑活动”成为这一领域的奠基之作，其来源是神经生理学。1946年ENIAC建成，1948年Wiener完成Cybernetics，开创了电子计算机的时代，从不同的方面做出了贡献。1949年，Donald Hebb提出了著名的Hebb学习规则。Hebb学习规则“如果相互连接的两个神经元都兴奋，则二者的联系将加强”“The Organization of Behavior”Hebb是一个心理学家，他的理论一开始并没有受到工程界的重视。（Why？）但是稍后Rochester等人的研究证明，在引入控制论和信息论（Shannon）的相关约束后，Hebb规则是一贯而通用的，并构成了其他学习规则的基础。ANN的发展历史第一次研究热潮1950s1957年，Rosenblatt发明感知机和ADALineWidrow&Hoff 提出著名的最小均方（LMS）算法。但出现了恶炒问题人工大脑就要问世了！被发现无法解决一个简单的XOR问题。遭到Minsky和Papert等人的全面否定。沉默期：要命的XOR问题XOR（0，0）0XOR（1，1）0XOR（0，1）1XOR（1，0）1(0,0)(0,1)(1,1)(1,0)复兴期：DARPA1980年，Grossberg提出解决竞争学习问题的自适应共振理论。1982年，Hopfield用能量函数构造了一种递归网络计算方法BP网等常用ANN的直接基础。物质基础：传统计算机计算能力的飞速发展为他的对手提供了理想的平台。先进制造工艺使得制造专属于ANN的硬件成为可能。现实世界对复杂信号处理的强烈需求美国国防部的DARPA声纳探测系统。当前ANN在经济管理领域的应用复杂函数关系分析与逼近隐含数学模型预测决策支持系统（神经专家系统）因素（模式）分类与识别优化问题知识工程总之，我们把ANN当做一种方法。第二章 ANN的基本原理ANN表达的四个基本要素：1、神经元模型结构2、激活函数类型3、网络模型结构4、学习算法Simple NeuronA neuron with a single scalar input and（no）bias 神经元模型结构A neuron with a single R-element input vector 表达为有向图的神经元模型规则1：信号仅沿着定义好的箭头方向在连接上流动。规则2：节点信号输出等于进入节点信号的代数和规则3：节点信号沿每个外向连接向外传递并独立于激活函数。输入信号向量连接权重诱导局部域加法器输出一个神经元的状态定义为它的输出信号或诱导局部域。激活函数类型Transfer Function阈值函数（阶跃函数）Stephardlim(n)=1,if n=0;0 otherwise.Hardlims(n)=1,if n=0;-1 otherwise.激活函数类型Transfer Function线性函数linear transfer functionpurelin(n)=n激活函数类型Transfer Function分段线性函数Saturating linear transfer functionsatlin(n)=0,if n=0;n,if 0=n=1;1,if 1=nsatlins(n)=-1,if n=-1;n,if-1=n=1;1,if 1=n激活函数类型Transfer FunctionSigmoid函数（S形曲线）logsig(n)=1/(1+exp(-n)tansig(n)=2/(1+exp(-2*n)-1This is mathematically equivalent to tanh(n)双曲正切函数双曲正切函数网络模型结构单层前馈网源节点输入层源节点输入层神经元输出层神经元输出层一个严格无圈的和前馈的网络。“单层”是指神经元输出层。源节点输入层不计算在内。网络模型结构多层前馈网源节点源节点输入层输入层隐藏神隐藏神经元层经元层神经元输出层神经元输出层一个完全连接网络。理论上隐层可以有N个。隐层的存在可以使网络具有很强的能力（如泛函逼近能力）隐层神经元的学习算法是一个难点。应用十分广泛。（如BP网）网络模型结构递归网络无隐层、无自反馈递归网络无隐层、无自反馈递归网络延迟递归网络也可以是有隐层的。左图为清晰起见没有完全连接，实际上是否完全连接取决于设计者的目的。由于反馈环的存在，这种网络可以实现非线性动态行为。让数据说话神经网络的知识表达ANN的知识表达是内嵌的。内嵌的结果是神经元之间的连接发生变化。整体性：单独某个连接的变化也许并无意义。规则1：类似类似的输入通常产生类似类似的表示规则2：不同类输入给出差别很大差别很大的表示规则3：如果某特征很重要，则表达涉及大量的神经元规则4：先验信息和不变性可事先附加于网络。如何让外部刺激产生知识？神经元之间连接权重的调整是表达知识的最基本方法。神经元之间连接权重的调整是表达知识的最基本方法。如何按照前述四个规则调整权重成为关键问题。如何按照前述四个规则调整权重成为关键问题。学习算法学习算法的种类：误差修正学习基于记忆的学习Hebb学习竞争学习Boltzmann学习学习算法的定义学习：学习：因经验而发生的持久的行为改变。神经网络学习神经网络学习：学习是一个过程，通过该过程神经网络的自由参数在其嵌入的环境的激励过程中得到调节。学习的类型由参数改变的方式决定。（Mendal&McClaren,1970)学习算法学习算法：解决学习问题的一个恰当定义的规则集合。学习算法不唯一。质量责任重于泰山，我为质量挑起重任。5月-245月-24Wednesday,May 22,2024健康发展，稳抓质量。03:43:19 03:43:19 03:43 5/22/2024 3:43:19 AM多一分防火准备，可减少生命财产损失。5月-2403:43:19 03:43 May-2422-May-24隐患险于明火防范胜于救灾。03:43:19 03:43:19 03:43 Wednesday,May 22,2024安全生产，生产蒸蒸日上；文明建设，建设欣欣向荣。5月-245月-2403:43:19 03:43:19 May 22,2024斩草要除根，安全须治本。2024 年5月22日3:43 上午5月-245月-24质量是企业的生命，安全是职工的生命。22 五月 20243:43:19 上午03:43:19 5月-24安全编织幸福的花环，违章酿成悔恨的苦酒。五月 243:43 上午5月-2403:43 May 22,2024安全是文明的体现，安全是员工的需要。2024/5/22 3:43:1903:43:19 22 May 2024强化安全生产，构建和谐社会。3:43:19 上午3:43 上午03:43:19 5月-24用户就是上帝，下道工序就是用户。5月-245月-2403:43 03:43:19 03:43:19 May-24规程可能“三言两语”，落实不能“三心二意”。2024/5/22 3:43:19Wednesday,May 22,2024没有措施免谈管理，没有计划如何工作。5月-242024/5/22 3:43:195月-24谢谢大家！谢谢大家！
展开阅读全文