神经网络基本原理培训课件

神神经网网络基本原理基本原理4.4 4.4 神经网络的决策支持神经网络的决策支持4.4.1 神经网络的基本原理4.4.2 神经网络的互连结构4.4.3 神经网络的学习4.4.4 神经网络专家系统2神经网络基本原理4.5 4.5 遗传算法的决策支持遗传算法的决策支持4.5.1 遗传算法原理4.5.2 遗传算法的应用3神经网络基本原理4.6 4.6 机器学习的决策支持机器学习的决策支持4.6.1 机器学习的概念4.6.2 机器学习的分类4神经网络基本原理4.4.1 神经网络的基本原理v 1.神经元的数学模型 1943年，由麦克洛奇和皮兹提出，简称MP模型。细胞体 树突轴突5神经网络基本原理 i1，i2，in为神经元的输入量，Oi为神经元的输入,W ij 为外面神经与该神经连接强度（即权），为阀值，f（x）为该神经元的作用函数：Oif（WijIi i）i1，2，n 神经元的输入计算：IWijIi i （i1，2，）6神经网络基本原理v 2.神经元的作用函数：（1）阶跃函数 （2）Sigmoid函数 （3）高斯型函数7神经网络基本原理4.4.2 神经网络的互连结构(1)不含反馈的前向网络 不含反馈的前向网络的结构形态。网络中的神经元分层排列，接受输入量的神经元节点组成输入层，产生输出量的神经元节点组成输出层，中间层亦称为隐层，可以有若干层隐层。每一层的神经元只接受前一层神经元的输入，输入向量经过各层的顺序变换后，由输出层得到输出向量。8神经网络基本原理(2)从输出层到输入层有反馈的前向网络 从输出层到输入层有反馈的前向网络简称为反馈神经网络。网络中的神经元也是分层排列，但是输入层神经元在学习过程中接受输出层神经元或部分输出层神经元的反馈输入。9神经网络基本原理（3）层内有相互结合的前向网络 每一层的神经元除接受前一层神经元的输入之外，也可接受同一层神经元的输入。通过层内神经元之间的相互结合，可以实现同层神经元之间横向的抑制或兴奋机制，从而可以限制一层内能同时动作的神经元的个数，或者实现把一层内的神经元分为若干组，每一组作为一个整体来动作。10神经网络基本原理(4)相互结合型网络 这种网络中任意两个神经元之间都可能有连接。在不含反馈的前向网络中，输入信号一旦通过某个神经元就将输出这个信号的变换值。但是，在相互结合型网络中，输入信号要在神经元之间反复往返传递，网络处于一种不断改变状态的动态之中。从某初态开始，经过若干次的状态变化，网络才会到达某种稳定状态，根据网络的结构和神经元的映射特性，网络还有可能进入周期振荡或其他平衡状态，如混沌状态。11神经网络基本原理4.4.3 神经网络的学习 1无教师学习方法基本思想：当输入的实例模式进入神经网络后，网络按预先设定的规则自动调整权值。2有教师学习方法基本思想：对实例k的输入，由神经网络根据当前的权值分布W(k)计算网络的输出Y（W，k），把网络的计算输出Y(W，k)与实例k的期望输出Y*（k）进行比较，根据两者之间的差的某个函数的值来调整网络的权值分布，最终使差的函数值达到最小。12神经网络基本原理4.4.4 神经网络专家系统1.神经网络的知识表示基于神经网络的知识表示方法有以下优点：1)能够表示事物的复杂关系，如模糊因果关系。2)具有统一的知识表示形式，便于知识的组织。知识表示形式的通用性强。3)便于实现知识的自动获取。4)便于网络的知识推理。13神经网络基本原理2神经网络的知识自动获取 神经网络是通过实例学习来实现知识自动获取的。在进行知识获取时，要求领域专家提供学习实例及其相应的期望解，经过网络自适应学习算法不断修改网络的权值分布，一旦网络稳定后，就把领域专家求解该问题的知识和经验(通过提供的学习实例来表示)分布到网络的互连结构及权值分布上，从而得到推理所需要的知识库。14神经网络基本原理3神经网络的知识推理与解释 神经网络的知识推理有以下特点：1)同一层神经元的计算是完全可并行的，层间的传播是逐层串行的。神经网络的知识推理机制很适合实现知识的并行推理。2)基于神经网络的专家系统的推理时间开销同基于规则的专家系统的推理时间的开销比较，前者要少得多。15神经网络基本原理3)基于神经网络的专家系统的解释器可以有一套输入模式解释规则和套输出模式解释规则，分别将用户输入的符号逻辑概念转换成网络的数值输入模式和把网络的数值输出模式转换成输出的符号逻辑概念提供给用户。由于基于神经网络的专家系统的知识表示是隐式的、非局部的，因此，神经网络专家系统的解释器难以像基于规则的专家系统那样，通过记录推理过程使用的规则链，来向用户提供why询问和how询问的解释。16神经网络基本原理神经网络专家系统与一般专家系统的不同：v 神经元知识库体现在神经元的连接强度（权值）上，它是分布式存贮的，适合并行处理。v 推理机是基于神经元的信息处理过程，以MP模型位基础，采用数值计算方法。v 神经元网络有成熟的学习算法。v 容错性很好。17神经网络基本原理1）确定系统框架v 神经元个数v 神经元网络层次v 网络单元的连接2）学习样本 学习样本是实际问题中已输入与输出结果的实例、公认的原理、规则与事实；分为线性样本与非线性样本。19神经网络基本原理3）学习算法4）推理机5）知识库 主要存放各个神经元之间的连接权值。6）输入模型转换 将逻辑概念转换为数值形式。7）输出模型转换 将数值形式的输出转换为逻辑概念。20神经网络基本原理4.5.1 遗传算法原理1.遗传算法的工作过程v 首先将问题的每个可能的解按照某种形式进行编码，编码后的解称为个体（染色体）。v 随机选取N个个体构成初始种群，再根据预定的评价函数对每个个体计算适应值，使得性能较好的染色体具有较高的适应值。v 选择适应值高的个体进行复制，通过遗传算子，来产生一群新的更适应环境的个体，形成新的种群。21神经网络基本原理编码和初始群体的形式个体适应值满意否？选择交叉变异产生新一代群体输出种群是是否否22神经网络基本原理1）群体种个体的编码 问题的编码就是将问题描述成位串的形式。一般将问题的参数采用二进制位编码构成子串，再将子串拼接起来构成位串。2）适应值函数的确定 适应值函数（评价函数）是根据目标函数确定的。适应值总是非负的，任何情况下，希望越大越好。23神经网络基本原理3）遗传算子 选择算子（复制、繁殖算子）选择是从种群种选择生命力强的个体产生新种群的过程。选择的常用方法：比率法、排列法、比率排列法。交叉算子（重组、配对算子）首先在新复制的群体中随机选取两个个体；然后，沿着这两个个体随机得取一个位置，二者互换从该位置起的末尾部分。24神经网络基本原理 变异算子 变异就是以很小的概率，随机地改变字符串某个位置上的值。变异发生的概率很低，它提高遗传算法找到接近最优接的能力，避免某些信息的永久性丢失，保证了遗传算法的有效性。25神经网络基本原理4）控制参数的设定 遗传算法中的参数包括群体中个体的数目、交叉概率、变异概率等。这些参数的设定随具体问题的不同将有所不同，具有经验性，它会影响遗传算法的迭代收敛过程。26神经网络基本原理2.遗传算法的基本特征 1）遗传算法的处理对象是问题参数的编码个体（位串）。遗传算法要求将问题的参数编码成长度有限的位串。2）遗传算法的搜索是从问题解位串集开始搜索，而不是从单个解开始。3）遗传算法只使用目标函数来搜索，而不需要导数等其他辅助信息。27神经网络基本原理4）遗传算法使用的3种遗传算子是一种随机操作，而不是确定规则。5）遗传算法的并行性。6）易于介入到已有模型中，并具有可扩展性，易于同别的技术结合使用。28神经网络基本原理4.5.2 遗传算法的应用 已知n个城市的地理位置(x,y),求经过所有城市,并回到出发城市且每个城市仅经过一次的最短距离。29神经网络基本原理4.6.1 机器学习的概念v 机器学习的简单结构：环境学习元知识库执行元30神经网络基本原理环境向系统提供学习信息；学习元对这些信息进行整理、分析、归纳或类比，生成新的知识元或改进知识库的组织结构；执行元以学习后得到的新知识库为基础，执行一系列任务，并将执行结果报告学习元，以完成对新知识库的评价，指导进一步的学习工作。31神经网络基本原理机器学习系统通常应该具有如下主要特征：机器学习系统通常应该具有如下主要特征：(1)目的性。系统的学习行为有高度的目的性，即系统必须知道学习什么。(2)结构性。系统必须具备适当的知识存储结构来记忆学到的知识，能够修改和完善知识表示与知识的组织形式。(3)有效性。系统学习到的知识应受到实践的检验，新知识必须对改善系统的行为起到有益的作用。(4)开放性。系统的能力应在实际使用过程中、在同环境进行信息交互的过程中不断改进。32神经网络基本原理4.6.2 机器学习的分类1.机械学习2.示教学习（被告知学习）3.通过例子学习4.解释学习5.类比学习6.发现学习33神经网络基本原理