第4章(1神经网络)课件

第第 4 章章 计算智能的仿生技术计算智能的仿生技术（1）神经计算神经计算第第4章章 计算智能的仿生技术计算智能的仿生技术 41 神经计算神经计算 42 模糊计算模糊计算 43 遗传算法遗传算法 44 人工生命人工生命 4.1 神经计算神经计算 4.1.1 人工神经网络人工神经网络 4.1.2 反向传播模型反向传播模型BP 4.1.3 反向传播模型实例分析反向传播模型实例分析 4.1.4 神经网络专家系统神经网络专家系统4.1.1.1 神经网络原理神经网络原理 人工神经网络（人工神经网络（ANN）是模拟人脑神）是模拟人脑神经元活动的过程，其中包括对信息的加工、经元活动的过程，其中包括对信息的加工、处理、存储、搜索等过程。处理、存储、搜索等过程。ANN不能对人脑进行逼真描述，但它不能对人脑进行逼真描述，但它是人脑的某种抽象、简化和模拟。是人脑的某种抽象、简化和模拟。人脑神经元的形状为：神经元组成；神经元组成；树突树突：神经纤维较短，是接收信息的。：神经纤维较短，是接收信息的。细胞体细胞体：对接收到的信息进行处理。：对接收到的信息进行处理。轴突轴突：较长的神经纤维，是发出信息的。：较长的神经纤维，是发出信息的。突突触触：一一个个神神经经元元的的轴轴突突末末端端与与另另一一个个神神经经元的树突之间密切接触。元的树突之间密切接触。神经元具有如下性质神经元具有如下性质：（1 1）多输入单输出；）多输入单输出；（2 2）突触具有加权的效果；）突触具有加权的效果；（3 3）信息进行传递；）信息进行传递；（4）信息加工是非线性。）信息加工是非线性。神经元的数学模型图：其其中中：V1、V2、Vn为为输输入入；i为为该该神神经经元元的的输输出出；ij为外面神经元与该神经元连接强度（即权），为外面神经元与该神经元连接强度（即权），为阈值，为阈值，f(X)为该神经元的作用函数。为该神经元的作用函数。每每个个神神经经元元的的状状态态Si（i1,2,n）只只取取0或或1，分分别别代代表表抑抑制制与与兴兴奋奋。每每个个神神经经元元的的状状态态，由由M-P方程决定：方程决定：其其中中：Wij是是神神经经元元之之间间的的连连接接强强度度，Wij（ij）是可调实数，由学习过程来调整。是可调实数，由学习过程来调整。i是阈值，是阈值，f(x)是阶梯函数。是阶梯函数。MP（Mcculloch Pitts）模型0,1阶梯函数阶梯函数(0,1)S型函数：型函数：神经网络的学习，主要是指通过一定的学习算法或规神经网络的学习，主要是指通过一定的学习算法或规则实现对突触结合强度则实现对突触结合强度(权值权值)的调整。的调整。ANNANN学习规则主要有学习规则主要有四种，即四种，即联想式学习、误差传播学习、概率式学习和竞争联想式学习、误差传播学习、概率式学习和竞争式学习。式学习。(1)(1)联想学习：联想学习是模拟人脑的联想功能，典型联想学习：联想学习是模拟人脑的联想功能，典型联想学习规则是由心理学家联想学习规则是由心理学家HebbHebb于于19491949年提出的学习行为年提出的学习行为的突触联系，称为的突触联系，称为HebbHebb学习规则。学习规则。神经网络的学习神经网络的学习Hebb规则规则 若若i与与j两两种种神神经经元元之之间间同同时时处处于于兴兴奋奋状状态态，则则它们间的连接应加强，即：它们间的连接应加强，即：Wij SiSj (0)这一规则与这一规则与“条件反射条件反射”学说一致，并得到神学说一致，并得到神经细胞学说的证实。经细胞学说的证实。设设1，当，当SiSj1时，时，Wij1，在，在Si，Sj中有一个为中有一个为0时，时，Wij0。(2)(2)误差传播学习：以误差传播学习：以19861986年年RumelhartRumelhart等人提出等人提出的的规则规则(BP(BP算法算法)为典型为典型 规则中，误差由输出层逐层反向传至输入层，规则中，误差由输出层逐层反向传至输入层，由由误差修改网络权值误差修改网络权值，直至得到网络权值适应学，直至得到网络权值适应学习样本。习样本。4.1.1.2 神经网络的几何意义神经网络的几何意义1神经元与超平面神经元与超平面由由n个神经元（个神经元（j=1,2,n）对连接于神经元）对连接于神经元i的信的信息总输入息总输入Ii为：为：其中其中Wij为神经元为神经元j到神经元到神经元i的连接权值，的连接权值，i为神为神经元的阈值。神经元经元的阈值。神经元xj(j=1,2,n)相当于相当于n维空维空间间（x1,x2,xn）中一个结点的）中一个结点的n维坐标（为了维坐标（为了便于讨论，省略便于讨论，省略i下标记）。令：下标记）。令：它代表了它代表了n维空间中，以坐标维空间中，以坐标xj为变量的一个超平为变量的一个超平面。其中面。其中wj为坐标的系数，为坐标的系数，为常数项。为常数项。当当n=2时，时，“超平面超平面”为平面（为平面（x1,x2）上的一）上的一条直线：条直线：当当n=3时，时，“超平面超平面”为空间（为空间（x1,x2,x3）上的）上的一个平面：一个平面：从几何角度看，一个神经元代表一个超平面。从几何角度看，一个神经元代表一个超平面。2.超平面的作用超平面的作用 n维空间（维空间（x1,x2,xn）上的超平面）上的超平面I=0，将空，将空间划分为三部分。间划分为三部分。（1）平面本身）平面本身超平面上的任意结点超平面上的任意结点 满足于超平面方程，即：满足于超平面方程，即：（2）超平面上部）超平面上部 P超平面上部超平面上部P的任意结点满足于不等式，即的任意结点满足于不等式，即（3）超平面下部）超平面下部 Q超平面下部超平面下部Q的任意结点满足于不等式，即的任意结点满足于不等式，即3.作用函数的几何意义作用函数的几何意义神经网络中使用的阶梯型作用函数神经网络中使用的阶梯型作用函数f（x）把把n维空间中超平面的作用和神经网络作用函数结合维空间中超平面的作用和神经网络作用函数结合起来，即起来，即它的含义为：它的含义为：超平面上部超平面上部P的任意结点经过作用函数的任意结点经过作用函数后转换成数值后转换成数值1。超平面上任意结点和超平面下部。超平面上任意结点和超平面下部Q上的任意结点经过作用函数后转换成数值上的任意结点经过作用函数后转换成数值0。4神经元的几何意义神经元的几何意义通过以上分析可知，一个神经元将其它神经元对它的信息总通过以上分析可知，一个神经元将其它神经元对它的信息总输入输入I，作用以后（通过作用函数）的输出，相当于，作用以后（通过作用函数）的输出，相当于:该神经元所代表的超平面将该神经元所代表的超平面将n维空间（维空间（n个输入神经元构成的个输入神经元构成的空间）中空间）中:超平面上部结点超平面上部结点P转换成转换成1类，超平面及其下部结点转换类，超平面及其下部结点转换成成0类。类。结论：结论：神经元起了一个分类作用。神经元起了一个分类作用。5线性样本与非线性样本线性样本与非线性样本定义：对空间中的一组两类样本，当能找出一个超平面将两定义：对空间中的一组两类样本，当能找出一个超平面将两者分开，称该样本是者分开，称该样本是线性样本线性样本。若不能找到一个超平面将若不能找到一个超平面将两者分开，则称该样本是两者分开，则称该样本是非线性样本非线性样本。4.1.1.3 多层神经网络的分类多层神经网络的分类1多个平面的分割将非线性样本变换成线性样本多个平面的分割将非线性样本变换成线性样本利用超平面分割空间原理，对一个非线性样本它是利用超平面分割空间原理，对一个非线性样本它是不能用一个超平面分割开。不能用一个超平面分割开。用多个超平面分割空间成若干区，使每个区中只含用多个超平面分割空间成若干区，使每个区中只含同类样本的结点。这种分割完成了一种变换，使同类样本的结点。这种分割完成了一种变换，使原非线性样本变换成二进制值下的新线性样本。原非线性样本变换成二进制值下的新线性样本。一个神经元相当于空间中一个超平面。一个超平一个神经元相当于空间中一个超平面。一个超平面将空间划分为上下两部分，通过作用函数将空面将空间划分为上下两部分，通过作用函数将空间两部分的所有结点（含超平面上结点），分别间两部分的所有结点（含超平面上结点），分别变换为取二进制值（变换为取二进制值（0或或1）的两个点。）的两个点。三个神经元相当于空间中三个超平面将空间划分三个神经元相当于空间中三个超平面将空间划分成八区（见图成八区（见图4.3），），P1面上部为面上部为1，下部为，下部为0；P2面右部为面右部为1，左部为，左部为0；P3面前部为面前部为1，后部为，后部为0。，同一个区的所有结点变换成同一个三位二。，同一个区的所有结点变换成同一个三位二进制（进制（0或或1）的点。空间八区的值为：）的点。空间八区的值为：000,001,010,011,100,101,110,111。011001P1P2P3 2多层神经网络的变换作用多层神经网络的变换作用BP神经网络模型实质上就是通过至少两层超平面分神经网络模型实质上就是通过至少两层超平面分割（即隐结点层和输出结点层）来完成样本分类的。割（即隐结点层和输出结点层）来完成样本分类的。BP神经网络超平面的找出是反复通过神经网络修改神经网络超平面的找出是反复通过神经网络修改权值的迭代权值的迭代:最后求出最后求出隐结点层神经网络超平面隐结点层神经网络超平面的权值和阈值的权值和阈值 以及以及输出结点神经网络超平面输出结点神经网络超平面的权值和阈值。的权值和阈值。4.1.1.4 感知机模型感知机模型(PerceptronPerceptron)神经元神经元i i的输入为的输入为 i iijijj j j j为为j j神经元的输出，神经元的输出，ijij为神经元为神经元j j到神经元到神经元i i的连接权重的连接权重。神经元神经元i i的输出为：的输出为：i i（i i）其中（）为神经元作用函数。（一般采用其中（）为神经元作用函数。（一般采用 0,1阶阶梯函数梯函数）设设i i神经元的期望输出为神经元的期望输出为i i，它与计算输出它与计算输出i i之差为：之差为：i ii i 通过样本学习，应该让权重通过样本学习，应该让权重ijij使使ii尽可能小。利用著名的尽可能小。利用著名的德尔塔规则（德尔塔规则（delta ruledelta rule）计算：计算：ijiji i j j （为常数）为常数）规则规则:ijij(t+1)(t+1)ijij(t(t)ijij 更新权重更新权重ij。实例实例:两值逻辑加法两值逻辑加法输入X1X2输出（期望）该例子的感知机计算公式该例子的感知机计算公式：1(k+1)1(k+1)1(k)1(k)1 1 （）（）2 2 2 2 2 2 初值：初值：1 1 2 2 其中为期望输出，为计算输出。其中为期望输出，为计算输出。定义：对空间中的一组两类样本，当能找出一个超平面将两者分开，定义：对空间中的一组两类样本，当能找出一个超平面将两者分开，称该样本是线性可分样本。称该样本是线性可分样本。yx1x2w1w2(0,1)(1,1)(1,0)(0,0)计算过程计算过程：（）：（）1(1)1(1)1(0)1(0)（）（）2 2 2 2 ，（）（）1(2)1(2)1(1)1(1)（）（）2 2 2 2 ，（），（）1(3)1(3)1(2)1(2)（）（）2 2 2 2 ，（）（），（）（）1(4)1(4)1(3)1(3)（）（）2 2 2 2 再再循循环环一一次次，将将会会得得到到所所有有例例子子的的（）值值均均为为零零，即即权权值值（11，2 2）满足所有实例要求）满足所有实例要求。对异或问题：对异或问题：输入输入1 12 2输出输出 0 0样本是非线性样本，即找不到一个超平面，将两类样本分开。样本是非线性样本，即找不到一个超平面，将两类样本分开。感知机对问题的计算：感知机对问题的计算：同二值逻辑样本计算，的计算相同，时有：同二值逻辑样本计算，的计算相同，时有：（）（）（）（）11(4)11(4)11(3)11(3)（）（）21 21 21 21 修修改改后后的的权权值值，又又回回到到了了初初始始状状态态，如如果果继继续续计计算算，将将出出现现无无限限循循环环，永远不会收敛。永远不会收敛。该例充分说明感知机对非线性样本无效。该例充分说明感知机对非线性样本无效。(0,1)(1,1)(1,0)(0,0)神经网络神经网络BP模型原理：模型原理：BP算法的学习过程，由正向传播和反向传算法的学习过程，由正向传播和反向传播组成。播组成。在正向传播过程中，输入信息从输入层经过在正向传播过程中，输入信息从输入层经过隐层，再传向输出层，每一层的神经元的状态值隐层，再传向输出层，每一层的神经元的状态值只影响下一层神经元的状值；只影响下一层神经元的状值；如果在输出层不能得到期望的输出值，则转如果在输出层不能得到期望的输出值，则转入反向传播，将误差信号沿逆向通路返通过修正入反向传播，将误差信号沿逆向通路返通过修正各层神经元的权值，使得网络的总误差值收敛到各层神经元的权值，使得网络的总误差值收敛到极小。极小。信息的正向传播，误差的反向传播。信息的正向传播，误差的反向传播。412 反向传播模型反向传播模型BP 网络开始训练时选用较小的随机给网络开始训练时选用较小的随机给定权值与内部阈值（定权值与内部阈值（），通过反复利用），通过反复利用训练样本调整权值，直到误差函数下降训练样本调整权值，直到误差函数下降到可以接受的允许值（如到可以接受的允许值（如0.05）。）。BP神经网络对非线性数据分类是十神经网络对非线性数据分类是十分有效的。分有效的。BP模型是模型是1985年由年由Rumelhart等人提出的。等人提出的。1.多层感知机结构多层感知机结构 神神经经网网络络不不仅仅有有输输入入节节点点、输输出出节节点点，而而且且有有一一层或多层隐节点层或多层隐节点,如图：如图：2.作用函数为作用函数为(0,1)S型函数型函数 3.误差函数误差函数 BP算法是最小均方差算法（算法是最小均方差算法（LMS）的一般化，用梯度的一般化，用梯度搜索技术，使均方差函数最小。搜索技术，使均方差函数最小。根据最小二乘法原理，根据最小二乘法原理，对第对第p个样本误差计算公式可定个样本误差计算公式可定义为为：义为为：对对于于整整个个网网络络系系统统的的总总均均方方误误差差为为：E1/pEp，其其中中p为训练样本总数。为训练样本总数。网络训练的目的是找到一组权值，使网络训练的目的是找到一组权值，使E极小化。极小化。LMS算法算法用梯度下降法，即权重的增量正比于误差的负导数：用梯度下降法，即权重的增量正比于误差的负导数：用误差去修正输出层和隐节点的权值，用误差去修正输出层和隐节点的权值，误差反向传播。误差反向传播。误差反向传播示意图误差反向传播示意图BP算法计算公式：算法计算公式：1.隐结点的输出：隐结点的输出：2.输出结点计算输出：输出结点计算输出：其中：其中：3.输出结点的误差公式：输出结点的误差公式：其中：令：对输出节点：对隐节点：令：其中：1.对输出结点：对输出结点：2.权值修正：权值修正：3.对隐结点：对隐结点：4.权值修正：权值修正：其中，隐结点误差的含义：其中，隐结点误差的含义：表示输出层结点表示输出层结点l的误差的误差 通过权值通过权值 向隐结点向隐结点I反向传播（误差乘反向传播（误差乘 权值权值 再累加）成为隐结点的误差。再累加）成为隐结点的误差。阈值的修正 阈值阈值 也是一个变化值，在修正权值的同时也也是一个变化值，在修正权值的同时也修正它，原理同权值的修正。公式推理见书。修正它，原理同权值的修正。公式推理见书。对输出结点：对输出结点：对隐结点：对隐结点：对对算法公式的进一步推导和简化：算法公式的进一步推导和简化：作用函数作用函数 存在关系存在关系 对输出结点：对输出结点：对隐结点：对隐结点：BP模型计算公式汇总模型计算公式汇总1.输出结点输出输出结点输出Ol计算公式计算公式（1）输入结点的输入）输入结点的输入xj（2）隐结点的输出隐结点的输出：其中：其中：Wij连接权值，连接权值，结点阈值结点阈值。(3)输出结点输出：输出结点输出：其中：其中：Tij连接权值，连接权值，结点阈值结点阈值。输出层（隐结点到输出结点间）的修正公式输出层（隐结点到输出结点间）的修正公式输出结点的期望输出：输出结点的期望输出：tl误差控制：误差控制：所有样本误差：所有样本误差：其中一个样本误差：其中一个样本误差：其中，其中，p为样本数，为样本数，n为输出结点数。为输出结点数。（3）误差公式：）误差公式：（4）权值修正：）权值修正：其中其中k为迭代次数。为迭代次数。（5）阈值修正：阈值修正：3、隐结点层（输入结点到隐结点间）的修正公式、隐结点层（输入结点到隐结点间）的修正公式（1）误差公式：）误差公式：（2）权值修正：）权值修正：（3）阈值修正）阈值修正：求求 l(2)i(1)Ol=f（l）yi=f（i）l(k+1)=l(k)+l(2)j 修正（修正（Tli，l），（），（Wij，i）修正权修正权 l(2)=Ol(1Ol)(dlOl)Til(k+1)=Til(k)l(2)yi i(1)=yi(1yi)Wij(k+1)=Wij(k)i(1)xj输出输出节点节点lTli 隐隐节点节点 i修正权修正权Wij输入输入节点节点xji(k+1)=i(k)+i(1)BP网络的学习过程网络的学习过程样本的正向传播过程样本的正向传播过程(由输入计算到输出由输入计算到输出)误差的逆向传播过程误差的逆向传播过程(由误差修改权值由误差修改权值)记忆训练过程：记忆训练过程：、的交替过程的交替过程(反复修改权值反复修改权值)学习的收敛过程：学习的收敛过程：E min4.1.3 反向传播模型实例分析反向传播模型实例分析 1.异或问题的异或问题的BP神经网络神经网络按按问问题题要要求求，设设置置输输入入结结点点为为两两个个（x1,x2），输输出出结结点点为为1个个（z），隐隐结结点点定定为为2个个（y1，y2）。各各结结点点阈阈值和网络权值见图说明。值和网络权值见图说明。2.计算机运行结果计算机运行结果迭代次数：迭代次数：16745次；总误差：次；总误差：0.05隐层网络权值和阈值：隐层网络权值和阈值：w11=5.24，w12=5.23，w21=6.68，w22=6.64 1=8.01 2=2.98输出层网络权值和阈值：输出层网络权值和阈值：T1=-10，T2=10，=4.793.用计算结果分析神经网络的几何意义用计算结果分析神经网络的几何意义隐结点代表的直线方程隐结点代表的直线方程 y1：5.24x1+5.23 x2-8.01=0 即即 x1+0.998 x2-1.529=0 y2：6.68x1+6.64 x2-2.98=0即即 x1+0.994 x2-0.446=0图、图、隐结点代表的直线方程隐结点代表的直线方程直线直线y1和和y2将平面（将平面（x1，x2）分为三区：分为三区：ly1线上方区，线上方区，x1+x2-1.530，x1+x2-0.450ly1,y2线之间区，线之间区，x1+x2-1.530ly2线的下方区，线的下方区，x1+x2-1.530，x1+x2-0.450lZ线下方区线下方区-y1+y2-0.4790对样本点：对样本点：l点点(0,1)（即即y1=0,y2=1）落落入入Z线线上上方方区区，经经过过输输出出结结点点作用函数作用函数f(x)（暂取它为阶梯函数）得到输出为：暂取它为阶梯函数）得到输出为：Z=1l点点(0,0)（即即y1=0,y2=0），点点(1,1)（即即y1=1,y2=1）落落入入Z线下方区，经过输出结点作用函数线下方区，经过输出结点作用函数f(x)得到输出为：得到输出为：Z=0结论：输出结点将结论：输出结点将y1,y2平面上三个样本平面上三个样本(0,0)，(0,1)，(1,1)变换成两类样本变换成两类样本Z=1和和Z=0。4.神经网络结点的作用神经网络结点的作用隐结点作用是将原非线性样本（四个）变换成线隐结点作用是将原非线性样本（四个）变换成线性样本（三个）。性样本（三个）。输出结点作用是将线性样本（三个）变换成两类输出结点作用是将线性样本（三个）变换成两类（1类或类或0类）。类）。对于作用函数对于作用函数f(x)取为取为S型函数，最后变换成两类型函数，最后变换成两类为为“接近接近1类类”和和“接近接近0类类”。4.1.4 神经网络专家系统神经网络专家系统4.1.4.1 神经网络专家系统概念神经网络专家系统概念神经元网络专家系统的特点神经元网络专家系统的特点:1.神神经经元元网网络络知知识识库库体体现现在在神神经经元元之之间间的的连连接接强强度度（权权值值）上。上。它是分布式存贮的，适合于并行处理。它是分布式存贮的，适合于并行处理。2.推推理理机机是是基基于于神神经经元元的的信信息息处处理理过过程程。它它是是以以P模模型型为为基础的，采用数值计算方法。基础的，采用数值计算方法。3.神神经经元元网网络络有有成成熟熟的的学学习习算算法法。感感知知机机采采用用delta规规则则。反反向向传传播播模模型型采采用用误误差差沿沿梯梯度度方方向向下下降降以以及及隐隐节节点点的的误误差差由由输出结点误差反向传播的思想进行的。输出结点误差反向传播的思想进行的。.容容错错性性好好。由由于于信信息息是是分分布布式式存存贮贮，在在个个别别单单元元上上即即使使出出错或丢失，所有单元的总体计算结果，可能并不改变。错或丢失，所有单元的总体计算结果，可能并不改变。4.1.4.2 神经元网络专家系统结构神经元网络专家系统结构用 户知识工程师 学 习 样 本 确定 系统 框架 神经元 学习 形成 学习样本 知识库（分布式）实际问题 参数输入模式 转换 推 理 机 制输出模式 转换实际问题 结果（一）确定系统框架（一）确定系统框架 1.完成对神经元网络的拓朴结构设计：完成对神经元网络的拓朴结构设计：（1）神经元个数）神经元个数 （2）神经元网络层次）神经元网络层次 （3）网络单元的连接）网络单元的连接 2.确定神经元的作用函数和阈值确定神经元的作用函数和阈值 作用函数用得较多的有两种：作用函数用得较多的有两种：（1）阶梯函数）阶梯函数 （2）S型函数型函数 阈阈值值的的选选取取可可为为定定值值如如 i=0或或 i=0.5，或或者者进进行行迭迭代代计计算。算。（二）学习样本（二）学习样本 学学习习样样本本是是实实际际问问题题中中已已有有结结果果的的实实例例、公公认认的的原原理理，规则或事实。规则或事实。（三）学习算法（三）学习算法 对不同的网络模型采用不同的学习算法，但都以对不同的网络模型采用不同的学习算法，但都以Hebb规则为规则为基础。基础。1.Perceptron(感知机感知机)模型：采用模型：采用delta规则。规则。2.Back-propagation(反向传播反向传播)模型：采用误差反向传播方模型：采用误差反向传播方法。法。（四）推理机（四）推理机 推理机是基于神经元的信息处理过程。推理机是基于神经元的信息处理过程。1.神经元神经元j的输入：的输入：其其中中，Wjk为为神神经经元元j和和下下层层神神经经元元k之之间间的的连连接接权权值值。Ok为为k神经元的输出。神经元的输出。2.神经元神经元j的输出的输出 Oj=f(Ij-j)j 为阈值，为阈值，f 为神经元作用函数。为神经元作用函数。（五）知识库（五）知识库 知识库主要是存放各个神经元之间连接权值。知识库主要是存放各个神经元之间连接权值。由于上下两层间各神经元都有关系，由于上下两层间各神经元都有关系，用数组表示为：用数组表示为：(Wij)i行对应上层结点，行对应上层结点，j列对应下层结点。列对应下层结点。（六）输入模式转换（六）输入模式转换 实际问题的输入，一般是以一种概念形式表示，而神实际问题的输入，一般是以一种概念形式表示，而神经元的输入，要求以经元的输入，要求以(-,)间的数值形式表示。这需间的数值形式表示。这需要将物理概念转换成数值。要将物理概念转换成数值。建立两个向量集：建立两个向量集：（1）实际输入概念集：各输入节点的具体物理意义，）实际输入概念集：各输入节点的具体物理意义，一般采用表的形式。一般采用表的形式。（2）神经元输入数值集：各输入节点的数值。）神经元输入数值集：各输入节点的数值。（七）输出模式转换（七）输出模式转换 实际问题的输出，一般也是以一种概念形式表示。而实际问题的输出，一般也是以一种概念形式表示。而神经元的输出，一般是在神经元的输出，一般是在0,1间的数值形式，这需要间的数值形式，这需要将数值向物理概念的转换。将数值向物理概念的转换。4.1.4.3 神经网络专家系统的参数选取神经网络专家系统的参数选取 （1）连接权值）连接权值Wij的初值选取。的初值选取。（2）收敛因子的选取。）收敛因子的选取。（3）反向传播模型中隐节点个数的选取。）反向传播模型中隐节点个数的选取。（4）迭代过程中总误差的控制。）迭代过程中总误差的控制。（5）迭代公式的收敛速度问题。）迭代公式的收敛速度问题。（6）物理概念的数值转换问题。）物理概念的数值转换问题。（7）学习样本对学习过程收敛性的影响。）学习样本对学习过程收敛性的影响。（8）神经元网络的容错性效果。）神经元网络的容错性效果。1.初始权值的选取初始权值的选取 实实验验结结果果表表明明，对对感感知知机机模模型型权权值值赋赋常常数数初初值值是是合合适适的的。对对B-P模型的权值初值必须用随机数。模型的权值初值必须用随机数。2.收敛因子收敛因子值的选取值的选取 经经过过大大量量试试算算，在在2.55.5之之间间迭迭代代次次数数较较少少，比比较较合合适。适。3.隐节点数的选取隐节点数的选取 经经过过大大量量试试算算，隐隐节节点点数数介介于于输输入入节节点点数数和和输输出出节节点点数之间比较合适。数之间比较合适。4.物理概念的数值转换物理概念的数值转换 我我们们对对中中国国科科学学院院生生态态环环境境研研究究中中心心研研制制的的城城市市医医疗疗服务能力评价系统服务能力评价系统实例进行了研究。实例进行了研究。4.1.4.4 神经元网络专家系统实例神经元网络专家系统实例 城市医疗服务能力评价系统城市医疗服务能力评价系统输输入入包包括括五五个个方方面面：（1）病病床床数数，（2）医医生生数数，（3）医务人员数）医务人员数，（，（4）门诊数，（）门诊数，（5）死亡率。）死亡率。输输出出模模式式包包括括四四个个级级别别：（1）非非常常好好(v)；（2）好好(g)；（；（3）可接受可接受(a)；（；（4）差差(b)，建立一个三层的神经元网络。建立一个三层的神经元网络。输出输出数据用四个节点分别表示数据用四个节点分别表示v,g,a,b。输输入入节节点点用用五五个个节节点点分分别别表表示示五五个个指指标标，对对每每个个指指标标节节点都有点都有v,g,a,b四种可能。四种可能。医生数病床数医务人员数门诊数非常好好可接受差死亡率神经网络结构图选选择择十十个个城城市市的的数数据据作作为为训训练练集集，学学习习之之后后，对对其它城市进行评价。其它城市进行评价。进进行行神神经经元元网网络络计计算算，需需要要对对物物理理概概念念的的数数值值转转换。输入节点数据允许在范围换。输入节点数据允许在范围 (-,)中取值，输出数据在范围中取值，输出数据在范围0,1中取值。中取值。城市医疗服务能力训练例 四四个个物物理理概概念念（很很好好、好好、可可接接受受、差差）的的数数值值转转换换，我们进行了五个方案的计算，方案如下：我们进行了五个方案的计算，方案如下：方案方案1：v=3 g=1 a=-1 b=-3 方案方案2：v=1.5 g=0.5 a=-0.5 b=-1.5 方案方案3：v=6 g=2 a=-2 b=-6 方案方案4：v=1 g=0.66 a=0.33 b=0 方案方案5：v=10 g=7 a=4 b=1 计计算算结结果果表表明明，方方案案2收收敛敛最最快快Count=360，计计算算结结果果也也很合理，其次是方案很合理，其次是方案1，Count=451，方案方案3,4,5均较差。均较差。说明物理概念的数值转换，尽量采用说明物理概念的数值转换，尽量采用(-1,1)附近较合适。附近较合适。4.1.4.5 神经元网络的容错性神经元网络的容错性我们通过例子对容错性进行说明我们通过例子对容错性进行说明。四个动物的样本：四个动物的样本：（1）某动物是暗斑点、黄褐色、有毛发、吃肉，它就是豹。）某动物是暗斑点、黄褐色、有毛发、吃肉，它就是豹。（2）某动物是黄褐色、有毛发、吃肉、黑条纹，它就是虎。）某动物是黄褐色、有毛发、吃肉、黑条纹，它就是虎。（3）某动物是不飞、黑白色、会游泳、有羽毛，它就是企鹅。）某动物是不飞、黑白色、会游泳、有羽毛，它就是企鹅。（4）某动物是有羽毛、善飞，它就是信天翁）某动物是有羽毛、善飞，它就是信天翁。完成机器学习以后，对样本进行缺省条件输入，有如下三种情况：完成机器学习以后，对样本进行缺省条件输入，有如下三种情况：（1）缺）缺1个条件的情况个条件的情况（2）缺）缺2个条件的情况个条件的情况（3）介于中间的情况）介于中间的情况缺省条件推理结果表缺省条件推理结果表 从计算结果中，可以看出容错效果很好，从计算结果中，可以看出容错效果很好，对第一种情况的第一例对第一种情况的第一例，对豹缺省黄褐色条，对豹缺省黄褐色条件时，输出结果仍然是豹（件时，输出结果仍然是豹（0.8463）；）；对第二种情况第一个例对第二种情况第一个例，对虎缺省黄褐色和，对虎缺省黄褐色和多一个不飞的条件时，输出结果仍然是虎多一个不飞的条件时，输出结果仍然是虎（0.9286）；）；对第三种情况的第一个例子对第三种情况的第一个例子，输入豹和虎的，输入豹和虎的共同信息（黄褐色、有毛发、吃肉）时，神经共同信息（黄褐色、有毛发、吃肉）时，神经网络的输出是既靠近豹（网络的输出是既靠近豹（0.3394）又靠近虎）又靠近虎（0.4203），输出结论：该动物是一个介于豹），输出结论：该动物是一个介于豹和虎的中间新品种。和虎的中间新品种。习 题1、感知机和、感知机和BP模型在推理过程与学习过程有哪些相同之处模型在推理过程与学习过程有哪些相同之处和不同之处？和不同之处？2、用感知机对如下样本以及神经网络初始权值，进行计算求、用感知机对如下样本以及神经网络初始权值，进行计算求出满足样本的网络权值出满足样本的网络权值。yw1=2w3=2w2=-1x1x2x33、B-P模型中误差公式的含义是什么？模型中误差公式的含义是什么？4、对对如如下下BP神神经经网网络络，写写出出它它的的计计算算公公式式（含含学学习习公公式式），并并对对其其初初始始权权值值以以及及样样本本x1=1，x2=0，d=0进进行行一一次次神经网络计算和学习（该系数神经网络计算和学习（该系数=1，各点阈值为，各点阈值为0）作用函数为：作用函数为：5、神经网络专家系统的特点是什么？、神经网络专家系统的特点是什么？6、画出神经网络专家系统的结构图，并解释各框的含义？、画出神经网络专家系统的结构图，并解释各框的含义？7、说明一下经验数据：、说明一下经验数据：（1）连接权值）连接权值Wij的初值选取？的初值选取？（2）收敛因子的选取？）收敛因子的选取？（3）反向传播模型中隐节点个数的选取？）反向传播模型中隐节点个数的选取？（4）物理概念的数值转换问题？）物理概念的数值转换问题？（5）神经元网络的容错性效果？）神经元网络的容错性效果？结结 束束