MATLAB神经网络工具箱中的神经网络模型[共53页]

1MATLAB神经网络工神经网络工具箱中的神经网络具箱中的神经网络模型模型2神经网络工具箱简介nMATLAB 7对应的神经网络工具箱的版本为Version 4.0.3,它以神经网络理论为基础,利用MATLAB脚本语言构造出典型神经网络的激活函数,如线性、竞争性和饱和线性等激活函数，使设计者对所选定网络输出的计算变成对激活函数的调用。n还可根据各种典型的修正网络权值规则，加上网络的训练过程，利用MATLAB编写出各种网络设计和训练的子程序，用户根据自己的需要去调用。3神经网络工具箱的主要应用n函数逼近和模型拟合n信息处理和预测n神经网络控制n故障诊断4应用神经网络工具箱求解问题的一般过程n确定信息表达方式数据样本已知数据样本之间相互关系不确定输入/输出模式为连续的或者离散的输入数据按照模式进行分类，模式可能会具有平移、旋转或伸缩等变化形式数据样本的预处理将数据样本分为训练样本和测试样本n确定网络模型选择模型的类型和结构，也可对原网络进行变形和扩充n网络参数的选择确定输入输出神经元数目n训练模型的确定选择合理的训练算法，确定合适的训练步数，指定适当的训练目标误差n网络测试选择合适的测试样本5人工神经元的一般模型n神经元模型及其简化模型如图所示，输入向量 、权值矩阵 ，与阈值的加权和（内积运算）送入累加器，形成净输入，即：TRppp,p21,w,12,11,1Rwww6人工神经元模型 图中，xi(i1，2，n)为加于输入端(突触)上的输入信号；i为相应的突触连接权系数，它是模拟突触传递强度的个比例系数,表示突触后信号的空间累加；表示神经元的阈值，表示神经元的响应函数。该模型的数学表达式为：niiixs1)(sy7与生物神经元的区别:n(1)生物神经元传递的信息是脉冲，而上述模型传递的信息是模拟电压。n(2)由于在上述模型中用一个等效的模拟电压来模拟生物神经元的脉冲密度，所以在模型中只有空间累加而没有时间累加(可以认为时间累加已隐含在等效的模拟电压之中)。n(3)上述模型未考虑时延、不应期和疲劳等。8响应函数 的基本作用：n1、控制输入对输出的激活作用；n2、对输入、输出进行函数转换；n3、将可能无限域的输入变换成指定的有限范围内的输出。)(sy9根据响应函数的不同，人工神经元有以下几种类型：10 阈值单元n响应函数如图a所示,11线性单元 n其响应函数如图b所示12非线性单元 常用响应函数为S型(Sigmoid)函数，如图c、d所示13nHardlim x=0 y=1;x=0 y=1;x0 y=-1nPurelin :y=xnSatlin:x1 y=1;x=0&x=1 y=x;nLogsig:y=xe1114人工神经网络的构成 n单个神经元的功能是很有限的，人工神经网络只有用许多神经元按一定规则连接构成的神经网络才具有强大的功能。n神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法。15人工神经网络连接的基本形式：1前向网络 n网络的结构如图所示。网络中的神经元是分层排列的，每个神经元只与前一层的神经元相连接。最右一层为输出层，隐含层的层数可以是一层或多层。前向网络在神经网络中应用很广泛，例如，感知器就属于这种类型。162.反馈前向网络n网络的本身是前向型的，与前一种不同的是从输出到输入有反馈回路。17内层互连前馈网络n通过层内神经元之间的相互连接，可以实现同一层神经元之间横向抑制或兴奋的机制，从而限制层内能同时动作的神经数，或者把层内神经元分为若干组，让每组作为一个整体来动作。一些自组织竞争型神经网络就属于这种类型。18互连网络 n互连网络有局部互连和全互连两种。全互连网络中的每个神经元都与其他神经元相连。局部互连是指互连只是局部的，有些神经元之间没有连接关系。Hopfield网络和Boltzmann机属于互连网络的类型。19神经网络的学习方式n有教师学习(监督学习)20(1)均方误差mse(mean squared error)nateEmsenkkk12)(n误差信号的不同定义误差信号的不同定义:21(2)平均绝对误差mae(mean absolute error)natmaenkkk1|22(3)误差平方和sse(sum squared error)nkkkatsse12)(23无教师学习(无监督学习)24MATLAB工具箱中的神经网络结构niiixs1biixp)(1Riiibpwfa1.人工神经元的一般模型在在中，令，,则25人工神经元的一般模型n由此构成人工神经元的一般模型，如下图所示。上式可写成矩阵向量形式：上式可写成矩阵向量形式：a=f(Wp+b)26由S个神经元组成的单层网络 27MATLAB工具箱中的神经网络结构28多层网络的简化表示:29MATLAB神经网络工具箱中的神经神经网络工具箱中的神经网络模型网络模型基本概念基本概念:n标量:小写字母,如a,b,c等;n列向量:小写黑体字母,如a,b,c等,意为一列数;n矩阵向量:大写黑体字母,如A,B,C等30权值矩阵向量权值矩阵向量W(t)n标量元素 ,i为行,j为列,t为时间或迭代函数n列向量n行向量)(,twji)(twj)(twi31阈值向量阈值向量b(t)n标量元素 ,i为行,t为时间或迭代函数)(tbi32网络层符号网络层符号n加权和:,m为第m个网络层,为第 个神经元,n为加权和n网络层输出:,m为第m个网络层,为第 个神经元,a为输出n输入层权值矩阵 ,网络层权值矩阵 ,其中,上标k,l表示第l个网络层到第k个网络层的连接权值矩阵向量msmnmsmalkIW,lkLW,msmsms33例例:表示输入向量的第R个输入元素到输入层的第 个神经元的连接权.n 表示n 表示1,1,1Rsiw1s1,2,12sslwisib第i个网络层的第 个神经元的阈值is34例:3511S111bPIWn11S)(1111bPIWfan1为第一层神经元的中间运算结果为第一层神经元的中间运算结果,即连接权向量即连接权向量与阈值向量的加权和与阈值向量的加权和,大小为大小为,即a1为第一层神经元的输出向量为第一层神经元的输出向量,大小为大小为,36 n神经网络的层数为神经元网络层的数目加神经网络的层数为神经元网络层的数目加1,即隐层数目加即隐层数目加1.37多层神经网络结构多层神经网络结构)()(21112221222bbpIWfLWfbaLWfa38多层网络简化形式RpppP,.21,图中图中:,.,1121111sbbbb 1,1,1,12,1,11,1,1,21,12,21,11,21,1,11,12,11,11,11,1111.RsssRRiwiwiwiwiwiwiwiwiwIW39说明说明:n输入层神经元的个数决定输入层神经元的个数决定IW的行数的行数,输入向输入向量元素的个数决定量元素的个数决定IW的列数的列数,即即S1行行R列列.404.公式和图形中的变量符号在编程公式和图形中的变量符号在编程代码中的表示方法代码中的表示方法n细胞矩阵细胞矩阵:将多个矩阵将多个矩阵向量作为细胞矩阵的向量作为细胞矩阵的”细胞细胞”(Cell),细胞矩阵细胞矩阵的各个元素值为对应的各个元素值为对应细胞的大小和数值类细胞的大小和数值类型型4321a654321b654321c,41233222doubledoubledoublecbann访问元素:m1=n1,1=4321a3222,doubledoublebam42m2=n2,1=654321b n2,1(4)=543变量符号在MATLAB中的表示n(1)上标变量以细胞矩阵(Cell array)即大括号表示p1=1n(2)下标变量以圆括号表示,)2(112pp)2,2(222,2ppp1=p(1),441,13,2iw)3,2(1,1iw例例:=451,1)1(,1kppk)2(1,2)1(,22kppk46神经网络工具箱常用函数列表神经网络工具箱常用函数列表重要的感知器神经网络函数：重要的感知器神经网络函数：n初始化：初始化：initpn训练：训练：trainpn仿真：仿真：simupn学习规则：学习规则：learnp47线性神经网络函数线性神经网络函数n初始化：initlinn设计：solvelinn仿真：simulinn离线训练：trainwhn在线自适应训练：adaptwhn学习规则：learnwh48BP网络函数：网络函数：ninitff：初始化不超过3层的前向网络；nsimuff：仿真不超过3层的前向网络；ntrainbp，trainbpx，trainlm：训练BP trainbp：最慢；trainbpx：次之；trainlm：速度最快，但需要更多的存储空间。nlearnbp：学习规则49自组织网络自组织网络n初始化：initsmn仿真：simucn训练：trainc：利用竞争规则训练 trainsm：利用Kohonen规则训练50反馈网络（反馈网络（Hopfield网络）网络）n仿真：simuhopn设计：solvehopnsolvehop设计Hopfield网络nsolvelin设计线性网络nrands产生对称随机数nlearnbp反向传播学习规则nlearnhHebb学习规则nlearnp感知层学习规则nlearnwhWidrowHoff学习规则ninitlin线性层初始化ninitp感知层初始化ninitsm自组织映射初始化nplotsm绘制自组织映射图ntrainbp利用反向传播训练前向网络ntrainp利用感知规则训练感知层ntrainwh利用WidrowHoff规则训练线性层ntrainsm利用Kohonen规则训练自组织映射51神经网络例子神经网络例子 52创建线性神经网络层net=newlin(1 3;1 3,1);net.IW1,1=1 2;net.b1=0;设有数据集由4个向量组成p1=1 2 p2=2 1 p3=2 3 p4=3 1P=1 2 2 3;2 1 3 1A=sim(net,P)A=5 4 8 553n例2:See P14 in textbookn例3:See P39n例4:See P40