基于一种三层结构反馈过程神经元网络的探讨

精品论文基于一种三层结构反馈过程神经元网络的探讨石光伟 辽宁工程技术大学理学院，辽宁阜新（123000） E-mail: shiguangwei_888摘要：反馈神经元网络是一种在联想记忆存取和优化计算等方面取得较好应用的人工神经元网络模型。传统的反馈神经元网络模型一般是非时变输入的，然而，生物神经组织在进行 信息处理时，实际上是带有延时信息反馈并且外部信号的输入要持续一段时间过程，其当前输出不但依赖于当前的输入，而且依赖于在这之前所有输入的累积，即所谓时间累计效应。反馈过程神经元网络就是一种带有信息反馈的过程神经元网络模型，各神经元节点之间按系 统的信息流向进行连接，信息可按照一定规则向网络前面各层的节点反传，且可对节点自身反馈输出信息。本文探讨一种三层结构的网络模型，给出该模型的具体学习算法，并对模型 的稳定性进行分析。关键字：反馈过程；阈值；时间延迟；稳定性；神经元网络1. 网络结构本文构建的多输入单输出三层结构的反馈过程神经元网络结构模型和信息传递流程1， 如图 1.- 6 -x1 (t ) ji (t ) ij (t )，f 1 (t ) j (t ) x2 (t ) .，f. 2 (t )，gyxn (t ) ，f m (t )图 1 一种三层结构的反馈过程神经元网络输入层有 n 个节点单元，用于完成对系统 n 个时变信号的输入和隐层节点输出信号的延 时反馈；中间层（隐层）有 m 个节点，用于完成输入信号的空间加权聚合及激励输出，并 将输出信号传递到输出层，同时延时反馈到输出层；输出层由一个过程神经元节点构成，用 于完成隐层节点输出信号的空间加权聚合和时间累积运算，以及系统输出。设系统输入为 X (t ) = (x1 (t ), x2 (t ),L xn (t ), t 0, T , 0,T 为系统输入过程区间。过程神经元隐层节点输出为 n m j (t ) =f ij (t ) xi (t ) + ji (t ) j (t ) ,j = 1.2,L, m(1.1) i =1 j =1 式中，ij (t ) 为输入层第i 个节点与隐层第 j 个节点的连接权函数； ji (t ) 为隐层第 j 个节点与输入层第i 个节点的反馈连接权函数； j (t ) 为隐层第 j 个节点在 t 时刻的信号输出；为时间延迟； f 为隐层过程神经元的激励函数。由图 1 可见，反馈过程神经元网络的输出为 T my = g j (t ) j (t )dt （1.2） 0 j =1 式中 j (t ) 为隐层第 j 个节点与输出节点的连接权函数； 为输出层过程神经元的激励阈值；g 为输出节点的激励函数； y 为网络输出。2. 学习算法给定 P 个学习样本 (xp1 (t ), x p 2(t ),L, x pm(t ), d p ),p = 1,2,L, P 。其中， x pi(t ) 的第 1小标表示学习样本序号，第 2 下标表示输入函数向量分量序号； d p 是当输入为 (x p1 (t ),x p 2(t ),L, x pn(t )时系统的期望输出。设系统输入为 (x义为p1 (t ), x p 2(t ),L , x pm(t ) 时，网络的实际输出为 y ，网络误差函数定P2P T mp2E = (y p d p )= g j (t ) j (t )dt d p （2.1）p =1p =1 0 j =1p不失一般性，设反馈过程神经元网络的输入空间为 (C0,T )n, b1 (t ), b2(t),LbL (t )为(C0, T )中一组能满足输入函数拟合精度要求的有限项基函数，将网络连接权函数 j (t ) ，ij (t ) ， ji (t ) 均表示为改组基函数的展开形式，L (t ) = (l )b (t ) （2.2）jjll =1L (t ) = (l )b (t ) （2.3）ijl =1Lijl (t ) = (l )b (t ) （2.4） (l )jil =1ji l j ,ij和 ji 分别为 j (t ) ，ij (t ) ， ji (t ) 关于 bl (t ) 的展开式系数。式中， (l )(l )将输入过程区间0,T 进行适当的 K 等分（时间粒度），设时间分割点为 t0 , t1 ,L, t k ，相邻分割点间时间间隔为 ，则式（1.2）可改写为 K my = g j (t k ) j (t k )(tk t k 1 ) （2.5） k =0 j =1 式中， t0 = 0, t K = T 。式（2.2）式（2.4）可改写为 (tL) = (l )b (t )（2.6）j kjl kl =1L (t) = (l )b (t )（2.7）ij kijl kl =1L (t) = (l )b (t )（2.8）ji kl =1ji l k代入式（2.1）中，则网络误差函数变为PE = (y pp =1P2 d p )K mLnLmL (l )=( g ( (l )b (t)( f ( (l ) b (t)(x(t ) +(w jib (t ) jl k ijlkpik lkp =1k =0 j =1l =1i =1l =1j =1l =1j p (tk 12)(tk tk 1) ) d p )（2.9）梯度下降算法的网络连接权值和激励阈值修正规则为(l )(l )(l )jm j = j+ j ,= 1,2,L,（2.10）(l )(l )(l )in jmij (l )= ij (l )+ ij , (l )= 1,2,L ;= 1,2,L（2.11） ji= ji + ji ,j = 1,2,L m; i = 1,2,L, n（2.12） = + 这里， , , , 为学习效率常数。记（2.13）PK mLnLmL (l )z (1) = ( g ( ( (l )b (t)( f ( ( (l ) b (t)( x(t ) + ( w jib (t )pp =1pk =0 j =1jl kl =1i =1ijlkl =1pikj =1lkl =1 j (tk 1 )(tk tk 1 ) nLmL (l )(1) = ( (l )( )( ) + (ji( ) p ()o pjki =1l =1ij bl t kx pi tkj =1wl =1bl tkj tk 1则j (l ) = EP= 2 g (z (1) d)g (z (1) )b (t) f (o (1) )(t t （2.14）j (l ) ppp =1 p l k)Kk =1pjkkk 1ij (l ) = E(l ) ij= 2Ppp =1(g (z (1) ) d)g (z (1) )（2.15）K v (t)f (o (1) )b (t mpp(t ) + (t p (t)(t t (l )j kk =1pjklPkpj k) xj =1ji kjKk 1 kk 1 = E= 2(g (z (1) ) d)g (z (1) ) (t )ji (l ) ji f (o (1) )p =1(t )b (tp)u P (tp)(tp j lk =1 t)（2.16）pjkij kl kjk 1 kk 1 = = 2 (g (z (1) ) dEPppp)g (z (1) )( 1)（2.17）学习算法描述如下：p =11.给定误差精度 ；学习累计次数 s = 0; 最大学习次数 M ；选取输入空间基函数b1 (t ), b2 (t ),L, bL (t ) ；对区间0,T 进行适当等分割，确定分割点t1 , t2 ,L, t K 。2.初始化网络连接权值和激励阈值 (l ) , l , (l ) , (i = 1,2,L, n; j = 1,2,L, m; l = 1,2,L, L)jijji3.由式（2.9）计算误差函数 E ，如果 E p 或 s f M ，转步骤 5.4.按式（2.10）式（2.17）修正连接权值和激励阈值； s + 1 s ；转步骤 3。5.输出学习结果。3. 稳定性分析稳定性分析是反馈神经元网络研究中一项很有意义的工作。为探讨问题方便，在式（1.1）中。取隐层过程神经元的激励函数为线性函数，即 f (u ) = u ，时间延迟单元 = 1 ，则式（1.1）可简化为2nmu j (t ) = ij (t ) xi (t ) + ji (t )u j (t 1)（3.1）i =1j =1 式（3.1）是一个时间差分计算式，即隐层过程神经元在第 0 时刻以后的状态可由当前 t 时刻的输入和 t 1时刻之前的状态计算得到。式（3.1）和式（1.2）可以构成一个复合映射关系 F : U V ；其中U C0, T ,V R 。下面探讨，对于给定的输入 xi (t )(i = 1,L, n) ，如何选取ij (t ) 和 ji (t ) ，使得式（1.1）是稳定的。当 x (t ) x * 时，若选取的连接权函数满足(t ) 0,(t ) * ，则反馈差分方iiijjiji程式（3.1）是渐近稳定的。设 xi (t ) 和 ui (t ) 具有上界，分别为 M x 和 M u ； p f 1 为任意正数，则当连接权值基tx函数的选取满足式 b (t ) nLt p (M是渐近稳定的，即 lim u j (t ) = 0 。t + mM u)1 时，式（1.2）是可积的；同时式（3.1）4. 应用举例函数样本分类问题。构造 3 类 9 个输入样本函数，过程函数输入区间取0,1。第 1 类样本函数 3 个：sin(2 (t 0.5), sin(2.1 (t 0.5), sin(2.2 (t 0.5)，设相应的期望输出为 0.3333。第 2 类样本函数 3 个：1.2sin(3(t 0.667),1.2sin(3.2(t 0.667),1.2sin(3.4(t 0.667)，设相应的期望输出为 0.667。第 3 类样本函数 3 个：1.4sin(4 (t 0.25),1.4sin(4.3 (t 0.25),1.4sin(4.6 (t 0.25)，设相应的期望输出为 1.000。图 1 所示的反馈过程神经元网络结构参数选择如下：1 个输入节点，10 个过程神经元 隐层节点，1 个过程神经元输出节点，基函数选择 Walsh 正交函数系。连续 Walsh 变换对 为Lf (t ) = Fl wal (l, t )l =0（4.1）1Fl = 0f (t )wal (l, t )dt（4.2）式中， wal (l, t ) 为连续 Walsh 基函数。取基函数的个数 L 为 32，学习效率常数 = 0.45 ， = 0.30, = 0.35, = 0.55 ，时间延迟 = 0.05 ，最大学习次数 M= 5000 ，学习精度 = 0.05 。网络训练经过 971 次迭代后收敛3。训练结果见表 1.表 1 反馈神经元网络训练结果样本序号期望输出实际输出绝对误差10.33330.36250.029220.33330.33440.001130.33330.30640.027040.66670.67010.003550.66670.66740.000760.66670.66120.005571.00000.96120.038881.00000.95090.049191.00000.96050.03955. 结语本文构造了一种较为简单的反馈过程神经元网络模型，主要是为了说明如何进行学习 算饭的设计和稳定性分析。在实际应用中，往往需要根据具体问题建立结构更加复杂的反 馈过程神经元网络模型。由于反馈过程神经元网络再对输入样本的学习中增加了神经元输 出信息的反馈，因此可提高网络的学习效率和稳定性。参考文献1何新贵，许少华.过程神经元网络M.北京：科学出版社，20072郭嗣琮，陈刚.信息科学中的软计算方法M.沈阳：东北大学出版社,2001 3葛哲学，孙志强.神经网络理论与 MATLABR2007M.北京：电子工业出版社，2008Based on feedback from the course of a three-tier structure of the neural networkShi GuangweiLiaoning Engineering Technology University College, Fuxin, Liaoning (123000)AbstractFeedback neural network is an association in memory access and optimization of the calculation insuch areas as better application of artificial neural network model. Traditional feedback neural network model of general non-time-varying input, however, biological information processing in nerve tissue, in fact delay with feedback and external input signal to continue for some time, not only dependent on its current output At the current input, and before that relies on the importation of all accumulated, the so-called cumulative effect of the time. The process of feedback neural network is a feedback process with a neural network model, the neurons between the nodes according to the system to connect the flow of information, information must be in accordance with the rules of the network to each floor in front of the anti-node, and can be Node on its own output feedback information. This article explores a three-tier structure of the network model, the model given the specific learning algorithm, and the stability of the model analysis.Keyword: Feedback process; threshold; time delay; stability; neural network