资源描述
,15,Click to edit Master title style,1,Click to edit Master text styles,Second level,Third level,Grossberg,网络,Grossberg 网络,生物学的启发,:,视觉,眼球和视网膜,视觉神经,水晶体,视网膜,视觉神经纤维,双极细胞,神经节细胞,光,水平细胞,杆状体,锥体,无长突细胞,角膜,cornea,生物学的启发:视觉眼球和视网膜视觉神经水晶体视网膜视觉神经,视网膜的层,视网膜是大脑的一部分，它由三层神经细胞组成：,外层,光感受器：转化光成电信号,杆状体,使我们能在昏暗的情况下看见东西,锥体,使我们能看到精细的细节和色彩,中间层,双极细胞 连接光感受器到第三层,水平细胞,连结感受器和双极细胞,无长突细胞,连结双极细胞与神经节细胞,第三层,神经节细胞,通过,视觉,神经连结,视网膜到大脑,视网膜的层视网膜是大脑的一部分，它由三层神经细胞组成：,视觉路经,主视觉皮层,横向膝状核,视网膜,视觉路经主视觉皮层横向膝状核视网膜,视网膜的照片,盲点,(,视神经乳头,),静脉,凹斑,Vein,Fovea,Blind Spot(Optic Disk),视网膜的照片盲点(视神经乳头)静脉凹斑VeinFoveaB,视网膜吸收的不完善处,稳定图像变暗,静脉,盲点,视网膜,视网膜吸收的不完善处稳定图像变暗静脉盲点视网膜,补偿处理,应急切断(,Emergent Segmentation,)：,补偿了丢失的边界。,特征填充(,Featural Filling-In,)：,在产生的边界内填充颜色和亮度。,应急切断,特征填充,处理前,处理后,补偿处理应急切断(Emergent Segmentation,视觉幻觉,幻觉证实了视觉系统有补偿处理的功能。上图中我们看到,了一个亮白色的三角形和一个圆圈，实际上，它们在图中,并不存在。,视觉幻觉幻觉证实了视觉系统有补偿处理的功能。上图中我们看到,亮度一致,视觉系统规格化：仅觉察到相对亮度的差别，非绝对亮度。,变化的光照,分别的恒定光照,亮度一致视觉系统规格化：仅觉察到相对亮度的差别，非绝对亮度。,亮度对比,尽管上面两个内部小圆盘有相同的亮度，看上去左边那个,比右边那个要亮一些。左边的小圆盘比它周围要相对亮些。,视觉系统规格化：看到并且识别是基于相对亮度。,亮度对比尽管上面两个内部小圆盘有相同的亮度，看上去左边那个,漏积分,(,基本非线性模型的组成模块,),n(t),随着时间的递增将稳定在,p(t)。,分析：,(因为当时，即,-,n(t)+p(t)0,，,n(t),是时间的增函数，但它,的递增不会使得,n(t)p(t)，,因为一旦,n(t)p(t),，,将导致 ，,此时,n(t),变成时间的减函数；类似，,n(t),的递减也不会使得,n(t)p(t)。,故,n(t),最终将趋向于,p(t)，,即稳定在)。,决定,n(t),趋向于,p(t),的速度,，当减少时,趋向的,快，反之则慢。,一阶线性微分方程,漏积分(基本非线性模型的组成模块)n(t)随着时间的递增将,漏积分响应,对于常数输入,p,和零初始条件,n(0)=0,：,漏积分的特点：,响应曲线以指数形式,趋于稳定的状态值。,响应,n(t),会随,p(t),以,同样大小比例变化。,响应达到稳定态的速,度由时间常数,决定，,当 减少时响应速度变,快，当 增加时响应速,度变慢。,p=,1,和,=1,t,n,漏积分响应对于常数输入 p 和零初始条件 n(0)=0：漏,并联模型,增益控制,(,设置下限,),增益控制,(,设置上限,),激励输入,抑制输入,分析：,令 ，则有：,变形后有：,或,即有：和,p,+,：,非负激励输入，使网络响应增加,p,-,：,非负抑制输入，使网络响应减少,b,+,：,非负常量，上限,b,-,：,非负常量，下限,并联模型增益控制增益控制激励输入抑制输入分析：p+：非负激,并联模型(续),上限是,1,下限是,0,。,并联模型(续)上限是 1,下限是 0。,Grossberg,网络,LTM,长期记忆,(,网络权值,),STM,短期记忆,(,网络 输出,),视网膜,视觉皮层,规格化,输入,对比度增强,Grossberg 网络LTM 长期记忆(网络权值)视,第一层（视网膜）,规格化输入（限制了输出总强度）同时维持相对强度。,第一层（视网膜）规格化输入（限制了输出总强度）同时维持相对强,第一层的操作,激励输入：,W,+,1,1,0,0,0,1,0,0,0,1,=,抑制输入：,W,-,1,0,1,1,1,0,1,1,1,0,=,加强中心,/,抑制周围,的连接模式,第一层的操作激励输入：W+1100010001=,规格化的分析,在稳定状态：,定义相对强度：,稳定状态神经元的活跃度：,其中,总的神经元的活跃度：,第一层输出总强度小于,+,b,1,，且保持了输入各元素间的相对强度。,第,i,个 神经元的响应（设 ，）：,规格化的分析在稳定状态：定义相对强度：稳定状态神经元的活跃度,第一层的例子,t,n,1,1,n,2,1,p,1,2,8,=,t,n,1,1,n,2,1,p,2,10,40,=,第一层的例子tn11n21p128=tn11n21p2104,第一层的特性,网络对输入模式相对强度的敏感胜于绝对强度。,.,第一层的输出是规格化了的输入模式，每个输出分量代表（保留）了相应输入分量的相对强度。,并联模型的加强中心,/,抑制周围的连接模式和非线性增益控制产生了规格化的效果。,第一层的操作解释了人类视觉系统的亮度一致和亮度对比的特性。,第一层的特性网络对输入模式相对强度的敏感胜于绝对强度。.,第,2,层（视觉皮层）,加强中心,抑制周围,第 2 层（视觉皮层）加强中心抑制周围,第,2,层操作,n,2,t,(,),b,-,2,+,(,),W,-,2,f,2,n,2,t,(,),(,),激励输入：,(,加强中心连接,),抑制输入：,(,自适应权,),(,抑制周围连接,),第 2 层操作n2t()b-2+()W-2f2n2t(),第二层的例子,原型模式1与输入之间的关联,原型模式2与输入之间的关联,第二层的例子原型模式1与输入之间的关联原型模式2与输入之间的,第二层的响应,t,w,2,1,(,),T,a,1,w,2,2,(,),T,a,1,n,1,2,t,(,),n,2,2,t,(,),对比度增强,并且存储模式,神经元,1,的输入：,神经元,2,的输入：,第二层的响应tw21()Ta1w22()Ta1n12t()n,第二层的特性,与,Hamming,和,Kohonen,网络一样，第,2,层的输入是原型模式(权矩,W,2,的行)和第1层输出(规格化输入模式)的内积。,非线性反馈使得网络存储输出模式,(,输入撤消之后，输出仍然保存,),。,加强中心/抑制周围的连接模式致使对比度增强,(,大的输入得以保持并使小的输入减弱,),。,第二层的特性与Hamming和Kohonen网络一样，第2层,定向接收区域,当使用一个定向接收区域代替一个加强中心,/,抑制周围接收区域时，,应急切断问题就可被理解。,激励,抑制,活跃,活跃,不活跃,定向接收区域当使用一个定向接收区域代替一个加强中心/抑制周围,传输函数的选择,存储模式,注释,传输函数,传输函数的选择存储模式注释传输函数,学习（自适应权）,带衰减的,Hebb,规则（连续形式）：,Instar,规则（连续形式）：,Instar,规则向量形式：,当,n,i,2,(t),活跃时才学习,学习（自适应权）带衰减的Hebb规则（连续形式）：Insta,例子,每层有两个神经元的例子(,=1),：,例子每层有两个神经元的例子(=1)：,自适应权的响应,对模式,1,：,对模式,2,：,w,1,1,2,t,(,),w,1,2,2,t,(,),w,2,1,2,t,(,),w,2,2,2,t,(,),当,n,1,2,(,t,),活跃时，权矩阵的第一行进行调整并收敛到相应的,n,1,模式(0.9 0.45)；当,n,2,2,(,t,),活跃时，权矩阵的第二行进行调整并收敛到相应的,n,1,模式(0.45 0.9)。,初始权值置为0，两种不同的输入模式以,0.2,秒为周期交替地提交给网络：,1,2,自适应权的响应对模式1：对模式 2：w11,2t()w12,与,Kohonen,规则的关系,Grossberg,学习规则,(,连续时间,),：,导数的欧拉近似表示：,Grossberg,学习规则的离散时间表示：,与Kohonen规则的关系Grossberg学习规则(连续,与,Kohonen,规则的关系(续),整理各项：,假设用比线性快的传输函数(胜者全得竞争)：,其中,与,Kohonen,规则比较：,与Kohonen规则的关系(续)整理各项：假设用比线性快的传,Grossberg,网络与,Kohonen,网络区别,Grossberg,网络是一种连续网络，满足一组非线性微分方程。,Grossberg,网络的第一层自动规格化输入向量。,Grossberg,网络的第二层能够实现一种“软”竞争，而不是,Kohonen,网络的那种“胜者全得”的竞争。这种竞争使得第二层不只一个神经元能够学习，即能象特征图网络那样运行。,Grossberg网络与Kohonen网络区别Grossbe,
展开阅读全文