种无监督学习定律(主要讲前两种).ppt

2020/4/28,1,四种无监督学习定律（主要讲前两种）,信号的Heb学习竞争学习微分Heb学习微分竞争学习,2020/4/28,2,1、信号的Heb学习,通过求解Heb学习法则的公式(132)可获得如下积分方程(133),2020/4/28,3,1、信号的Heb学习,近期的影响与遗忘渐进相关编码Heb相关解码,2020/4/28,4,近期的影响与遗忘,Heb学习遵循的是指数加权平均的样本模式。式中的遗忘项为。上述遗忘项产生了积分方程中先前突触的指数系数。说明学习的同时也在遗忘，而且是呈指数衰减。在式（132）中的遗忘项产生了（133）中对先前知识的指数权。,2020/4/28,5,近期的影响与遗忘,实际上遗忘定律提供的最简单的局部非监督学习定律为：（134）说明了两个关键特征：1仅依赖于局部信息，即现在的突触强度。2呈指数律达到平衡，可实时操作。,2020/4/28,6,渐进相关编码,突触矩阵M可用双极相关矩阵表示(135)X和Y：双极信号和。，=1，-1两种极端情况：1、2、实际中必须使用一个对角衰减记忆指数矩阵来补偿固有的信息指数衰减。,2020/4/28,7,渐进相关编码,（142）X和Y表示二极信号矢量矩阵。简单说，用对角衰减矩阵W的目的就是对过去的联想模式取一段学习时间，而给最近的m个联想模式取更短一些的学习时间。达到补偿指数衰减的目的。,2020/4/28,8,Heb相关解码,考虑m个二极矢量联想对的二极相关编码。表示n维二极空间中的一个点，表示p维二极空间中的一个点。二极联想对对应于二值矢量联对。这里表示n维布尔空间中的一个点，代表p维空间中的一个点。,2020/4/28,9,Heb相关解码,可以看出，把1换成0，就会变成。这样，若加权矩阵W为单位阵I，二极联想对的Heb编码就对应于（142）的加权Heb编码方案：（143）可用Heb突触矩阵M对和神经元信号进行双向处理。可把神经元信号前向通过M，后向通过。这里仅考察前向的情况。二极矢量提供给神经元系统。有若干，越接近，解码精度越高。,2020/4/28,10,Heb相关解码,矢量通过滤波器M时，同步阈值产生输出双极矢量Y，Y与Yi接近到什么程度？我们可对信噪分解（144）（145）（146）,2020/4/28,11,Heb相关解码,其中，这里为信号矢量而为噪声矢量。为校正系数，使每个尽可能从符号上接近于。把或其它靠近的矢量Y通过，校正性质依然成立。用神经元网络从有代表性的训练样本中估计连续函数f时，有一个连续的假设。,2020/4/28,12,Heb相关解码,假定异联想样本从连续函数f上取样，那么输入的微小变化必然引起输出的微小变化。相同的比特数-不同的比特数（154）H表示汉明距离：,2020/4/28,13,Heb相关解码,若两个二值矢量和靠近，相同的比特数大于不同的比特数，那么。极端情况下，。时，校正系数将度量上含糊不清的矢量丢弃掉，不参与求和。与相差较远，。极端情况下则，。,2020/4/28,14,Heb相关解码,Heb编码步骤：1把二值矢量变为双极矢量；2对邻接的相关编码的联想求和若时间联想记忆（TAM）假设成立：则对同步的TAM输入，把激励同步阈值化为信号，就产生了：,2020/4/28,15,Heb相关解码,Heb编码步骤（例证）：一个三步极限环位矢量：将位矢量转换成二极矢量,2020/4/28,16,Heb相关解码,产生TAM矩阵,2020/4/28,17,Heb相关解码,位矢量通过T产生：因此产生前向极限环后向情况用位矢量乘以，可得到：,2020/4/28,18,2、竞争学习,确定性竞争学习定律：（165）展开：这里用的是非线性遗忘项，而Heb学习定律用的是线性遗忘项。因此两种学习方法的区别在于它们如何遗忘而不是如何学习。,2020/4/28,19,2、竞争学习,两种情况下都有当第j个竞争神经元获胜时，突触以指数率迅速编码信号。与Heb突触不同的是，竞争突触当后突触神经元失败时，并不遗忘，即。因此（165）就简化为不改变的形式。而Heb学习则简化为（134）的形式。Heb学习是分布式的，对每个样本模式进行编码，因此学习新模式后，会遗忘每个所学模式的部分。,2020/4/28,20,2、竞争学习,而竞争学习不是分布式的，只有赢得突触矢量才对样本模式或进行编码。如果样本模式或坚持足够长的学习，竞争突触就会成为“grandmother”突触，突触值很快等于模式或，其它突触不会编码这种模式。,2020/4/28,21,2、竞争学习,竞争作为指示器竞争作为相关检测器渐进质心估计竞争协方差估计,2020/4/28,22,竞争作为指示器,质心估计需要竞争信号近似为局部样本模式的指示函数（168）这样如果样本x来自于区域，则第j个竞争元获胜，其它神经元失败。（169）,2020/4/28,23,竞争作为指示器,上式是的神经元激励。使用的是随机线性竞争学习和简单的加模型。与是随机行矢量，是竞争神经元向第j个神经元发出的阻性反馈。（170）,2020/4/28,24,竞争作为指示器,其中是阻性反馈值，它等于突触加权信号的和式。式（170）中为二值阈值化函数，因此该式可简化为：当第j个神经元获胜时，如果第k个神经元获胜，则。竞争神经元激励自己（或邻近区域），同时抑制其它（或较远的区域）。,2020/4/28,25,竞争作为相关检测器,度量指示函数：（171）于是竞争学习就简化为信号相关检测。那么如何将度量竞争学习简化为相关检测？设在每个时刻的突触矢量具有相等的正的有限的范数值：,2020/4/28,26,竞争作为相关检测器,（173）从（4-171）知：第j个竞争神经元获胜当且仅当：（174177）,2020/4/28,27,竞争作为相关检测器,利用等范数特性并进一步简化可得：（179）可看出当且仅当输入信号模式x与最大相关时，第j个竞争元才竞争获胜。利用余弦定律：得到度量竞争学习的几何解释：第j个神经元当且仅当输入模式更平行于突触矢量时才获胜。,2020/4/28,28,渐进的质心估计,简化的竞争学习定律：（181）突触矢量倾向于等于区域的质心，至少也是平均意义上的质心。具体的细节见第六章。结论：平均突触矢量可以指数规律迅速收敛到质心。应用此特性可以把训练样本只通过一次或少数的几次即可。,2020/4/28,29,竞争协方差估计,质心估计提供未知概率密度函数的一阶估计，而局部的协方差估计提供它的二阶描述。竞争学习规律扩展到渐进估计条件协方差矩阵。（189）这里表示的质心。每个确定类都有一个质心。,2020/4/28,30,竞争协方差估计,误差估计理论的一个重要定理：（190）其中为Borel测度随机矢量函数。,2020/4/28,31,竞争协方差估计,每一步迭代中估计未知的质心作为当前突触矢量。这样就成为一个误差条件协方差矩阵。对于获胜突触矢量有下列随机微分方程算法（191-192）初始化，如果初始化，则说明随机矢量元素都是不相关的。,2020/4/28,32,竞争协方差估计,：自行设置的一个合适的递减学习因子如果第j个神经元在度量竞争中失败，则（193）（194）,2020/4/28,33,竞争协方差估计,对于（4-192）的计算算法与下面的随机差分方程相似：表示独立的高斯白噪声矩阵过程对于一般的随机平衡条件是：更一般的：,2020/4/28,34,自学后两种学习定律,微分Heb学习微分竞争学习,2020/4/28,35,AnyQuestion?,谢谢,