基于忆阻的神经联想记忆分析和综合

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,基于忆阻的神经联想记忆分析和综合,报告人,:,吴爱龙,1,忆阻的记忆性分析,2,基于连续的忆阻神经网络的联想记忆,3,基于不连续的忆阻神经网络的联想记忆,4,基于,广义的忆阻神经网络族的,联想记忆,我们当前的工作,研究背景,1.,人工智能技术对数据处理能力的更高要求,机器视觉,2.,信息存储领域对电子存储器的重大需求,计算机存储,（例如,2012,年平板电脑全球,1.189,亿台）,消费电子,（例如国内手机超,10,亿用户）,网络存储,（,2010,年销售额为,260,亿美元）,嵌入式存储,（例如,eMMC 2014,年将达,4.8,亿块）,军用电子,人的大脑既是一个高性能的处理器也是一个大容量的存储器,科学研究者们开始思考人脑是如何处理和记忆信息的,从神经生物解剖学的角度研究,从数学建模和物理学的角度研究,心理学家,MeCulloch,和数学家,Pitts,的,M,P,神经网络模型,;,神经心理学家,Hebb,提出的,Hebb,规则；,Rosenblatt,的模型为感知器模型,Widrow,的自适应的线性神经网络模型；,Kohonen,的自组织映射模型；,Fukushima,的认知机模型；,Grossberg,的关于感知器的共振适应理论；,Anderson,的盒中脑模型；,递归神经网络模型（,Hopfield,神经网络模型；细胞神经网络模型；,C-G,神经网络模型,）等,。,在神经网络的电路实现过程，通常是用电阻来实现神经处理单元之间的连接。,但是电阻的阻值是不变的，没有很好的反应突触的强度是可变的这一特性。,记忆模式通常表现为神经网络状态空间中的吸引子：渐近稳定的平衡点或极限环,人工神经系统常用来设计联想记忆，,而吸引子的个数代表了网络的记忆容量。,Grassi,提出的基于伪逆矩阵的设计方法；,刘德荣教授的基于奇异值分解的方法和,基于感知器的方法,；,Szolgay,的,基于,Hebbian,学习规则的方法,；,Park,基于线性矩阵不等式的方法,；,曾志刚教授提出的高容量（吸引子个数为,2,n,）的联想记忆设计方法等。,联想记忆设计,对于不同记忆任务，需要用不同的电路实现,如何处理对于不同记忆任务，只需要用一个电路来实现？,数据处理,存储应用,构建基于忆阻的神经网络模型,将忆阻,作为,“,电子神经元突触,”,进行逻辑运算,解决瓶颈难题,容量有限,容错性低,参数庞大,结构复杂,开发,基于忆阻的自联想记忆和异联想记忆,发展,用基于忆阻神经网络的联想记忆实现信息储存,研究架构,基于不连续忆阻神经网络的联想记忆分析与综合,忆阻的记忆性分析,基于连续忆阻神经网络的联想记忆分析与综合,基于广义忆阻神经网络族的联想记忆分析与综合,1,2,3,研究了不连续忆阻递归神经网络模型，并得到每个网络有多个吸引子的条件,4,用积分常数分析了单个忆阻，多个忆阻串并联的记忆性质，得出了忆阻存在阈值电压,考虑历史和未来信息对人的决策的影响，讨论了广义神经网络吸引子簇的存在性,探讨了忆阻神经网络模型，用一个人工神经网络电路实现了多个记忆任务,4,相关工作的创新点,忆阻的记忆性分析,1971,年,美国加州,大,学伯克利分校的,L.O.Chua,教授,在他的论文,Memristor,the missing circuit element,中,预测,了,第四种电路元件忆阻器的存在,。,L.O.Chua,“Memristorthe missing circuit element,”IEEE Trans.Circuit Theory,vol.18,no.5,pp.507-519,1971.,美国惠普公司制造出忆阻的实物模型,在,2008,年,5,月发表的,自然,（,Nature,）杂志上，美国惠普公司实验室的斯坦,威廉斯和同事在进行极小型电路实验时终于制造出,忆阻的实物模型,D.B.Strukov,G.S.Snider,D.R.Stewart,and R.S.Williams,“The missing memristor found,”,Nature,vol.453,pp.80-83,2008.,惠普固体忆阻器模型,Wang F.Y.,推导了忆阻两端电压和电流的关系式,;,Drakakis E.M.,用伯努利动力学方程也得出了忆阻两端电压和电流的关系式。,Frank,指出忆阻的记忆性归因于积分常数，但没有做出分析。,从上面的表达式中可以看出，积分常数是初始值的二次函数。,因而可以用积分常数来分析忆阻的记忆性。,我们用伏安法和积分常数分析忆阻的记忆性。,用得出的忆阻两端电流和电压的关系式做仿真，得出忆阻存在一个阈值电压,即当输入电压大于阈值电压时忆阻的阻值发生改变；反之则不变。,多个忆阻同向串联等效为一个忆阻；,多个忆阻同向并联等效为一个忆阻；,两个忆阻反向串联，忆阻的记忆性受到抑制；,两个忆阻反向并联，忆阻的记忆性得到增强；,多个忆阻串联或者并联，我们得到一个积分常,数向量，向量中的每一个分量记住了串并联 中每一个忆阻的初始值。,忆阻递归神经网络电路图,连续的忆阻神经网络模型,忆阻神经网络的系数与忆阻阻值之间的关系式,网络中的连接由忆阻和脉冲生成器构成,连续的忆阻神经网络可以是一个单稳定的神经网络序列；,连续的忆阻神经网络也可以是一个多稳定的神经网络序列；,连续的忆阻神经网络可以在单稳定和多稳定的网络之间切换；,在周期的外部输入下，网络的系数是有界的周期函数,给出基于忆阻神经网络的联想记忆设计，用一个人工神经网络电路实现了多个记忆任务。,主要的一些初步成果,不连续的忆阻神经网络,反馈函数：在神经网络的状态空间上为不连续的分段常数函数。,反馈函数,的图形,不连续的忆阻神经网络是一个神经网络序列；,根据反馈函数的特点对状态空间做划分，是一个比较有效的处理手段；,给出了基于不连续忆阻神经网络的联想记忆设计程序。,主要的一些初步成果,Matlab,仿真得出例子中的网络有,49,个吸引子,在传统神经网络中加入了模糊逻辑和广义型的常数变量,广义神经网络族的联想记忆,考虑历史和未来信息对于人的决策的影响，,引入了广义的分段常数变量,，更好地模拟人脑的记忆功能。,考虑了在神经网络的实现可能出现的参数偏差，假定,网络的参数在一个区间内变化,。,在模型中引入,模糊逻辑,使得网络适合表达基于规则的知识。,广义神经网络族的一些特点,考虑了外界对网络簇中的每一个网络的参数的扰动，用数值迭代的方法讨论网络的存在和唯一性；,用单调拟合逼近的方法给出网络鲁棒渐近行为，从而得出了网络存在吸引子。,主要的一些初步成果,谢谢大家,