深度学习的相关算法研究课件

,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版标题样式,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,深度学习方法的一些研究,西安交通大学 数学与统计学院,张讲社 西安交通大学,统计系,深度学习方法的一些研究西安交通大学 数,1,主要内容,研究背景与意义,基于率失真理论的深度信念网,3,2,利用,稀疏响应增强反向传播算法的性能,用等能量跳转的并行回火算法训练,RBM,4,1,5,总结,与展望,主要内容研究背景与意义基于率失真理论的深度信念网32利用稀疏,2,1.1,深度学习的背景及意义,最多含单个将原始信号转换到特定问题空间特征的简单,结构，,只学习,数据的单层表示,。,浅层学习的局限性,在有限的样本和计算单元的情况下,对复杂函数的表示能力,有限,缺乏发现数据中复杂结构的,能力,针对复杂分类问题其,泛化能力受到一定,限制,Google,的语音识别实验证明，面对,大数据,，浅层结构算法,经常处于严重的欠拟合状态,。,传统的机器学习方法,浅层结构算法,机器学习是使计算机具有人工智能的根本途径,1.1 深度学习的背景及意义最多含单个将原始信号转换到特定问,3,人类大脑的信息处理系统,是一多层并行系统，它利用逐层的方式对数据进行特征提取，从低层到高层的特征表示越来越抽象。抽象层面越高，越能表现语义或者意图。,人类的认知过程是以深度的方式呈现的，层次化地组织思想和概念：首先学习简单的概念，然后使用学习到的简单概念表示抽象层面更高的概念。,生物依据,面对复杂的感知数据，人类总能做出合理的判断,人类大脑的结构和信息处理机制,人类的认知过程,面对浅层结构算法的局限性，并受大脑分层次处理信息和人类层次化,完成认知过程的启发，学者们一直致力于深度架构的研究,1.1,深度学习的背景及意义,人类大脑的信息处理系统是一多层并行系统，它利用逐层的方式对数,4,提取抽象水平较低的特征,提取抽象水平较高的特征,1.1,深度学习的背景及意义,提取抽象水平较低的特征提取抽象水平较高的特征1.1 深度,5,深度学习的概念起源于人工神经网络的研究,基于数据处理群方法训练的网络模型,1965,年,1979,年,卷积神经网络模型,多层前向网,最早的类多层感知器深度学习系统,1986,年,多层前向网,深度信念网,2006,年,突破性的进展,1.2,深度学习的发展,复兴,完全依赖带标签数据,实际问题中大部分数据是,无标签,的,学习效率不,高，特别对于大数据,当网络中层数,较多,时，学习时间,过长,对,初值,敏感，经常,陷入局部,极值,随着层数的,增多,，坏的,局部极小点,出现的概率增大,BP,方法的局限性,*,*,考虑,预训练模型，通过预训练模型选择权重的,初始值,用,生成模型,优化多层神经网络,通过,最大化,模型,似然,来学习模型参数,学习,p(,数据,),而,不是,p(,标签,|,数据,),深度结构,的新发展,深度学习的概念起源于人工神经网络的研究基于数据处理群方法训练,6,8,深度学习成熟条件1,数据集的增大,图 6 数据集与年份,8深度学习成熟条件1数据集的增大图 6 数据集与年份,7,9,深度学习成熟条件2,神经元之间的连接数增大（本质原因是计算机硬件技术的飞速发展）,图 7 神经元连接与年份,9深度学习成熟条件2神经元之间的连接数增大（本质原因是计,8,10,深度学习成熟条件3,神经元个数的增加（本质原因是计算机硬件技术的飞速发展）,图 8 神经元个数与年份,10深度学习成熟条件3神经元个数的增加（本质原因是计算机,9,11,好算法的出现：,2006,年，,Geoffrey Hinton,在,Science,上发表了一篇名为,Reducing with Dimensionality of Data with Neural Networks,的文章，从此，神经网络（主要是深度学习）便有焕发了新的青春。,图 9 Geoffrey Hinton与他的学生在Science上发表文章,11好算法的出现：图 9 Geoffrey Hinton,10,1.2,深度学习的发展,在,学术界的研究现状及应用,模型架构及训练方法,应 用,子模型的选,取与建立,深度结构,的,整体,训练,语音和音频,信号处理,图像识别,和检索,自然语言处理,和信息检索,1.2 深度学习的发展 在学术界的研究现状及应用模型架构及训,11,2010,年，美国国防部,DARPA,计划,首次资助斯坦福大学、纽约大学和,NEC,美国研究院开展深度学习研究,2012,年,6,月，,Google Brain,项目,用,16000,个,CPU,搭建深度学习平台，在语音、图像识别领域获得重要进展,2012,年,12,月，,微软亚洲研究院,在天津的一次活动中利用深度学习技术进行全自动同声传译，效果良好,2013,年,1,月，李彦宏宣布成立,百度,的第一个,研究院,Institute,of Deep,Learning,2013,年,4,月，,麻省理工学院技术评论,将深度学习列为,2013,年十大突破性技术之,首,2013,年,6,月微软对,Windows Phone,平台的必应语音搜索,进行了更新。语音识别和反馈的速度提高一倍，,精确度提升,15%,2014,年,3,月,Facebook,的,Deepface,项目使得,人脸识别技术的识别率达到,97.25%,，准确率几乎可媲美人类,1.2,深度学习的发展,在,工业界,的发展,2010年，美国国防部DARPA计划首次资助斯坦福大学、纽约,12,互联网界巨头进入深度学习领域,图 15 机器学习界的执牛耳者与互联网的大鳄的联姻,18,互联网界巨头进入深度学习领域图 15 机器学习界的执牛耳,13,贪婪算法,DBN,预训练,(Hinton et,al.2006, Bengio et al. 2007),1.3,深度信念网,贪婪算法DBN预训练(Hinton et al,14,DBN,预训练,RBM,(Hinton et,al.2006, Bengio et al. 2007),1.4,深度信念网,DBN预训练RBM(Hinton et al,15,DBN,预训练,RBM,(Hinton et,al.2006, Bengio et al. 2007),1.4,深度信念网,DBN预训练RBM(Hinton et al,16,DBN,预训练,RBM,(Hinton et,al.2006, Bengio et al. 2007),1.4,深度信念网,DBN预训练RBM(Hinton et al,17,DBN,预训练后进行微调,1.4,深度信念网,DBN预训练后进行微调1.4 深度信念网,18,提出了一种用于,训练多,层前向网的新算法,建立,了基于率失真理论的,深度学习模型,提出了对,图像变换稳定的分类,RBM,模型,提出,了用于,训练,RBM,的等能量并行回火算法,研究,成果,以生物神经系统中,神经元响应机制,为启发，以信息论中的,编码理论,为指导，,建立有效的深度学习模型及其训练方法,主要,工作,提出了一种用于训练多层前向网的新算法建立了基于率失真理论的深,19,2,利用稀疏响应增强反向传播算法的性能,2,2利用稀疏响应增强反向传播算法的性能2,20,稀疏连接,稀疏响应,神经元群,刺激,(Morris et,al. 2003,Barlow, 1972,Olshausen et al,. 2004),稀疏连接：,大脑皮层中单个神经元只与其余神经元中的大约 极少数相连,稀疏响应：,对于给定的某个刺激，神经系统中仅有少量的神经元响应,(,连接稀疏,),(,响应稀疏,),2.1,稀疏响应,稀疏连接稀疏响应神经元群刺激(Morris et al. ,21,训练方法,稀疏响应,BP,网的结构,输入向量,隐 层,输出向量,后向传播误差,信号,前向传播信息，计算网络的实际输出,稀疏,响应,BP,网,(SRBP),2.2,基于稀疏响应的多层前向网,训练方法稀疏响应BP网的结构输入向量隐 层输出向量,22,输入层,隐层,网络结构,两类数据（红色，蓝色）,样本数：,384,双螺旋数据,2.3,实验,输入层 隐层网络结构两类数据（红色，蓝色）双螺旋数据2.3,23,2.3,实验,训练误差线,隐层神经元,(,第二个隐层,),在所有样本上响应的直方图,BP(Hinton et al. 1986),RoBP(Hirasawa 2009),GaBP(Girosi et al. 1995),LaBP(Williams 1995),EnBP2(Chauvin 1995),EnBP3(Chauvin 1995),EnBP1(Chauvin 1995),SaBP,非线性稀疏表示,2.3 实验训练误差线隐层神经元(第二个隐层)在所有样本上响,24,第二个隐层,在整个数据区域,上的响应情况,SRBP,BP,感受野的局部化,2.3,实验,第二个隐层在整个数据区域上的响应情况SRBPBP感受野的局部,25,泛化,能力,(10,000,个测试样本,),2.3,实验,泛化能力 (10,000个测试样本)2.3 实验,26,Iris dataset,Hepatitis dataset,Glass dataset,Wine dataset,Diabetes,训练,误差,线,UCI,数据集,2.3,实验,Iris datasetHepatitis datasetG,27,2.3,实验,Iris,隐层神经元,在四个,训练样本上的响应柱状图,Hepatitis,稀疏表示,Class,Wine,Diabetes,非线性稀疏,表示,2.3 实验Iris隐层神经元在四个训练样本上的响应柱状图H,28,Iris,Hepatitis,Glass,Wine,Diabetes,隐层神经元在所有训练样本上的响应直方图,非线性稀疏,表示,2.3,实验,IrisHepatitisGlassWineDiabetes,29,数据集,BP,GaBP,LaBp,RoBP,EnBP1,EnBP2,EnBP3,SRBP,Iris,96.93%,96.67%,95.60%,96.53%,96.93%,97.07%,97.07%,97.33%,(4.90),(4.71),(7.08),(5.59),(0.24),(0.24),(0.24),(0.22),Hepatitis,72.25%,75.25%,78.00%,78.00%,81.50%,79.75%,80.25%,84.25%,(22.77),(21.35),(15.48),(17.05),(1.61),(1.59),(1.22),(1.33),Glass,93.75%,93.37%,93.85%,93.65%,92.88%,93.26%,93.55%,94.01%,(5.67),(5.90),(5.88),(5.78),(0.28),(0.24),(0.24),(0.26),Wine,97.52%,97.63%,97.86%,98.08%,98.08%,97.97%,98.19%,98.19%,(3.43),(3.03),(3.18),(2.70),(0.00),(0.10),(0.14),(0.14),Diabetes,74.93%,75.97%,74.43%,75.40%,76.49%,77.17%,77.17%,77.40%,(6.14),(5.32),(7.47),(5.71),(0.26),(0.17),(0.18),(0.17),测试集分类精度，,50,次实验的平均结果,泛化,能力,2.3,实验,数据集BPGaBPLaBpRoBPEnBP1EnBP2EnB,30,泛化,能力,2.3,实验,泛化能力2.3 实验,31,泛化,能力,2.3,实验,泛化能力2.3 实验,32,大脑中每个,神经元在响应时都会比不响应时消耗更多的能量,。,我们用新模型中所有隐层神经元的响应值与,BP,网隐层神经元的响应值的比值,来判断在,BP,网中引入稀疏响应限制是否节省网络处理数据所需要的能量。,数据集,Two-spiral,Iris,Hepatitis,Glass,Wine,Diabetes,GaBP/BP,1.0005,1.0073,0.8384,0.9737,0.9998,0.9981,RoBP/BP,1.9782,1.2667,2.5748,0.9753,0.9931,0.0999,LaBP/BP,1.2279,0.9974,0.9459,0.9769,0.9960,0.9994,EnBP1/BP,0.2890,0.1903,0.0290,0.1106,0.3567,0.0544,EnBP2/BP,0.3766,0.1919,0.0333,0.2580,0.4586,0.0603,EnBP3/BP,0.2808,0.1922,0.0304,0.1365,0.4047,0.0565,SRBP/BP,0.2202,0.1458,0.0211,0.0679,0.2421,0.0206,网络所消耗的能量,2.3,实验,大脑中每个神经元在响应时都会比不响应时消耗更多的能量。数,33,2.4,本章小结,基于人类神经系统中对于某一个刺激只有少量神经元同时响应的机制，提出用于训练多层前向网的新算法,实验结果表明,提高了网络的泛化能力,大幅度降低了网络的能耗,训练过程更,稳定、收敛速度更快,可在一定程度上简化网络的结构,2.4 本章小结基于人类神经系统中对于某一个刺激只有少量神经,34,基于率失真理论的深度信念网,3,3,基于率失真理论的深度信念网33,35,主要,研究在限定失真条件下能够恢复信源符号所需的最小信息率，它给出了在一定失真度情况下信源编码能达到的极限码率，对编码的长度进行了约束。,率失真理论,3.1,率失真理论,等价,问题,编码率,编码机制为确定型时,在,RBM,中，隐层神经元的响应概率,(,数据的表示,),是确定的,新模型的思想,失真水平,RBM,是概率模型，因此使用输入数据分布与模型分布之间的,Kullback-Leibler,散度作为失真函数,在,RBM,中,，,主要研究在限定失真条件下能够恢复信源符号所需的最小信息率，它,36,用输入数据的分布和,深度信念网,的堆积模型限制波尔兹曼机（,RBM,）的平稳分布之间的,Kullback-Leibler,散度作为失真函数,，并采用神经系统中神经元的,稀疏响应来实现小的编码率,。,新模型,RD-DBN,模型,(RD-RBM),3.2,基于率失真理论的深度信念网,用输入数据的分布和深度信念网的堆积模型限制波尔兹曼机（RBM,37,10000,张图，每张像素为,12X12,网络共有两个隐层，第一个隐层有,144,个神经元，第二个隐层有,50,个神经元,自然,图像,3.3,实验,非线性稀疏表示,10000张图，每张像素为12X12自然图像3.3 实验非线,38,10000,张图，每张像素为,12X12,网络共有两个隐层，第一个隐层有,144,个神经元，第二个隐层有,50,个神经元,DBN,学到的,W,1,RD-DBN,学到的,W,1,自然,图像,3.3,实验,特征,10000张图，每张像素为12X12DBN学到的W1RD-D,39,10000,张图，每张像素为,12X12,网络共有两个隐层，第一个隐层有,144,个神经元，第二个隐层有,50,个神经元,自然,图像,特征,RD-DBN,学到的,W,2,3.3,实验,10000张图，每张像素为12X12自然图像特征RD-DB,40,第一个样本所引起的隐层,(,第一个隐层,),神经元响应概率的柱状图,DBN,RD-DBN,非线性稀疏表示,手写体数据，,10,类，每类取,2000,个数据作为实验数据,网络共有两个隐层，第一个隐层有,196,个神经元，第二个隐层有,50,个神经元,手写体数据,3.3,实验,第一个样本所引起的隐层(第一个隐层)神经元响应概率的柱状图D,41,特征,3.3,实验,特征3.3 实验,42,特征,3.3,实验,特征3.3 实验,43,分类误判率,(,从每类数据中随机抽取,100,，,500,，,1000,个样本作为训练数据，,50,次实验平均结果,),泛化能力,3.3,实验,分类误判率(从每类数据中随机抽取100，500，1000个样,44,部分响应次数较多的隐层神经元的判别能力,MNIST,数据集：水平轴为所选取的神经元个数（在训练数据上响应次数较多），垂直轴为具有部分隐层神经元的网络在训练集（每类分别取,100,，,500,和,1000,个样本作为训练集）和测试集上的分类误差率（,%,）。,3.3,实验,部分响应次数较多的隐层神经元的判别能力MNIST数据集：水平,45,5,类，每类取,2000,个数据作为训练数据,10,类，每类取,2000,个数据作为训练数据,CIFAR,数据,NORB,数据,3.3,实验,5类，每类取10类，每类取CIFAR数据NORB数据3.3,46,特征,3.3,实验,特征3.3 实验,47,特征,3.3,实验,特征3.3 实验,48,泛化能力,3.3,实验,NORB,分类误判率,(,从每类数据中随机抽取,200,，,500,个样本作为训练数据，,50,次实验平均结果,),分类误判率,(,从每类数据中随机,抽取,1000,个,样本作为训练数据，,50,次实验平均结果,),CIFAR-10,泛化能力3.3 实验NORB分类误判率(从每类数据中随机抽取,49,基于率失真理论的思想提出了新的深度信念网模型,实验结果表明,学习到的数据表示更加稀疏,能够提取不同抽象水平的特征,学习到的数据表示更具判别能力,3.4,本章小结,基于率失真理论的思想提出了新的深度信念网模型实验结果表明学习,50,用等能量跳转的并行回火算法训练,RBM,5,4,用等能量跳转的并行回火算法训练RBM54,51,极大似然,Gibbs,抽样,极大似然的困境,基于模型的期望难以计算！,无数次交替,Gibbs,采样的时间开销大,！,4,.1 RBM,训练的困境,极大似然Gibbs抽样极大似然的困境4.,52,梯度计算的难点：如何抽取模型分布的样本？,对比散度,(contrastive divergence),持续对比散度,(persistent contrastive divergence),快速持续对比散度,(fast persistent contrastive divergence),采用单个马尔科夫链近似模型分布,经典的马尔科夫链蒙特卡洛,(MCMC),方法,以训练数据作为马尔科夫链的初始状态，且只进行,k,步,Gibbs,采样,马尔科夫链的初始状态为上一步更新参数时的最终状态,在,CD,的负项中添加,“fast,weights”,集,4,.2,几种经典的训练方法,梯度计算的难点：如何抽取模型分布的样本？对比散度(contr,53,从,理论,上讲，人们总能通过,MCMC,采集到符合目标分布的,样本,实际,应用,中，人们通常不了解,多少次,转移是足够,的。这个问题很大程度上受到,目标分布陡峭,程度的影响。,低概率区域,采用单个马尔科夫链抽样的局限性,典型的双峰分布以及,MCMC,可能面临的问题,采集的样本很容易陷入模型分布的局部区域，相当于仅在某个单峰附近采样,4,.2,几种经典的训练方法,从理论上讲，人们总能通过MCMC采集到符合目标分布的样本低概,54,借助多个辅助的,Gibbs,链,，将,低温分布下的状态转移到高温分布,中，实现目标分布中不同峰值状态的转移，达到对整个分布采样的目的。,高温,低温,温度越高，分布越均匀,Gibbs,抽样,Gibbs,抽样,局部转移,全局跳转,并行回火,(Parallel Tempering, PT),4,.2,几种经典的训练方法,借助多个辅助的Gibbs链，将低温分布下的状态转移到高温分布,55,相邻,Gibbs,链间的状态交换概率依赖于,Gibbs,链的温度和状态的能量,并行回火算法训练,RBM,的局限性,4,.2,几种经典的训练方法,在,PT,中，使用,过少的辅助分布,或者使用,不合适的辅助分布,都会导致相邻,Gibbs,链的状态拥有较大差异的能量，从而产生,极低的交换概率，不利于,RBM,的训练,0,容易,困难,相邻Gibbs链间的状态交换概率依赖于Gibbs链的温度和状,56,4,.3,等能量抽样,Kou,于,2006,年提出等能量抽样,利用温度和能量截尾的方法构造多个辅助分布,等,能量抽样直接用于,RBM,训练的难点,在,RBM,中，基于以上辅助分布，可以推导出模型的条件分布为,在此,分段函数中，我们需要在,并不完全知晓状态的,情况,下,计算状态的能量,4.3 等能量抽样 Kou于2006年提出等能量抽样利用温度,57,为了得到较高的状态交换概率，我们采用,等能量跳转,直接在具有相似能量的状态间进行跳转，跳过低概率区域,5.4,用,等,能量跳转的并行回火算法训练,RBM,基于等能量跳转的并行回火算法,(,PT with,equi-energy,moves, PTEE,),为了得到较高的状态交换概率，我们采用等能量跳转直接在具有相,58,PTEE,局部转移,全局跳转,Gibbs,sampling,划分,第一个能量集,第,d,个能量集,状态交换,状态交换,每个链的状态转移过程不受其它链的影响,状态被划分到多个能量集中，并在能量集内部进行状态交换,基于等能量跳转的并行回火算法,(,PT with,equi-energy,moves, PTEE,),4,.4,用,等,能量跳转的并行回火算法训练,RBM,PTEE局部转移全局跳转Gib,59,小,数据集,基于四个基本模型,(,模型之间的差异性比较大,),而产生的数据集。对于每一个基本模型，以,0.001,的概率转换模型中的像素,(0,变成,1,，,1,变成,0),，从而生成,2500,张与该基本模型相似的图片。,MNIST,手写体数据集,数 据,4,.5,实验,小数据集基于四个基本模型(模型之间的差异性比较大)而产生的,60,在,PT,算法中，,相邻,马尔科夫链的,状态,拥有,差异较大的能量,，这会引起低的状态交换概率，不利于,RBM,的训练；而在,PTEE,算法中，同一个,能量集内,的状态拥有,近似的能量,，保证了较高的状态交换概率。,某步参数更新时，有可能进行全局跳转的马尔科夫链状态的能量,：,(,左,) PT,；,(,右,) PTEE,PT,和,PTEE,中全局跳转的比较,4,.5,实验,在PT算法中，相邻马尔科夫链的状态拥有差异较大的能量，这会引,61,PT,和,PTEE,中全局跳转的比较,整个训练过程中，每个马尔科夫链与其它链交换状态的平均交换概率。,对于,PTEE,算法，几乎所有的马尔科夫链的,平均交换概率,都,比,PT,算法的,高,4,.5,实验,PT和PTEE中全局跳转的比较整个训练过程中，每个马尔科夫链,62,PT,和,PTEE,中全局跳转的比较,在,PT,中,，相邻,的马尔科夫链才,交换状态；在,PTEE,中，任意两个马尔科夫链都有,可能交换状态,4,.5,实验,PT和PTEE中全局跳转的比较在PT中，相邻的马尔科夫链才交,63,5,次实验的平均结果，小数据集,似然得分,PTEE,算法比,PT,算法能够更快地得到较好的结果,，且,最终结果也比,PT,算法好,。,随着,迭代步骤的增加，使用,单个,马尔科夫链,的,CD,算法和,PCD,算法的,学习效果突然变差并且持续恶化,，最终得到,很低,的似然值。,4,.5,实验,5次实验的平均结果，小数据集似然得分PTEE算法比PT算法能,64,5,次实验的平均结果，,MNIST,数据集,似然得分,5,次实验的平均结果，小数据集,4,.5,实验,5次实验的平均结果，MNIST数据集似然得分5次实验的平均结,65,结合等能量抽样和并行回火抽样方法提出了用于训练,RBM,的新算法,实验结果表明,新算法能够提高抽样过程中的混合率,以更快的速度获得更高的似然值,算法受马尔科夫链个数的影响较小,4,.6,本章小结,结合等能量抽样和并行回火抽样方法提出了用于训练RBM的新算法,66,结果与问题,5,5,结果与问题55,67,以,率失真理论为指导，建立了一种新的深度信念网,模,型,，该模型由多个基于率失真理论的,RBM,堆积而成；,5,.1,结果,基于,人类神经系统中对于,某个,刺激仅有少量神经元,同,时,响应的机制，提出,了用于,训练多层前向网的新算法,；,结合,等能量抽样和并行回火抽样两种抽样方法，,提出,了,一种用于训练,RBM,的新算法。,以率失真理论为指导，建立了一种新的深度信念网模,68,深化基于率失真理论的深度学习模型研究；,隐层神经元个数的确定；,提取与任务相关的多层本质特征。,5.2,进一步的研究问题,深化基于率失真理论的深度学习模型研究；隐层神经元个数的确定；,69,Nannan Ji, Jiangshe Zhang, Chunxia Zhang. A,sparse-response deep belief network based,on,rate distortion theory,Pattern,Recognition, 2014, 47(9): 3179-3191,.,Nannan Ji, Jiangshe Zhang, Chunxia Zhang,et al.,Enhancing,performance,of,restricted,Boltzmann,machine,via,log-sum regularization,Knowledge-Based Systems, 2014, 63: 82-96,.,Nannan Ji,Jiangshe Zhang, Chunxia Zhang, et al. Discriminative restricted Boltzmann machine for invariant pattern recognition with linear transformations,Pattern Recognition Letters,2014, 45: 172-180.,Jiangshe,Zhang, Nannan Ji,Junmin,Liu,et al.,Enhancing,performance,of the backpropagation algorithm via sparse response,regularization,Neurocomputing, 2014, Accept,with Minor,Revision.,Nannan Ji,Jiangshe,Zhang. Parallel tempering with equi-energy moves for training of restricted Boltzmann,machines,In Proceedings of IEEE International Joint Conference on Neural Networks, 2014: 120-127.,主要研究,成果,Nannan Ji, Jiangshe Zhang, Chu,70,致谢,：,研究受科技部,973,项目,国家自然科学基金委面上项目,重大研究计划资助,研究工作主要参加者：,姬楠楠、张春霞、刘军民,协助,PPT,制作：姬楠楠,致谢：,71,谢 谢！,敬 请 批 评 指 正！,谢 谢！敬 请 批 评 指 正！,72,