浅谈深度学习

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,浅谈深度学习（,D,eep,L,earning,）,1,制作者：刘红敬,专 业：计算机技术,主要内容,2006,年以来，机器学习领域中一个叫,“,深度学习,”,的课题开始受到学术界广泛关注，如今拥有大数据的互联网公司争相投入大量资源研发深度学习技术。,一,、,机器学习,二、为什么有,D,eep learning？,Why?,三、,什么是,D,eep learning？,What?,四、,怎么来的,？,五、,Deep learning,与神经网络的异同,2,一、机器学习,机器学习（Machine Learning）,是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能的学科。,简单的说，机器学习就是通过算法，使得机器能从大量的历史数据中学习规律，从而对新的样本做智能识别或预测未来。,1959年美国的,塞缪尔(Samuel),设计了一个下棋程序，这个程序具有学习能力，它可以在不断的对弈中改善自己的棋艺。4年后，这个程序战胜了设计者本人。又过了3年，这个程序战胜了美国一个保持8年之久的常胜不败的冠军。这个程序向人们展示了,机器学习的能力，,提出了许多令人深思的社会问题与哲学问题。,这种程序水平达到一定程度很容易，但再进一步就不容易了。,深蓝,是,90,年代机器学习理论有了突破之后才出来的,。,3,二、,Why?,机器学习虽然发展了几十年，但还是存在很多没有良好解决的问题。例如以,视觉感知,为例，通过,机器学习,去解决这些问题的思路：,Input,Feature Representation,Learning,Algorithm,手工选取特征不太好，那么能不能自动地学习一些特征呢？,答案是能！,Deep Learning,就是用来干这个事情的，它有一个别,名Unsupervised Feature Learning。,Why,？,答案：让机器自动学习良好的特征，而免去人工选取过程。,4,三、,What,？,深度,学习,是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和,文本。,深度,学习是无监督学习的一种。,深度,学习的概念,源于,人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。,5,四、怎么来的？,从机器学习的模型结构层次来分，机器学习经历了两次浪潮：,1、浅层学习（Shallow Learning）：机器学习第一次浪潮,2、深度学习（Deep Learning）：机器学习第二次浪潮,6,1,、浅层学习,20,世纪,80,年代末期,，由于,人工神经网络,的,反向传播算法,（,BP,算法,）的发明，给机器学习带来了希望，掀起了,基于统计模型的机器学习,热潮。这个热潮一直持续到今天。,基于,统计的机器学习方法可以让一个人工神经网络模型从大量训练样本中学习统计规律，从而对未知事件做预测。,这个,时候的人工神经网络，虽也被称作,多层感知机,（,Multi-layer Perceptron,），但实际是一种只含有,一层隐层节点的浅层模型,。,7,1,、浅层学习,20世纪90年代,，各种各样的浅层机器学习模型相继被提出，例如,支撑向量机,（SVM）、,Boosting,、,最大熵方法,（,LR,）等。,这些模型的结构基本上可以看成带有,一层隐层节点,（如SVM、Boosting），或,没有隐层节点,（如LR）。这些模型无论是在理论分析还是应用中都获得了巨大的成功。,相比之下，由于理论分析的难度大，训练方法又需要很多经验和技巧，这个时期深度人工神经网络反而相对沉寂。,8,2,、深度学习,2006年，加拿大多伦多大学教授、机器学习领域的泰斗,Geoffrey Hinton,等在,Science,上发表了一篇文章,1,，开启了深度学习在学术界和工业界的浪潮。,这篇文章有两个主要观点：,1）,多隐层,的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类,。,2）深度神经网络在训练上的难度，可以通过,“,逐层初始化,”,来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。,1,Hinton,Geoffrey;Osindero,Simon;Welling,Max;Teh,Yee-,Whye,.,Unsupervised Discovery of Nonlinear Structure Using Contrastive,Backpropagation,.,Science.2006(30)4:,725-732.,9,当前,多数,分类、回归,等学习方法为,浅层结构算法,，其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。,深度,学习,可通过学习一种,深层非线性网络结构,，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本中集中学习数据集本质特征的能力。（多层的好处是可以用较少的参数表示复杂的函数）,10,2,、深度学习,深度,学习,的实质，是通过构建具有,很多隐层,的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，,“,深度模型,”,是手段，,“,特征学习,”,是目的。,区别,于传统的浅层学习，深度学习的不同在于：,1,）强调了,模型结构的深度,，通常有,5,层、,6,层，甚至,10,多层的隐层节点；,2,）明确突出了,特征学习的重要性,，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。利用大数据来学习特征，更能够刻画数据的丰富内在信息。,11,3,、浅层学习与深度学习的不同,四、深度学习与神经网络的异同,深度学习,与,传统的神经网络,之间有相同的地方也有很多不同。,相同点,：,深度学习,采用了神经网络相似的分层结构，系统由包括,输入层、隐层（多层）、输出层,组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个逻辑回归模型；这种分层结构，是比较接近人类大脑的结构的。,12,不同点,：采用了,不同的训练机制,。,传统神经网络,中，采用的是反向传播（BP）的方式进行。即采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，然后根据当前,计算的输出值,和,实际的标记值,之间的差去改变前面各层的参数，直到收敛（整体是一个梯度下降法）。,BP,算法不适合深度神经网络：,如果对所有层同时训练，时间复杂度会太高；如果每次训练一层，偏差就会逐层传递，出现过拟合,。,深度学习,整体上是一个,逐层,的训练机制,。,13,深度学习的训练过程,1）,自下而上的非监督学习,:,从底层开始，一层一层的往顶层训练，分别得到各层参数。,采用无标签数据分层训练各层参数（可以看作是feature learning过程）,2,）,自上而下的监督学习,：,通过带标签的数据去训练，误差自上向下传输，对网络进行微调。,基于第一步得到的各层参数进一步调整整个多层模型的参数，这一步是一个有监督训练过程,Thank you,！,15,