8机器学习-概述概要1课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,1,机器学习,1机器学习,2,为什么学习,学习的一般形式,学习的定义,设计一个学习系统,学习的一般形式,机器学习研究的问题,OUTLINE,2为什么学习OUTLINE,3,为什么学习,为什么要研究机器学习？,现在的人工智能系统还完全没有或仅有很有限的学习能力。系统中的知识由人工编程送入系统，知识中的错误也不能自动改正。也就是说，现有的大多数人工智能不能自动获取和生成知识，系统性能难以改善。,学习目的,：让计算机随着经验的积累自动提高性能,3为什么学习 为什么要研究机器学习？,4,为什么学习,学习的例子：,计算机能从医疗记录中学习，获取诊断疾病的方法,个人软件助理跟踪用户的兴趣，并为其选择最感兴趣的在线早间新闻,数字识别、汉字识别、语音识别,4为什么学习学习的例子：,5,为什么学习,学习的一般形式,学习的定义,设计一个学习系统,学习的一般形式,机器学习研究的问题,OUTLINE,5为什么学习OUTLINE,6,学习的一般形式,在学习智能体中，对执行元件进行反馈并加以修正的元件是学习元件,执行器,环 境,传感器,智能体,性能标准,评论元件,学习元件,问 题,产生器,执行元件,反馈,学习的目标,知识,变化,6学习的一般形式在学习智能体中，对执行元件进行反馈并加以修正,7,学习元件的设计,影响学习元件设计的主要因素：,执行元件的哪个组成部分进行学习,谁要学习,(who),组成部分从学习中得到什么反馈,怎么学习,(how),组成部分是如何表示的,学习什么,(what),决定智能体学习本质的最重要因素是学习中的反馈类型,7学习元件的设计影响学习元件设计的主要因素：,8,学习的三种类型,有监督,(,有指导,),学习,从其输入,/,输出的实例中学习一个函数,无监督,(,无指导,),学习,在未提供明确的输出值情况下，学习输入的模式,主要在概率推理系统的上下文中研究无监督学习,强化学习,从强化物中学习，而不是根据指导进行学习,8学习的三种类型有监督(有指导)学习从其输入/输出的实例中,9,学习过程中的知识表示,如何表示学到的信息,(,各种方案,智能体的任何组成部分,),逻辑公式,(,学到的规则,),贝叶斯网络,(,学到的概率描述,),线性加权函数,(,作为学习得到的启发函数,),先验知识的可用性,大部分人类学习发生在具有大量背景知识的上下文环境中,不同的背景知识会导致对同一事物的不同认识,(,如物理学家和画家对云室照片的看法,),9学习过程中的知识表示如何表示学到的信息(各种方案智能体的,10,为什么学习,学习的一般形式,学习的定义,设计一个学习系统,学习的一般形式,机器学习研究的问题,OUTLINE,10为什么学习OUTLINE,11,学习的定义,学习定义：,对于某类任务,T,和性能度量,P,，如果一个计算机程序在,T,上以,P,衡量的性能随着经验,E,而自我完善，那么我们称这个计算机程序从经验,E,中,学习,对于一个学习问题，必须明确：,任务的种类,T,衡量性能提高的标准,P,经验的来源,E,11学习的定义学习定义：,12,学习问题示例,手写数字识别学习问题,任务,T,：识别和分类图像中的手写数字,性能标准,P,：分类的正确率,训练经验,E,：已知分类的手写数字数据库,国际象棋学习问题,任务,T,：下国际象棋,性能标准,P,：比赛中击败对手的百分比,训练经验,E,：和自己进行对弈,12学习问题示例手写数字识别学习问题,13,学习问题示例,机器人驾驶学习问题,任务,T,：通过视觉传感器在四车道高速公路上驾驶,性能标准,P,：平均无差错行驶里程,训练经验,E,：注视人类驾驶时录制的一系列图像和驾驶指令,13学习问题示例机器人驾驶学习问题,14,为什么学习,学习的一般形式,学习的定义,设计一个学习系统,机器学习研究的问题,OUTLINE,14为什么学习OUTLINE,15,设计一个学习系统,基本设计方法和学习途径,（以西洋跳棋为例）,选择训练经验,选择目标函数,选择目标函数的表示,选择函数逼近算法,(,选择学习算法,),最终设计,15设计一个学习系统基本设计方法和学习途径,16,第一个关键属性，训练经验能否为系统的决策提供直接或间接的反馈。,E.g.,西洋跳棋,系统可从,直接,的训练样例，即各种棋盘状态和相应的正确走子中学习,系统可能仅有,间接,的信息，即很多过去对弈序列和最终结局,(,较早走子的正确性由结局推断。面临信用分配问题：每一次走子对最终结果的贡献程度,),注意：本例中系统提供的是间接训练经验,第二个重要属性，训练样例的分布能多好地表示实例分布，最终系统的性能是通过后者来衡量的。,选择训练经验,16第一个关键属性，训练经验能否为系统的决策提供直接或间接的,17,西洋跳棋学习问题,任务,T,：下西洋跳棋,性能标准,P,：击败对手的百分比,训练经验,E,：和自己进行训练对弈,学习系统需要选择,要学习的知识的确切类型,对于这个目标知识的表示,一种学习机制,选择目标函数,(1),17西洋跳棋学习问题选择目标函数(1),18,学习任务：如何从合法的走子中选择最佳走子。因此，要学习的信息类型是程序或函数,目标函数,ChooseMove,ChooseMove:B,M,，接受合法棋局集合中的棋盘状态作为输入，并从合法走子集合中选择某个走子作为输出,问题转化,我们把提高任务,T,的性能,P,的问题转化（或简化）为学习像,ChooseMove,这样某个特定的目标函数,选择目标函数,(2),18学习任务：如何从合法的走子中选择最佳走子。因此，要学习的,19,ChooseMove,的评价,学习问题很直观地转化成这个函数,这个函数的学习很困难，因为提供给系统的是间接训练经验,选择目标函数,(3),19ChooseMove的评价选择目标函数(3),20,另一个目标函数,V,一个评估函数，,V:B,R,，,它为任何给定棋局赋予一个数值评分，,给好的棋局赋予较高的评分,优点，学习简单,V,的应用,根据,V,能够轻松地找到当前棋局的最佳走法。,选择目标函数,(4),20另一个目标函数V选择目标函数(4),21,V,的设计，对于集合,B,中的任意棋局,b,，,V(b),定义如下,如果,b,是一最终的胜局，那么,V(b)=100,如果,b,是一最终的负局，那么,V(b)=-100,如果,b,是一最终的和局，那么,V(b)=0,如果,b,不是最终棋局，那么,V(b)=V(b),，其中,b,是从,b,开始双方都采取最优对弈后可达到的终局,选择目标函数,(5),21V的设计，对于集合B中的任意棋局b，V(b)定义如下选择,22,上面设计的缺陷,递归定义、运算效率低,不可操作,简评,学习任务简化成发现一个理想目标函数,V,的可操作描述。,通常要完美地学习这样一个,V,的可操作的形式是非常困难的。,一般地，我们仅希望学习算法得到近似的目标函数,V,，因此学习目标函数的过程常称为函数逼近（,function approximation,）。,选择目标函数,(6),22上面设计的缺陷选择目标函数(6),23,选择一个表示，使学习程序来描述要学习的函数,V,函数的表示,一张大表,，对于每个唯一的棋盘状态，表中有唯一的表项来确定它的状态值,规则集合,来匹配棋局特征以表示,V,用与预定义棋盘特征有关的,二次多项式函数,人工神经网络,选择目标函数的表示,23选择一个表示，使学习程序来描述要学习的函数V选择目标函,24,重要的权衡过程,一方面，我们总希望选取一个非常有表现力的描述，以最大可能地逼近理想的目标函数,另一方面，越有表现力的描述需要越多的训练数据，使程序能从它表示的多种假设中选择,选择目标函数的表示,(2),24重要的权衡过程选择目标函数的表示(2),25,一个简单的表示法，对于任何给定的棋盘状态，函数,V,可以通过以下棋盘参数的线性组合来计算。,x,1,，黑子的数量,x,2,，红子的数量,x,3,，黑王的数量,x,4,，红王的数量,x,5,，被红子威胁的黑子数量,x,6,，被黑子威胁的红子数量,选择目标函数的表示,(3),25一个简单的表示法，对于任何给定的棋盘状态，函数V可以通,26,目标函数,V(b)=w,0,+w,1,x,1,+w,2,x,2,+w,6,x,6,其中，,w,1,w,6,是权值，表示不同棋局特征的相对重要性,w,0,为一个附加的棋盘状态值常量,至此，问题转化为学习目标函数中的系数（即权值）,概括一下目前为止的设计选择：,阐述了学习问题的原型；选择一种类型的训练经验；一个要学习的目标函数及目标函数的一种表示,选择目标函数的表示,(4),26目标函数选择目标函数的表示(4),27,为学习目标函数,V(,函数逼近,),，需要一系列,训练样例,每个训练样例表示成二元对,b,是棋盘状态，,V,train,(b),是训练值,比如：,训练过程,从学习器可得到的间接训练经验中导出上面的训练样例,调整系数,w,i,，最佳拟合这些训练样例,选择函数逼近方法,表示红棋没有子了，黑棋胜,27为学习目标函数V(函数逼近)，需要一系列训练样例选择函,28,训练样例,对,结束时的棋盘状态,评分很容易（由于间接训练经验）,估计,中间棋盘状态的训练值,：对于大量中间棋盘状态，一个简单的估计方法,V,train,(b)=V(Successor(b),调整权值,最佳拟合训练样例，使得误差（,V,train,(b)-V(b),）平方和最小,寻找算法，比如最小均方法,LMS,更新权值,选择函数逼近方法,(2),b,之后再轮到程序走棋时的棋盘状态,28训练样例选择函数逼近方法(2),29,LMS,权值更新法则,:,随机选择一个训练样例,计算,error(b),:,error(b),=V,train,(,b,)-V(,b,),2.,对每一个棋盘状态特征,x,i,更新其权值,w,i,:,w,i,w,i,+,error,(,b,),x,i,是一个小的常数（比如,0.1,），用来调整权值更新幅度。注意：如果,x,i,=0,，其权值不会因为这个误差而改变。,LMS,调整权值,29LMS 权值更新法则:LMS调整权值,30,西洋跳棋学习程序的设计过程,决定训练经验类型,决定目标函数,决定学习到的函数的表示,决定学习算法,完成的设计,梯度下降,线性规划,多项式,六个参数的线性函数,棋盘,走子,棋盘,分值,与专家对弈,与自己对弈,正确走子的表格,30西洋跳棋学习程序的设计过程决定训练经验类型决定目标函数决,31,学习的一般形式,学习的定义,设计一个学习系统,学习的一般形式,机器学习研究的问题,OUTLINE,31学习的一般形式OUTLINE,32,机器学习的问题,存在什么样的算法能从特定的训练数据学习一般的目标函数呢？如果提供了充足的训练数据，什么样的条件下，会使特定的算法收敛到期望的函数？哪个算法对哪些问题和表示的性能最好？,多少训练数据是充足的？怎样找到学习到假设的置信度与训练数据的数量及提供给学习器的假设空间特性之间的一般关系？,学习器拥有的先验知识是怎样引导从样例进行泛化的过程的？当先验知识仅仅是近似正确时，它们会有帮助吗？,怎样把学习任务简化为一个或多个函数逼近问题？换一种方式，系统该试图学习哪些函数？这个过程本身能自动化吗？,32机器学习的问题存在什么样的算法能从特定的训练数据学习一般,