第6.1-6.2节 机器学习概述及其基本系统结构(上传版)

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,*,31,第,6.1,节 机器学习的概述,王庆江,计算机科学与技术系,qjwang,目前的,AI,系统多是基于,演绎,的，没有,归纳,推理，故不能自动获取和生成新知识；,系统中的知识是事先输入的，包含的错误也不能自动改正。,自,1956,年,AI,创立至今，科研人员一直重视机器学习（,Machine learning,）的研究。,50,年代，,Samuel,的跳棋程序可从经验中学习，调整棋盘的评估函数；,70,年，,Winston,的学习系统可从积木世界里学习概念，如“桥梁”；,80,年代，机器学习逐渐成为,AI,的主要研究问题之一。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,机器的能力（智能）会,超过,人类吗？,对于不具备学习能力的机器，这是不可能的；,反之，机器能力的提高可能是难以预测的。,机器学习的不可预测问题,能否设计出检测,AI,系统能力的系统？,检测系统必须有与被检测系统相当的或更强的学习能力；,检测系统本身的变化又如何了解和控制呢？,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,6.1.1,机器学习的基本概念,什么是机器学习？,它是研究如何用机器来模拟人类学习活动的一门学科；,Simon,说，“学习是系统在不断重复的工作中对本身能力的增强或改进，使系统下一次执行同样或类似任务时比现在做得更好或效率更高。”,Minsky,说，“学习是人脑（心理内部）中进行了,有用的,变化。,”,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,学习的基本形式,知识获取,获取新的知识，这是学习的本质。,技能求精,学习机制本身的提高。,学习的目的是使系统性能得到改善。,从不会做到会做；,从会做到做得更好。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,机器学习的内涵随着网络技术发展而变得丰富,在,AI,新兴的数据挖掘和知识发现研究中，,更多地涉及大规模海量数据；,数据可以是文本、图形图像、语音视频；,数据可以是结构化的，也可以半结构化的；,并存着分类、聚类、贝叶斯网络推理、决策树、遗传算法等多种学习方法。,机器学习的定义更模糊了，这也意味着机器学习正受到越来越多的关注。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,机器学习的任务,获得对输入的数据进行,分类,的能力；,概念区分、文字识别、医疗诊断等。,获得,解决问题,、行为计划和行为控制的能力。,下棋、平衡杠杆、驾车等。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,怎么评价学习能力？,分类精度,能否对输入数据进行正确、精确的分类。,解答的正确性和质量,无论是分类系统还是解决问题的系统，都有正确性问题；,质量包括可读性、稳定性等指标。,学习速度,很费时的学习方法在实践中可能是不可用的。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,6.1.2,机器学习的研究意义,一个真正的智能系统应该有学习能力；,通过归纳、演绎等推理丰富知识库，使系统适应环境。,大的智能系统比较注重静态知识的学习；,如医疗、勘探，有大规模数据库和较完整的规则库，应用领域明确，环境变化较小；,而较忽视动态知识的学习。,一些较小的智能系统注重动态知识的学习；,很难手工创建较完整的数据库；,但可自动适应环境和定制自身。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,当前机器学习的研究时机比较成熟,已经有机器学习的初步算法和理论基础；,互联网可提供越来越充足的数据；,计算机性能不断提高，能运行高复杂度的算法。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,若干难点制约机器学习的发展,预测难,脱离实际环境的学习方法，在实际中会有怎样的表现？,有学习能力的中医诊断系统在实际中学到的新知识是否正确？,归纳推理中问题,保假，归纳得到的知识不可靠。,判断难,什么重要、什么应该学习？,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,6.1.3,机器学习的发展史,神经系统模型阶段；,开始于,50,年代；,主要研究没有知识的学习，试图建立自组织、自适应系统；,1957,年的“感知器”是这一时期最具代表性的神经网络模型；,这段时期，还出现了跳棋程序、决策理论。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,符号概念获取阶段；,开始于,70,年左右；,试图模拟人类的概念学习过程，通过分析一些概念的正例和反例，构造概念的符号表示；,表示形式可以是逻辑表达式、决策树、产生式规则、语义网络等。,例：,Winston,的,ARCH,系统；,只能学习单概念，未能投入实际应用。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,知识加强和论域专用学习阶段,开始于,70,年代中期；,继续沿符号主义路线研究；,侧重专业的专用性，强调面向任务的学习和任务对学习过程的引导作用；,例：,D.J.,Mostow,的指导式学习，,T.J. Mitchell,的解释学习。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,近,20,年中的机器学习,归纳学习的绝对优势有所动摇；,出现了解释学习；,遗传式学习有了新的发展；,神经网络学习又有了重要进展；,随着数据挖掘、知识发现的研究蓬勃发展，贝叶斯网络、决策树、神经网络得到了深入研究和应用。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,6.1.4,机器学习的分类,按学习风格分类,记忆学习（死记硬背学习、机械学习）,基于记忆和检索；,直接记录问题有关的信息，然后检索并利用这些存储的信息来解决问题；,如从数据,x,，经过某种计算得到结果,y,，则把,(x, y),记录下来，以后要再对,x,计算时，通过查询直接得到,y,。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,按学习风格分类,演绎学习,基于演绎推理；,如果系统能证明,AB,且,BC,，可得到,AC,，以后直接使用规则,AC,。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,按学习风格分类,归纳学习,这是研究最多的一种学习方法；,给定关于某概念的一些例子，从中归纳出概念的一般描述；,例：大马有四条腿，小马有四条腿，故马有四条腿。,但是，归纳是危险的推理；,例：麻雀会飞，燕子会飞，故鸟会飞。,实例（示例）学习是典型的归纳学习方法。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,按学习风格分类,类比学习,通过目标对象与源对象的相似性，用源对象的求解方法来解决关于目标对象的问题；,对未知或知之甚少的领域中的问题，用已知的、熟悉的领域中的方法解决。,回忆与联想；,建立对应关系；,验证与归纳。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,按学习风格分类,基于解释的学习,从问题求解的一个具体过程中抽取出一般的原理，并使其在类似情况下也可利用；,与实例学习不同，解释学习只分析一个或几个例子，加上给定的领域知识，进行保真,演绎,，存储有用结论，经过知识求精和编辑，产生适合以后求类似问题的控制知识；,尽量少用归纳，以减少归纳带来的不可靠性。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,按学习风格分类,连接学习,主要指神经网络学习；,通过实例训练，得到网络中的,参数,甚至,结构,，实现对输入模式的,分类,等功能。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,按实现途径分类,符号学习,连接学习,符号学习,用计算机能理解（处理）的符号表示人类的知识；,用学习程序实现学习过程；,输入的是数据、事实等信息，产生符号表示的知识（如概念、规则等）；,基于符号演算的知识推理和知识学习。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,连接学习,就是人工神经网络（,Artificial Neural Network,，缩写,ANN,）学习；,ANN,是对生物神经网络的某种模拟或仿真；,ANN,学习是基于生物神经网络理论的机器学习方法。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,符号学习和连接学习的实现途径有什么区别呢？,符号学习建立在符号理论基础上，,预先,有专家总结的大量知识，对知识的可理解性和可读性非常重视；,连接学习强调对,大量事实的反复观察,，最多需要人对事实进行分类与标注，形成的知识结构是人,难以理解的,。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,按学习方法分类,有教师指导的，或从样本中的学习,被称作教师的用户需将数据分类（标注）；,即使没有先验知识，只要数据是可自然分类的，仍可采用有教师指导类的学习算法，如聚类算法；,机器学习的目的就是建立从数据到结果空间的映射函数。,无教师指导的，或从环境中的学习,通常，准备好所有数据；,系统从执行结果的好坏得到反馈信息，依此改进执行过程，达到学习目的。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,6.2,机器学习的基本系统结构,Simon,认为，学习就是系统在,不断重复,的工作中对本身能力的,增强,或,改进,，使得系统在下执行,同样,或,类似,任务时，会比现在做得更好或效率更高。,环境,学习,知识库,执行,学习系统的基本构成,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,环境,是系统的工作对象，还可包括外界条件；,代表外界信息来源；,例：医疗系统中，病人当前的症状、检验数据和病历。,环境提供的信息从两个方面评价,信息水平,相对于执行环节的要求而言，由学习环节消除差距。,信息质量,实例示教是否正确、实例次序是否合理等。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,知识库,知识表示要合理；,如特征向量、谓词公式、产生式、过程、,LISP,函数、语义网络、框架等；,推理方法的实现不要太难；,存储的知识是否支持修改（更新）。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,学习环节,是机器学习系统的核心模块；,是和外部（环境）交互的接口；,对环境提供的信息进行整理、分析、归纳或类比，生成新的知识单元，或修改知识库；,接收从执行环节来的反馈信号，通过知识库修改，进一步改善执行环节的行为。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,执行环节,根据知识库执行一系列任务；,把执行结果或执行过程中获得的信息反馈给学习环节；,以上分析主要针对符号学习系统，基于连接学习的系统有自己的结构特点。,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,思考题,6.1,6.6,6.7,2008-2009,学年第,1,学期,机器学习概述及其基本系统结构,