AI-chapter6 机器学习

机器学习机器学习内容1 机器学习及其重要性机器学习及其重要性2 2 机器学习系统的基本结构机器学习系统的基本结构3 机器学习主要策略机器学习主要策略 记忆学习、传授学习、演绎学习、记忆学习、传授学习、演绎学习、类比学习、归纳学习（实例学习）类比学习、归纳学习（实例学习）4 机器学习的研究目标机器学习的研究目标5 机器学习的特点机器学习的特点6 机器学习角色的转变机器学习角色的转变7 五个挑战问题五个挑战问题1 机器学习的定义机器学习的定义按照人工智能大师西蒙的观点，按照人工智能大师西蒙的观点，学习学习就就是系统在不断重复的工作中对本身能力是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执的增强或者改进，使得系统在下一次执行同样任务或类似任务时，会比现在做行同样任务或类似任务时，会比现在做得更好或效率更高。得更好或效率更高。经典定义：利用经验改善系统自身的性能经典定义：利用经验改善系统自身的性能 T.Mitchell,Book 97随着该领域的发展，主要做随着该领域的发展，主要做智能数据分析智能数据分析典型任务：预测典型任务：预测例如：天气预报例如：天气预报机器学习是研究如何使用机器来模拟人类学习活动机器学习是研究如何使用机器来模拟人类学习活动的一门学科。稍为严格的提法是：机器学习是一门的一门学科。稍为严格的提法是：机器学习是一门研究机器获取新知识和新技能，并识别现有知识的研究机器获取新知识和新技能，并识别现有知识的学问。学问。机器学习的发展史机器学习的发展史第一第一阶段是在段是在5050年代中叶到年代中叶到6060年代中叶，年代中叶，属于属于热烈烈时期期 在这个时期，所研究的是在这个时期，所研究的是“没有知没有知识识”的学习，即的学习，即“无知无知”学习学习；其；其研究目标是各类自组织系统和自适研究目标是各类自组织系统和自适应系统；指导本阶段研究的理论基应系统；指导本阶段研究的理论基础是早在础是早在4040年代就开始研究的年代就开始研究的神经神经网络网络模型。在这个时期，我国研制模型。在这个时期，我国研制了数字识别学习机。了数字识别学习机。第二阶段在第二阶段在6060年代中叶至年代中叶至7070年代中叶，年代中叶，被称为机器学习的冷静时期。被称为机器学习的冷静时期。本阶段的研究目标是模拟人类的概念学本阶段的研究目标是模拟人类的概念学习过程，并采用逻辑结构或图结构作为习过程，并采用逻辑结构或图结构作为机器内部描述。这个时期正是我国机器内部描述。这个时期正是我国“史史无前例无前例”的十年，对机器学习的研究不的十年，对机器学习的研究不可能取得实质进展。可能取得实质进展。第三阶段从第三阶段从7070年代中叶至年代中叶至8080年代中叶，年代中叶，称为复兴时期。称为复兴时期。在这个时期，人们从学习单个概念扩展在这个时期，人们从学习单个概念扩展到学习多个概念，探索不同的学习策略到学习多个概念，探索不同的学习策略和各种学习方法。本阶段已开始把学习和各种学习方法。本阶段已开始把学习系统与各种应用结合起来，中国科学院系统与各种应用结合起来，中国科学院自动化研究所进行质谱分析和模式文法自动化研究所进行质谱分析和模式文法推断研究，表明我国的机器学习研究得推断研究，表明我国的机器学习研究得到恢复。到恢复。19801980年西蒙来华传播机器学习年西蒙来华传播机器学习的火种后，我国的机器学习研究出现了的火种后，我国的机器学习研究出现了新局面。新局面。机器学习的最新阶段始于机器学习的最新阶段始于19861986年。年。一方面，由于神经网络研究的重新兴起，一方面，由于神经网络研究的重新兴起，另一方面，对实验研究和应用研究得到另一方面，对实验研究和应用研究得到前所未有的重视。我国的机器学习研究前所未有的重视。我国的机器学习研究开始进入稳步发展和逐渐繁荣的新时期。开始进入稳步发展和逐渐繁荣的新时期。机器学习（续）数据挖掘数据库机器学习数据分析技术数据管理技术美国航空航天局美国航空航天局JPL实验室的科学家在实验室的科学家在Science（2001年年9月）上撰文指出：月）上撰文指出：机器机器学习对科学研究的整个过程正起到越来越大的支持作用，学习对科学研究的整个过程正起到越来越大的支持作用，该领域在今后的若干年内将取得稳定而快速的发，该领域在今后的若干年内将取得稳定而快速的发展展生物信息学计算金融学分子生物学行星地质学工业过程控制机器人遥感信息处理信息安全机 器 学 习重要性重要性重要性：例子网络安全入侵检测：是否是入侵？是何种入侵？如何检测？历史数据：以往的正常访问模式及其表现、以往的入侵模式及其表现对当前访问模式分类这是一个典型的预测型机器学习问题常用技术：神经网络 决策树支持向量机 k近邻序列分析 聚类 重要性：例子生物信息学常用技术：神经网络 支持向量机隐马尔可夫模型k近邻 决策树序列分析 聚类 重要性（续）计算机科学在过去十年中发展极为迅速，今后会快计算机科学在过去十年中发展极为迅速，今后会快速稳定地发展、对科学做出更大贡献的领域速稳定地发展、对科学做出更大贡献的领域E.Mjolsness&D.DesCoste,Science 01人工智能中最活跃、应用潜力最明显的领域人工智能中最活跃、应用潜力最明显的领域（之一）（之一）T.G.Dietterich,AIMag 97美国、欧洲各国都投入了大量人力物力美国、欧洲各国都投入了大量人力物力大型公司如波音、微软、通用电器等都有研究课题大型公司如波音、微软、通用电器等都有研究课题已有一些研究成果进入产品已有一些研究成果进入产品A Few Quotes“A breakthrough in machine learning would be worth ten Microsofts”(Bill Gates,Chairman,Microsoft)“Machine learning is the next Internet”(Tony Tether,Director,DARPA)Machine learning is the hot new thing”(John Hennessy,President,Stanford)“Web rankings today are mostly a matter of machine learning”(Prabhakar Raghavan,Dir.Research,Yahoo)“Machine learning is going to result in a real revolution”(Greg Papadopoulos,CTO,Sun)“Machine learning is todays discontinuity”(Jerry Yang,CEO,Yahoo)So What Is Machine Learning?Automating automationGetting computers to program themselvesWriting software is the bottleneckLet the data do the work instead!Traditional Programming Machine LearningComputerDataProgramOutputComputerDataOutputProgramMagic?No,more like gardeningSeeds=AlgorithmsNutrients=DataGardener=YouPlants=ProgramsML in a NutshellTens of thousands of machine learning algorithmsHundreds new every yearEvery machine learning algorithm has three components:nRepresentationnEvaluationnOptimizationRepresentationDecision treesSets of rules/Logic programsInstancesGraphical models(Bayes/Markov nets)Neural networksSupport vector machinesEtc.EvaluationAccuracyPrecision and recallmean square error or MSE Posterior probabilityCost/UtilityEntropyEtc.OptimizationCombinatorial optimizationnE.g.:Greedy searchConvex optimizationnE.g.:Gradient descentConstrained optimizationnE.g.:Linear programmingTypes of LearningSupervised(inductive)learningUnsupervised learningSemi-supervised learningReinforcement learningMulti-instance learningData dream learning2 2 机器学习系统的基本结构机器学习系统的基本结构 SimonSimon 设计学习系统应当注意的某些设计学习系统应当注意的某些总的原则总的原则：环境向系统的学习部分提供某些信息，：环境向系统的学习部分提供某些信息，学习部分利用这些信息修改知识库，以增进系统执行部分完成任务的效能，执行学习部分利用这些信息修改知识库，以增进系统执行部分完成任务的效能，执行部分根据知识库完成任务，同时把获得的信息反馈给学习部分。在具体的应用中，部分根据知识库完成任务，同时把获得的信息反馈给学习部分。在具体的应用中，环境，知识库和执行部分决定了具体的工作内容，学习部分所需要解决的问题完环境，知识库和执行部分决定了具体的工作内容，学习部分所需要解决的问题完全由上述全由上述3 3部分确定。部分确定。环境环境环境可以是系统的工作对象，也可以包括工作环境可以是系统的工作对象，也可以包括工作对象和外界条件；对象和外界条件；例如在医疗系统中，环境就是病人当前的症状、例如在医疗系统中，环境就是病人当前的症状、检验的数据和病历；检验的数据和病历；在模式识别中，环境就是待识别的图形或景物；在模式识别中，环境就是待识别的图形或景物；在控制系统中，环境就是受控的设备或生产流在控制系统中，环境就是受控的设备或生产流程。程。就环境提供给系统的信息来说，就环境提供给系统的信息来说，信息的水平和信息的水平和质量质量对学习系统有很大影响。对学习系统有很大影响。信息的水平信息的水平是指信息的一般性程度，也就是适是指信息的一般性程度，也就是适用范围的广泛性。这里的一般性程度是相对执用范围的广泛性。这里的一般性程度是相对执行环节的要求而言。行环节的要求而言。高水平信息比较抽象，适用于更广泛的问题。高水平信息比较抽象，适用于更广泛的问题。低水平信息比较具体，只适用于个别的问题。低水平信息比较具体，只适用于个别的问题。环境提供的信息水平和执行环节所需的信息水环境提供的信息水平和执行环节所需的信息水平之间往往有差距，平之间往往有差距，学习环节的任务就是解决学习环节的任务就是解决水平差距问题水平差距问题。n如果环境提供较抽象的高水平信息，学习环节就要如果环境提供较抽象的高水平信息，学习环节就要补充遗漏的细节，以便执行环节能用于具体情况。补充遗漏的细节，以便执行环节能用于具体情况。n如果环境提供较具体的低水平信息，即在特殊情况如果环境提供较具体的低水平信息，即在特殊情况执行任务的实例，学习环境就要由此归纳出规则，执行任务的实例，学习环境就要由此归纳出规则，以便用于完成更广的任务。以便用于完成更广的任务。信息的质量信息的质量是指：正确性、适当的选择是指：正确性、适当的选择和合理的组织。和合理的组织。信息质量对学习难度有明显的影响。信息质量对学习难度有明显的影响。n例如，若施教者向系统提供准确的示教例子，例如，若施教者向系统提供准确的示教例子，而且提供例子的次序也有利于学习，则容易而且提供例子的次序也有利于学习，则容易进行归纳。若示教例子中有干扰，或示例的进行归纳。若示教例子中有干扰，或示例的次序不合理，则难以归纳。次序不合理，则难以归纳。知识库知识库知识库的形式就是知识表示的形式。知识库的形式就是知识表示的形式。常用的知识表示方法有：特征向量、谓词演算、常用的知识表示方法有：特征向量、谓词演算、产生式规则、过程、产生式规则、过程、Lisp函数、数字多项式、函数、数字多项式、语义网络和框架。语义网络和框架。选择知识表示方法要考虑下列准则；选择知识表示方法要考虑下列准则；n可表达性可表达性n推理难度推理难度n可修改性可修改性n可扩充性。可扩充性。下面以特征向量和谓词演算方法为例说明这些下面以特征向量和谓词演算方法为例说明这些准则。准则。可表达性方面可表达性方面 特征向量适于描述缺乏内特征向量适于描述缺乏内在结构的事物，它以一个固定的待征集在结构的事物，它以一个固定的待征集合来描述事物。谓词演算则适于描述结合来描述事物。谓词演算则适于描述结构化的事物。构化的事物。推理难度方面推理难度方面 一种常用的推理是比较一种常用的推理是比较两个描述是否等效。显然判定两个待征两个描述是否等效。显然判定两个待征向量等效较容易，判定两个谓词表达式向量等效较容易，判定两个谓词表达式等效的代价就较大。等效的代价就较大。可修改性方面可修改性方面 特征向量和谓词演算这特征向量和谓词演算这类显式的表示都容局修改。过程表示等类显式的表示都容局修改。过程表示等隐式的方法就难以修改。隐式的方法就难以修改。可扩允性可扩允性 是指学习系统通过增加词典条是指学习系统通过增加词典条目和表示结构来扩大表示能力以便学习目和表示结构来扩大表示能力以便学习更复杂的知识。一个例子是更复杂的知识。一个例子是AM(lenat，1983)，它可根据老概念定义新概念。它可根据老概念定义新概念。执行环节执行环节学习环节的目的就是改善执行环节的行为。执学习环节的目的就是改善执行环节的行为。执行环节的行环节的复杂性、反馈和透明度复杂性、反馈和透明度复杂性、反馈和透明度复杂性、反馈和透明度都对学习环节都对学习环节有影响。有影响。复杂的任务需要更多的知识。复杂的任务需要更多的知识。执行环节给学习环节的反馈也很重要。学习系执行环节给学习环节的反馈也很重要。学习系统都要用某种方法去评价学习环节推荐的假设。统都要用某种方法去评价学习环节推荐的假设。若执行环节有较好的透明度，学习环节就容易若执行环节有较好的透明度，学习环节就容易追踪执行环节的行为。追踪执行环节的行为。n例如在学习下棋如果执行环节把考虑过的所有走例如在学习下棋如果执行环节把考虑过的所有走法都提供给学习环节，不是仅仅提供实际采用的走法都提供给学习环节，不是仅仅提供实际采用的走法，系统就较容易分析合理的走法。法，系统就较容易分析合理的走法。影响学习系统设计的重要因素影响学习系统设计的重要因素 影响学习系统设计的影响学习系统设计的最最重要的因素重要的因素是环境向系是环境向系统提供的信息。整个过统提供的信息。整个过程要遵循程要遵循“取之精华，取之精华，弃之糟粕弃之糟粕”的原则，同的原则，同时谨记时谨记“实践是检验真实践是检验真理的唯一标准理的唯一标准”。表达能力强。表达能力强。易于推理。易于推理。容易修改知识库。容易修改知识库。知识表示易于扩展。知识表示易于扩展。1).影响学习系统设计的最重要的因素是环境向系统提供的信息。整个过程要遵循“取之精华，弃之糟粕”的原则，同时谨记“实践是检验真理的唯一标准”。(2).知识库是影响学习系统设计的第二个因素。知识的表示有多种形式，在选择表示方式时要兼顾以下4个方面：表达能力强。所选择的表示方式能很容易地表达有关的知识。易于推理。为了使学习系统的计算代价比较低，希望知识表示方式能使推理较为容易。容易修改知识库。学习系统的本质要求它不断地修改自己的知识库，当推广得出一般执行规则后，要加到知识库中。知识表示易于扩展。学习系统不能在全然没有任何知识的情况下凭空获取知识，每一个学习系统都要求具有某些知识理解环境提供的信息，分析比较，做出假设，检验并修改这些假设。因此，更确切地说，学习系统是对现有知识的扩展和改进。3 机器学习的分类机器学习的分类 对机器学习的分类可以由下列几方面进对机器学习的分类可以由下列几方面进行：行：学习策赂、知识表示和应用领域学习策赂、知识表示和应用领域。学习策略学习策略是学习中使用的推理方法。下是学习中使用的推理方法。下面将按学习策略分类，以便系统介绍不面将按学习策略分类，以便系统介绍不同的方法。同的方法。机器学习主要策略机械学习机械学习 （记忆学习）（记忆学习）传授学习传授学习演绎学习演绎学习归纳学习归纳学习类比学习类比学习3.1 3.1 机械学习机械学习 最基本的机器学最基本的机器学习 婴儿的学习方式婴儿的学习方式 VS VS 成人的思维方式成人的思维方式记忆记忆 机械学习是最简单的机器学习方法。机械学习是最简单的机器学习方法。机械学习就是记忆机械学习就是记忆机械学习就是记忆机械学习就是记忆，即把新的知识存储起来，供需要时检索调用，而即把新的知识存储起来，供需要时检索调用，而不需要计不需要计不需要计不需要计算和推理算和推理算和推理算和推理。机械学习又是最基本的学习过程。任何学习系。机械学习又是最基本的学习过程。任何学习系统都必须记住它们获取的知识。在机械学习系统中，知识统都必须记住它们获取的知识。在机械学习系统中，知识的获取是以较为稳定和直接的方式进行的，不需要系统进的获取是以较为稳定和直接的方式进行的，不需要系统进行过多的加工。行过多的加工。计算和推理计算和推理数据化简级别图数据化简级别图 在机械学习中我们只记忆计算的输入输在机械学习中我们只记忆计算的输入输出，忽略了计算过程，这样就把计算问出，忽略了计算过程，这样就把计算问题化简成题化简成存取问题存取问题 数据化数据化简 Lenat,Hayes Roth，和，和Klahr等人于等人于1979年关于机械学习提出一种有趣的观年关于机械学习提出一种有趣的观点。他们指出，可以把机械学习看成是点。他们指出，可以把机械学习看成是数据化简数据化简分级中的第一级。分级中的第一级。数据化简与计算机语言编译类似；其目的是把数据化简与计算机语言编译类似；其目的是把原始信息变成可执行的信息。原始信息变成可执行的信息。主要问题主要问题对于机械学习，需要注意对于机械学习，需要注意3 3个重要的问题：个重要的问题：存储存储存储存储组织，稳定性和存储与计算之间的权衡。组织，稳定性和存储与计算之间的权衡。组织，稳定性和存储与计算之间的权衡。组织，稳定性和存储与计算之间的权衡。（1 1）存储组织信息：采用适当的存储方式，使）存储组织信息：采用适当的存储方式，使检索速度尽可能地快，是机械学习中的重要问题。检索速度尽可能地快，是机械学习中的重要问题。（2 2）环境的稳定性与存储信息的适用性问题：）环境的稳定性与存储信息的适用性问题：机械学习系统必须保证所保存的信息适应于外界环机械学习系统必须保证所保存的信息适应于外界环境变化的需要，这也就是所谓的信息适用性问题。境变化的需要，这也就是所谓的信息适用性问题。（3 3）存储与计算之间的权衡：对于机械学习来）存储与计算之间的权衡：对于机械学习来说很重要的一点是它不能降低系统的效率。说很重要的一点是它不能降低系统的效率。3.2 3.2 传授学习传授学习 (指点学习指点学习)l在传授学习中，学习环节进行的变换只是对施教者提供在传授学习中，学习环节进行的变换只是对施教者提供的信息进行选择和改造，这主要是在语法层的变换。这时的信息进行选择和改造，这主要是在语法层的变换。这时环境提供的信息过于抽象，它的水平高于执行环节所用信环境提供的信息过于抽象，它的水平高于执行环节所用信息的水平。息的水平。l学习环节把较高水平的知识变换为较低水平的知识。这学习环节把较高水平的知识变换为较低水平的知识。这种变换称为种变换称为实用化实用化。l实用化主要有下列步骤：由传授的信息推出结论，作出实用化主要有下列步骤：由传授的信息推出结论，作出假设以补充一些细节和确定何时需要进一步传授。假设以补充一些细节和确定何时需要进一步传授。l实用化过程类似于编译系统把高级语言程序变换成机器实用化过程类似于编译系统把高级语言程序变换成机器码程序。码程序。l第一个例子是第一个例子是McCarthy(1958)的系统。的系统。3.3 3.3 演绎学习演绎学习在演绎学习中，学习系统由给定的知识在演绎学习中，学习系统由给定的知识进行演绎的保真推理，并存储有用的结进行演绎的保真推理，并存储有用的结论。这种策略近几年才作为一种独立的论。这种策略近几年才作为一种独立的学习策赂。学习策赂。(Michalaki，1983)演绎学演绎学习包括知识改造、知识编译、产生宏操习包括知识改造、知识编译、产生宏操作、保持等价的操作和其它保真变换。作、保持等价的操作和其它保真变换。3.4 3.4 归纳学习归纳学习 归纳学习系统模型归纳学习系统模型 规划过程通过对实例空间的搜索完成实例选择，并将这些选中的活跃实例提交解释过程。解释过程对实例加以适当转换，把活跃实例变换为规则空间中的特定概念，以引导规则空间的搜索。归纳学习的定义归纳学习的定义（1 1）归纳（）归纳（inductioninduction）是人类拓展认识能是人类拓展认识能力的重要方法，是一种力的重要方法，是一种从个别到一般从个别到一般从个别到一般从个别到一般的，从的，从部分部分部分部分到整体到整体到整体到整体的推理行为。的推理行为。（2 2）归纳推理是应用归纳方法，从足够多的）归纳推理是应用归纳方法，从足够多的具体事例中归纳出一般性知识，提取事物的一般具体事例中归纳出一般性知识，提取事物的一般规律；它是一种从个别到一般的推理。规律；它是一种从个别到一般的推理。（3 3）归纳学习（）归纳学习（induction learninginduction learning）是应是应用归纳推理进行学习的一种方法。用归纳推理进行学习的一种方法。根据归纳学习有无教师指导，可把它分为根据归纳学习有无教师指导，可把它分为示示(实实)例学习例学习和和观察发现学习观察发现学习。前者属于有师学习，后。前者属于有师学习，后者属于无师学习。者属于无师学习。示例学习示例学习示例学习（示例学习（learning from exampleslearning from examples）又称为又称为实例学习，它是通过环境中若干与某概念有关的例实例学习，它是通过环境中若干与某概念有关的例子，经归纳得出一般性概念的一种学习方法。子，经归纳得出一般性概念的一种学习方法。在这种学习方法中，外部环境提供的是一组例在这种学习方法中，外部环境提供的是一组例子（正例和反例），子（正例和反例），示例学习就是要从这些特殊知识中归纳出适用示例学习就是要从这些特殊知识中归纳出适用于更大范围的一般性知识，以覆盖所有的正例并排于更大范围的一般性知识，以覆盖所有的正例并排除所有反例。除所有反例。观察发现学习观察发现学习观察发现学习又称为描述性概括，其目标是确观察发现学习又称为描述性概括，其目标是确定一个定律或理论的一般性描述，刻画观察集，指定一个定律或理论的一般性描述，刻画观察集，指定某类对象的性质。定某类对象的性质。观察发现学习可分为观察学习与机器发现两种。观察发现学习可分为观察学习与机器发现两种。前者用于对事例进行聚类，形成概念描述；前者用于对事例进行聚类，形成概念描述；后者用于发现规律，产生定律或规则。后者用于发现规律，产生定律或规则。3.5 3.5 类比学习类比学习 类比学习是演绎学习与归纳学习的组合。它匹配不类比学习是演绎学习与归纳学习的组合。它匹配不同论域的描述，确定公共的子结构。以此作为类比同论域的描述，确定公共的子结构。以此作为类比映射的基础。映射的基础。寻找公共子结构是归纳推理寻找公共子结构是归纳推理，而，而实现实现类比映射是演绎推理类比映射是演绎推理。由提醒学习可以看作一种类。由提醒学习可以看作一种类比学习比学习(SchankSchank，1982)1982)。类比推理是由新情况与已知情况在某些方面的相似类比推理是由新情况与已知情况在某些方面的相似来推出它们在其它相关方面的相似。显然，类比推来推出它们在其它相关方面的相似。显然，类比推理是在两个相似域之间进行的：类比推理的目的是理是在两个相似域之间进行的：类比推理的目的是从源域中选出与当前问题最近似的问题及其求解方从源域中选出与当前问题最近似的问题及其求解方法以求解决当前的问题，或者建立起目标域中已有法以求解决当前的问题，或者建立起目标域中已有命题间的联系，形成新知识。命题间的联系，形成新知识。推理过程如下推理过程如下(1)(1)回忆与联想回忆与联想遇到新情况或新问题时，首先通过回忆与联想在遇到新情况或新问题时，首先通过回忆与联想在S S中找出与当前情况中找出与当前情况相似的情况，这些情况是过去已经处理过的，有现成的解决方法及相关的相似的情况，这些情况是过去已经处理过的，有现成的解决方法及相关的知识。知识。(2)(2)选择选择从找出的相似情况中选出与当前情况最相似的情况及其有关知识。从找出的相似情况中选出与当前情况最相似的情况及其有关知识。(3)(3)建立对应映射建立对应映射在在S S与与T T的相似情况之间建立相似元素的对应关系，并建立起相应的映的相似情况之间建立相似元素的对应关系，并建立起相应的映射。射。(4)(4)转换转换在上一步建立的映射下，把在上一步建立的映射下，把S S中的有关知识引到中的有关知识引到T T中来，从而建立起求中来，从而建立起求解当前问题的方法或者学习到关于解当前问题的方法或者学习到关于T T的新知识。的新知识。当前研究的焦点是当前研究的焦点是归纳归纳和类比学和类比学习。习。如如果果我我们们想想做做出出重重要要的的贡贡献献，首首先先需需要要把把握握住住该该领域发展的脉搏领域发展的脉搏机器学习现在似乎已经发展到一个新阶段机器学习现在似乎已经发展到一个新阶段机机器器学学习习起起源源于于人人工工智智能能对对人人类类学学习习能能力力的的追追求求，上上一一阶阶段段的的研研究究几几乎乎完完全全局局限限在在人工智能这一领域中人工智能这一领域中（学习本身是目的）（学习本身是目的）而而现现在在，机机器器学学习习已已经经开开始始进进入入了了计计算算机机科科学学的的不不同同领领域域，甚甚至至其其他他学学科科，成成为为一一种支持技术、服务技术种支持技术、服务技术（学习本身是手段）（学习本身是手段）机器学习角色的转变机器学习角色的转变机器学习角色的转变（续）现现阶阶段段对对机机器器学学习习的的研研究究可可能能不不应应再再过过多多地地强调模拟人的学习能力强调模拟人的学习能力可可能能应应该该把把机机器器学学习习真真正正当当成成一一种种支支持持技技术术（手手段段而而非非目目的的），考考虑虑不不同同领领域域甚甚至至不不同同学学科科对对机机器器学学习习的的需需求求，找找出出其其中中具具有有共共性的、必须解决的问题性的、必须解决的问题，并进而着手研究，并进而着手研究 我我们们暂暂且且把把这这种种视视角角下下的的机机器器学学习习称称为为：“普适机器学习普适机器学习”（Pervasive ML）挑战问题(1)：泛化能力共性问题：共性问题：几乎所有的领域，都希望越准越好几乎所有的领域，都希望越准越好提高泛化能力是永远的追求提高泛化能力是永远的追求目前泛化能力最强的技术：目前泛化能力最强的技术：支持向量机（支持向量机（SVM）产生途径：理论产生途径：理论-实践实践集成学习（集成学习（ensemble learning）产生途径：实践产生途径：实践-理论理论挑战问题挑战问题挑战问题(1)：泛化能力（续）第一个挑战问题：第一个挑战问题：今后今后10年年能否更能否更“准准”？如果能，会从哪儿来？如果能，会从哪儿来？挑战问题(2)：速度共性问题：共性问题：几乎所有的领域，都希望越快越好几乎所有的领域，都希望越快越好加快速度也是永远的追求加快速度也是永远的追求“训练速度训练速度”vs.“测试速度测试速度”训练速度快的往往测试速度慢：训练速度快的往往测试速度慢：k近邻近邻 测试速度快的往往训练速度慢：神经网络测试速度快的往往训练速度慢：神经网络挑战问题(2)：速度（续）第二个挑战问题：第二个挑战问题：今后今后10年年能否更能否更“快快”？能能做做到到“训训练练快快”、“测测试试也也快快”吗吗？如果能，如何做？如果能，如何做？挑战问题(3)：可理解性共性问题：共性问题：绝大多数领域都希望有绝大多数领域都希望有“可理解性可理解性”例子：医疗诊断例子：医疗诊断 地震预测地震预测目前强大的技术几乎都是（或基本上是）目前强大的技术几乎都是（或基本上是）“黑盒子黑盒子”神经网络、支持向量机、集成学习神经网络、支持向量机、集成学习“黑盒子黑盒子”能满足需要吗？能满足需要吗？挑战问题(3)：可理解性（续）第三个挑战问题：第三个挑战问题：今后今后10年年能否产生能否产生“白盒子白盒子”？是和是和“黑盒子黑盒子”完全不同的东西，完全不同的东西，还是从还是从“黑盒子黑盒子”变出来？变出来？挑战问题(4)：数据利用能力传统的机器学习技术传统的机器学习技术 对有标记数据进行学习对有标记数据进行学习“标记标记”事件所对应的结果事件所对应的结果共性问题：共性问题：随着数据收集能力飞速提高、随着数据收集能力飞速提高、Internet的出现，在大多数领域中都的出现，在大多数领域中都可以很容易地获得大量未标记数据可以很容易地获得大量未标记数据 例子：医学图象分析例子：医学图象分析 垃圾邮件过滤垃圾邮件过滤没有标记的数据是没用的吗？没有标记的数据是没用的吗？挑战问题(4)：数据利用能力（续）共性问题：共性问题：在绝大多数领域中都会遇到在绝大多数领域中都会遇到“坏坏”数据，数据，有时甚至只有有时甚至只有“坏坏”数据数据 例子：海军舰队例子：海军舰队 Web“坏坏”数据数据 大量噪音、属性缺失、不一致、大量噪音、属性缺失、不一致、传统的传统的“坏坏”数据处理方式数据处理方式 “扔掉扔掉”“坏坏”数据一点用也没有吗？数据一点用也没有吗？第四个挑战问题：第四个挑战问题：今后今后10年年能否能否“数据通吃数据通吃”？如何如何“吃吃”？挑战问题(4)：数据利用能力（续）挑战问题(5)：代价敏感目前的机器学习技术目前的机器学习技术 降低错误率降低错误率“错误错误”是没有区别的吗？是没有区别的吗？把把“好好”当成当成“坏坏”把把“坏坏”当成当成“好好”共性问题：共性问题：大多数领域中的错误代价都不一样大多数领域中的错误代价都不一样 例子：入侵检测例子：入侵检测 癌症诊断癌症诊断一样吗？第五个挑战问题：第五个挑战问题：今后今后10年年能否能否“趋利避害趋利避害”？在达到较低的总错误率的基础上，在达到较低的总错误率的基础上，如何如何“趋趋”、如何、如何“避避”？挑战问题(5)：代价敏感（续）挑战问题：More 在在任任何何一一个个挑挑战战问问题题上上取取得得突突破破性性进进展展，都都可可能能成成为为对机器学习的重要贡献对机器学习的重要贡献 谢谢！谢谢！