机器学习及其挑战课件

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,机器学习及其挑战,周志华,http:/ 年 12 月 27 日,机器学习及其挑战周志华2003 年 12 月 27 日,1,机器学习及其重要性,机器学习角色的转变,五个挑战问题,汇报内容,机器学习及其重要性汇报内容,2,机器学习,经典定义：利用经验改善系统自身的性能,T.Mitchell,Book,97,随着该领域的发展，主要做,智能数据分析,典型任务：预测,例如：天气预报,机器学习经典定义：利用经验改善系统自身的性能,3,机器学习,（续）,数据挖掘,数据库,机器学习,数据分析技术,数据管理技术,机器学习（续）数据挖掘数据库机器学习数据分析技术数据管理技术,4,美国航空航天局JPL实验室的科学家在Science（2001年9月）上撰文指出：,机器学习对科学研究的整个过程正起到越来越大的支持作用，该领域在今后的若干年内将取得稳定而快速的发展,重要性,生物,信息学,计算,金融学,分子,生物学,行星,地质学,工业过程控制,机器人,遥感信,息处理,信息安全,机 器 学 习,美国航空航天局JPL实验室的科学家在Science（20,5,重要性,：例子网络安全,入侵检测：,是否是入侵？是何种入侵？,如何检测？,历史数据：,以往的正常访问模式及其表现、以往的入侵模式及其表现,对当前访问模式分类,这是一个典型的预测型机器学习问题,常用技术：,神经网络 决策树,支持向量机 k,近邻,序列分析 聚类,重要性：例子网络安全入侵检测：如何检测？这是一个典型的预测,6,重要性,：例子生物信息学,常用技术：,神经网络 支持向量机,隐马尔可夫模型,k,近邻 决策树,序列分析 聚类,重要性：例子生物信息学常用技术：,7,重要性,（续）,计算机科学在过去十年中发展极为迅速，今后会快速稳定地发展、对科学做出更大贡献的领域,E.Mjolsness&D.DesCoste,Science,01,人工智能中最活跃、应用潜力最明显的领域,（之一）,T.G.Dietterich,AIMag,97,美国、欧洲各国都投入了大量人力物力,大型公司如波音、微软、通用电器等都有研究课题,已有一些研究成果进入产品,重要性（续）计算机科学在过去十年中发展极为迅速，今后会快速稳,8,机器学习角色的转变,如果我们想做出重要的贡献，首先需要把握住该领域发展的脉搏,机器学习现在似乎已经发展到一个新阶段,机器学习起源于人工智能对人类学习能力的追求，上一阶段的研究几乎完全局限在人工智能这一领域中,（学习本身是目的）,而现在，机器学习已经开始进入了计算机科学的不同领域，甚至其他学科，成为一种支持技术、服务技术,（学习本身是手段）,机器学习角色的转变如果我们想做出重要的贡献，首先需要把握住该,9,机器学习角色的转变,（续）,现阶段对机器学习的研究可能不应再过多地强调模拟人的学习能力,可能应该把机器学习真正当成一种支持技术,（手段而非目的）,，,考虑不同领域甚至不同学科对机器学习的需求，找出其中具有共性的、必须解决的问题,，并进而着手研究,我们暂且把这种视角下的机器学习称为：“普适机器学习”（Pervasive ML）,机器学习角色的转变（续）现阶段对机器学习的研究可能不应再过多,10,挑战问题(1),：泛化能力,共性问题：,几乎所有的领域，都希望越准越好,提高泛化能力是永远的追求,目前泛化能力最强的技术：,支持向量机（SVM）,产生途径：理论-实践,集成学习（ensemble learning）,产生途径：实践-理论,挑战问题(1)：泛化能力共性问题：,11,挑战问题(1),：泛化能力（续）,第一个挑战问题：,今后10年,能否更“准”？,如果能，会从哪儿来？,挑战问题(1)：泛化能力（续）第一个挑战问题：,12,挑战问题(2),：速度,共性问题：,几乎所有的领域，都希望越快越好,加快速度也是永远的追求,“训练速度”vs.,“,测试速度,训练速度快的往往测试速度慢：k近邻,测试速度快的往往训练速度慢：神经网络,挑战问题(2)：速度共性问题：,13,挑战问题(2),：速度（续）,第二个挑战问题：,今后10年,能否更“快”？,能做到“训练快”、“测试也快”吗？如果能，如何做？,挑战问题(2)：速度（续）第二个挑战问题：,14,挑战问题(3),：可理解性,共性问题：,绝大多数领域都希望有“可理解性”,例子：医疗诊断,地震预测,目前强大的技术几乎都是（或基本上是）“黑盒子”,神经网络、支持向量机、集成学习,“黑盒子”能满足需要吗？,挑战问题(3)：可理解性共性问题：,15,挑战问题(3),：可理解性（续）,第三个挑战问题：,今后10年,能否产生“白盒子”？,是和“黑盒子”完全不同的东西，,还是从“黑盒子”变出来？,挑战问题(3)：可理解性（续）第三个挑战问题：,16,挑战问题(4),：数据利用能力,传统的机器学习技术 对有标记数据进行学习,“标记”事件所对应的结果,共性问题：,随着数据收集能力飞速提高、Internet,的出现，在大多数领域中都可以很容易地获得大量未标记数据,例子：医学图象分析,垃圾邮件过滤,没有标记的数据是没用的吗？,挑战问题(4)：数据利用能力传统的机器学习技术 对有标,17,挑战问题(4),：数据利用能力（续）,共性问题：,在绝大多数领域中都会遇到“坏”数据，有时甚至只有“坏”数据,例子：海军舰队,Web,“,坏”数据 大量噪音、属性缺失、不一致、,传统的“坏”数据处理方式 “扔掉”,“坏”数据一点用也没有吗？,挑战问题(4)：数据利用能力（续）共性问题：,18,第四个挑战问题：,今后10年,能否“数据通吃”？,如何“吃”？,挑战问题(4),：数据利用能力（续）,第四个挑战问题：挑战问题(4)：数据利用能力（续）,19,挑战问题(5),：代价敏感,目前的机器学习技术 降低错误率,“错误”是没有区别的吗？,把“好”当成“坏”,把“坏”当成“好”,共性问题：,大多数领域中的错误代价都不一样,例子：入侵检测,癌症诊断,一样吗？,挑战问题(5)：代价敏感目前的机器学习技术 降低错误率,20,第五个挑战问题：,今后10年,能否“趋利避害”？,在达到较低的总错误率的基础上，,如何“趋”、如何“避”？,挑战问题(5),：代价敏感（续）,第五个挑战问题：挑战问题(5)：代价敏感（续）,21,挑战问题,：,More,在任何一个挑战问题上取得突破性进展，都可能成为对机器学习的重要贡献,挑战问题：More 在任何一个挑战问题上取得突破性,22,谢谢！,恭请各位专家 批评指正！,谢谢！恭请各位专家 批评指正！,23,