《机器学习》课程教学大纲

机器学习 课程教学大纲课程中文名称：机器学习课程英文名称：Machine Learning适用专业：计算机应用技术，管理科学与工程总学时： 36（讲课：28 ，实验： 8）学分： 2大纲撰写人：大纲审核人：编写日期：一、 课程性质及教学目的：本课程是面向计算机与信息工程学院研究生开设的专业基础课。其教学重点是使学生掌握常见机器学习算法，包括算法的主要思想和基本步骤，并通过编程练习和典型应用实例加深了解；同时对机器学习的一般理论，如假设空间、采样理论、计算学习理论，以及无监督学习和强化学习有所了解。二、对选课学生的要求：要求选课学生事先受过基本编程训练，熟悉C/C+ 或 Matlab 编程语言，具有多元微积分、高等代数和概率统计方面基本知识。三、课程教学内容和要求 （ 200 字左右的概述， 然后给出各 “章”“节” 目录及内容简介）1. 决策论与信息论基础：a) 损失函数、错分率的最小化、期望损失的最小化等b) 相对熵、互信息2. 概率分布：a) 高斯分布、混合高斯分布、 Dirichlet 分布、 beta 分布等b) 指数分布族：最大似然估计、充分统计量、共轭先验、无信息先验等c) 非参数方法：核密度估计、近邻法3. 回归的线性模型：a) 线性基函数模型b) 贝叶斯线性回归c) 贝叶斯模型比较4. 分类的线性模型：a)判别函数：二分类和多分类的Fisher 线性判别b) 概率生成模型：连续输入、离散特征5. 核方法：a) 对偶表示b) 构造核函数c) 径向基函数网络： Nadaraya-Watson 模型d)高斯过程：高斯过程模型用于回归和分类、Laplace 逼近、与神经网络的联系6. 支持向量机：a) 最大边缘分类器：历史回顾b) 用于多分类和回归的支持向量机：几何背景、各种变种c) 统计学习理论简介： Vapnik 等人的工作7. 图模型：a) 贝叶斯网络b) Markov 随机场：条件独立、因子分解c) 图模型中的推断8. 混合模型和期望最大化（ Expectation Maximization ， EM）算法（ 3 学时）：a)高斯混合模型的参数估计：最大似然估计、EM 算法b) EM 一般算法及其应用：贝叶斯线性回归9.隐 Markov 模型和条件随机场模型（3 学时）：a) 隐 Markov 模型：向前 -向后算法、 Viterbi 算法、 Baum-Welch 算法等b) 条件随机场及其应用四、 课程教学环节的学时安排和基本要求1. 决策论与信息论基础（ 2 学时）：了解并掌握统计决策理论和信息论的基础知识。2. 概率分布（ 3 学时）：熟悉常见的分布，熟练掌握最大似然估计方法，学会利用无信息先验和共轭先验简化计算，了解一些常用的非参数方法。3.回归的线性模型（3 学时）：掌握线性回归的一般方法，学会使用R 中有关回归的程序包，并能将之用于解决实际问题。4. 分类的线性模型（ 3 学时）：对分类问题有一个全面的了解，掌握一些常用的分类方法。5. 核方法（ 3 学时）：了解核方法的最新进展，熟练掌握核函数参数估计的常用方法。6.支持向量机 （ 4 学时）：掌握支持向量机的基本原理，面对各自研究领域中的具体问题学会使用支持向量机，粗略了解统计学习理论。7. 图模型（ 4 学时）：从建模到算法实现。8. 混合模型和期望最大化（ Expectation Maximization ， EM ）算法（ 3 学时）：掌握 EM 算法的基本理论，学会使用 EM 算法。9. 隐 Markov 模型和条件随机场模型（ 3 学时）：掌握隐 Markov 模型的几个经典算法，学会利用隐 Markov 模型和条件随机场模型解决具体问题，如自然语言处理中的词性标注等。五、教材及参考文献：1. Bishop, C. M. (2006) Pattern Recognition and Machine Learning, Spring Science + Business Media, LLC2. Mitchell, T. M. (1997) Machine Learning, The McGraw-Hill Companies, Inc.六、必要的说明