糙快猛机器学习入门

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2016/7/8,#,糙快猛机器学习入门,（一）,刘佳倩,Bonism5604atgmaildotcom,学习材料,Stanford,公开课程之,Machine Learning,清华大学精品课程之机器学习，,2011,秋,CMU-Tom Mitchell,之,机器学习,Machine Learning,Scribe Note,From THU,目录,引言,一般到特殊序,决策树学习,人工神经网络,评估假设,贝,叶,斯法则,计算学习理论,人工神经网络,ANN,简介,简单情形,感知器,Delta,法则,复杂情形,多层网络,反向传播,Artificial,Neural,Networks,人工神经网络,ANN,简介,简单情形,感知器,Delta,法则,复杂情形,多层网络,反向传播,ANN,简介,学习动机：,仿生,实际应用：,自动驾驶系统,神经网络表示：“单元”,输出单元,直接影响最终输出,隐藏单元,间接地影响输出,输入,经过抽象的数据,适用问题,“属性,-,值”,输入可抽象为向量，输出任意实数,包含错误训练数据,容错性,快速求目标函数,实际应用中，反应快,可抽象,可容错,出解快,ANN,简介,简单情形,感知器,Delta,法则,复杂情形,多层网络,反向传播,ANN,简介,简单情形,感知器,Delta,法则,复杂情形,多层网络,反向传播,感知器,输入：向量,X,计算：向量,W,输出：一个值,y,感知器,训练法则：,输入数据,学习速率,实际意义？,表征范围,数据线性可分,数据线性不可分时，收敛不能,不容错！,ANN,简介,简单情形,感知器,Delta,法则,复杂情形,多层网络,反向传播,Delta,法则,对线性不可分数据，可求出最佳近似,利用梯度下降来搜索最佳拟合,Delta,法则,一些定义,输出,训练误差（,D,是训练集合）,可以有其他方式的定义！,沿曲面,误差下降最快,的方向逼近最优解,梯度方向,训练法则,回顾误差函数,迭代,梯度函数,改进：增量算法,每次迭代遍历所有数据,根据单个数据修改权值,少一个,ANN,简介,简单情形,感知器,Delta,法则,复杂情形,多层网络,反向传播,ANN,简介,简单情形,感知器,Delta,法则,复杂情形,多层网络,反向传播,多层网络,适用问题：高度非线性决策,多层网络,网络结构,隐藏单元,输出单元,对单元的一些定义,单元：输出是输入的非线性函数,&,可微函数,Sigmoid,单元（,logistic,函数）,=,较好分类,&,可求梯度,ANN,简介,简单情形,感知器,Delta,法则,复杂情形,多层网络,反向传播,反向传播算法,定义误差函数：,E(W)=(1/2),d D,k output,(t,kd,-o,kd,),2,计算梯度（偏导）：,输出单元,隐藏单元,训练过程,迭代更新权值,改进,增加冲量项：,作用：,防止陷入局部最优,平坦局域上增加步长，加速收敛,附加页面,梯度下降算法,的推导过程：,反向传播算法梯度推导,反向传播算法梯度推导,反向传播应用：人脸朝向识别,