第五讲 从感知器算法到机器学习

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第五讲：从感知器算法到机器学习,5.1,人工神经元的构造依据,5.2 M-P,模型,5.3,构造人工神经网络的基本要素,5.4,感知器算法原理,5.5,感知器分类的示例,5.6,局限性和功能的扩展,5.7,机器学习的一般原理和方法,5.8,可以涉猎的参考书,5.1,人工神经元的构造依据,两态工作,:,兴奋,-,抑制,阈值作用,:,超过阈值才兴奋,多输入,/,单输出,:,获得其他神经元的众多输入,由轴突输出。,空间,/,时间叠加：,激励,/,响应关系的互动作用与交互叠加。,可塑性连接：,突触部分的连接强度可以调节。,5.2 M-P,模型,1943,年，,McCulloch,和,Pitts,提出了一种神经元模型：,其中输入向量为：,权值向量为：,神经元的输入,/,输出关系为：,5.3,构造人工神经网络的基本要素,（,1,）神经元的激励函数（输入,/,输出特性）,（,2,）网络的拓扑结构,（,3,）确定权值的方法,学习算法,5.4,感知器算法原理,（,1,）历史背景,1958,年, Frank Rosenblatt,提出了感知机,(,Perceptron,),。,史称第一个机器学习模型。标志着对学习过程进行数学,研究的开端。,（,2,）单个神经元的的感知机,利用,McCulloch,和,Pitts,神经元模型，选激励函数为：,令 则,（,3,）感知器学习算法（ 学习规则）,Step 1,，随机初始化权值和域值,Step 2,，在样本集合 或 中任选一个类属已知的样本 作为感知器的输入，计算其实际输出,Step 3,，对,Step 2,中所得输出结果进行甄别检验，若分类正确，则不需要进行权值调整，若分类出错，则按,Step 4,中的算式进行权值调整。（可见，感知过程是一个有错必改的过程。）,Step 4,，设,n,0,为当前迭代次数，则权值调整算式为,其中 为类属标志的期望输出， 为学习率。,Step 5,，,重新从已知类属的样本集合 或 中选取,另一样本进行学习，即重复,Step 2,至,Step,5,，直到对于,所有,i=1,，,2,，,(n+1),恒有,则学习过程结束，权值调整完毕,。,5.5,感知器分类的示例,练习题,设有,4,个训练样本分属两个不同的类别,:,试用感知器算法求出其分类判决函数,.,5.6,局限性和功能的扩展,感知器学习算法的局限性,只能胜任线性分类,不具备直接的非线性分类功能。,进一步的功能扩展,1,）加入隐层；,2,）寻求新的更有效的学习算法。,5.7,机器学习的一般原理和方法,（,1,）,机器学习的原理图,（,2,）关键性问题,1,）学习的策略和算法；,2,）样本数据的完备性；,3,）先验知识的利用。,完。,5.8,可以涉猎的参考书,1Tom M. Mitchell,机器学习，,(,曾华军,张银奎译,),机械工业出版社，,2003,年,2 Tom M. Mitchell, Machine Learning,，,McGraw-Hill International Editions,，,China Machine Press,，,2003,3,王珏,周志华,周傲英，,机器学习及其应用,，,清华大学出版社，,2006,年,