机器学习经典算法课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,经典算法,机器学习十大经典算法,C4.5,2.分类与回归树,3.朴素贝叶斯,4.支持向量机(SVM,5.K近邻(KNN),6.Adaboost,7.K均值(K-means),8.最大期望(EM),9.Apriori算法,10.Pagerank,机器学习方法的分类,基于学习方式的分类,(1)有监督学习:输入数据中有导师信号,以概率函数、代,数函数或人工神经网络为基函数模型,采用迭代计算方法,学习结果为函数。,(2)无监督学习:输入数据中无导师信号,采用聚类方法,学习结果为类别。典型的无导师学习有发现学习、聚类,竞争学习等。,(3)强化学习(增强学习):以环境反馈(奖/惩信号)作,为输入,以统计和动态规划技术为指导的一种学习方法。,有监督学习(用于分类),标定的训练数据,训练过程:根据目标输出与实际输出的误差信号来调节参,典型方法,全局:BN,NN.SVM,Decision Tree,局部:KNN、CBR(Case-base reasoning),Object Feature Representation,X2,(area,S(x),s(x)0 Class B,s()=0,Obiects,无监督学习(用于聚类),不存在标定的训练数据,学习机根据外部数据的统计规律(e.g.Cohension&,divergence)来调节系统参数,以使输出能反映数据的某,种特性。,典型方法,K-means、SOM,示例:聚类,半监督学习,结合(少量的)标定训练数据和(大量的)未标定,数据来进行学习,典型方法,Co-training、EM、Latent variables,C4.5,C45由 J.Ross Quinlan在|D3的基础上提出的,ID3算法用来构造决策树。决策树是一种类似流程,图的树结构,其中每个内部节点(非树叶节点)表,示在一个属性上的测试,每个分枝代表一个测试输,出,而每个树叶节点存放一个类标号。一旦建立好,了决策树,对于一个未给定类标号的元组,跟踪,条有根节点到叶节点的路径,该叶节点就存放着该,元组的预测。,决策树的优势在于不需要任何领域知识或参数,设置,产生的分类规则易于理解,准确率较高。适,合于探测性的知识发现。,缺点是:在构造树的过程中,需要对数据集进,行多次的顺序扫描和排序,因而导致算法的低效,增益比率度量是用增益度量Gain(S,A)和分裂信息度,量Sp|Information(S,A)来共同定义的,设代表训练数据集,由s个样本组成。是S的某个属,性,有m个不同的取值,根据这些取值可以把S划分为,m个子集,S表示第个子集(-1,2,m),S2|表,示子集S,中的样本数量。,GainRatio(S,4),Gain(s,4),Splitlnformatiors,1),其中,分裂信息度量被定义为分裂信息用来衡里属性分裂数据的广度和均匀),SplitlinformationS.A)=-sISi1og,Sa,数据集如图1所示,它表示的是天气情况与去不去打高尔夫球之间的关系,Day Outlook Temperature Humidity Windy Play Golf?,Sun,Overcast,508%8m6,TrueNo,False Yes,Outlook,7 Overcast,luNny,2万万,FalseYe,Overcast,True Yes,12 Overcast 72,Windy,13 Overcast81,FalseLy,14 Rainy,71,TrueNo,False,Yes,Y,图2在藏据集上通过C45生成的军稠,、分类和回归树(Classification and,R,egression rees,CART,可简写为C&RT),CART算法中的每一次分裂把数据分为两个子集,每,个子集中的样本比被划分之前具有更好的一致性,它是一个递归的过程,也就是说,这些子集还会被,继续划分,这个过程不断重复,直到满足终止准则,然后通过修剪和评估,得到一棵最优的决策树。,