基于Choquet模糊积分的多分类器系统多样性研究ppt课件

*,*,基于,Choquet,模糊积分的多分类器系统多样性研究,报告人：张国防,2024/11/14,1,基于Choquet模糊积分的多分类器系统多样性研究报告人：,主要内容,基于模糊积分多样性的定义,泛化误差不等式,模糊测度的多样性训练算法,学习 模糊测度的非线性规划模型,数据实验结果,进一步的工作,参考文献,2024/11/14,2,主要内容基于模糊积分多样性的定义2023/10/62,对某输入模式 有如下输出：,BACK,Decision profile(DP(),Classifiers,Class label,Fuzzy measure,Fusion output for each class,True function for each class,多分类器系统(,MCS),的输出,2024/11/14,3,对某输入模式 有如下输出：BACKDecision pro,基于模糊积分的多样性定义,假定整个训练集合含有从概率分布为 的数据集合中随即抽取的 个样例。,对于单个输入模式，基于,Choquet,模糊积分的多样性定义：,其中：,对于整个训练集合,，,基于,Choquet,模糊积分的多样性定义：,BACK,2024/11/14,4,基于模糊积分的多样性定义 假定整个训练集合含有从,泛化误差不等式,整个讨论中，假定学习任务是学习,M,个函数:,对于单个输入模式，泛化误差不等式：,对于单个输入模式，泛化误差不等式：,BACK,2024/11/14,5,泛化误差不等式 整个讨论中，假定学习任务是学,模糊测度多样性训练算法,该训练算法考虑了分类器的训练误差和多样性两个参数,如果两个参数之一的提高导致另一个参数的极度下降，那么我们就不对密度做任何调整。,规定一个阈值为可接受的下降程度，这样密度的调整条件的判断如下：,如果两个参数之一的提高程度小于阈值，那么另一个参数的可接受最大下降程度等于前一个参数的提高程度。,如果两个参数之一的提高程度大于阈值，那么另一个参数的可接受最大下降程度等于规定的阈值。,BACK,2024/11/14,6,模糊测度多样性训练算法该训练算法考虑了分类器的训练误差和多样,Step1:,初始化各类密度值；,Step2:,对样例集合进行分类，得出训练精度，如果达到所要求的训练精度，那么停止学习，返回各类密度值，否则转,Step3,；,Step3:,计算整个训练集的多样性值 ；,Step4:,对训练集中被系统分错的每一个样例 进行如下操作：,计算关于单个 样例 的多样性值 ，,如果 进行以下过程,，,否则进行下一个样例；,判断是否满足密度调整的条件，如果不满足，那么进行下一个样例，否则，,（1）该样例类别所对应的密度值增加；,（2）其他类别所对应的密度值减少；,对训练集搜索一遍后返回各类密度值；,Step5:,根据,Step4,得到的密度值对训练集分类，得到训练精度，若精度满足要求，则停止学习，返回密度值，否则计算对应于,Step4,得到的密度值的整个训练集合的多样性值 ，,如果 那么 否则 不变，转,Step4；,BACK,2024/11/14,7,Step1:初始化各类密度值；BACK2023/10/67,模糊密度值的调整与积分值之间的关系,满足:,调整步长：0.0830,调整步长：0.0492,BACK,2024/11/14,8,模糊密度值的调整与积分值之间的关系 满足:调整步长：0.08,满足:,2024/11/14,9,满足:2023/10/69,上述非线性约束优化问题可以用,MATLAB,优化工具箱中的,fmincon,函数来求解，因为约束为非线性约束，所以不可能将约束条件信息直接包含在函数的输入参数中，必须编写函数返回在每一个点处的约束值，然后再调用优化函数,fmincon。,fun,目标函数名,;,X0,初始点;,lb,决策变量的下界;,ub,决策变量的上界;,nonlcon,返回约束值的函数名,；,options,优化选项参数。,2024/11/14,10,上述非线性约束优化问题可以用MATLAB优化工具箱中的fmi,数据试验结果,(优化),BACK,2024/11/14,11,数据试验结果(优化)BACK2023/10/611,数据试验结果(多样性算法,),从,Abalone,数据库中选取第5，6，7类数据共756个样例，输入数据属性为数据样例的7个连续值属性，训练9个神经网络分类器进行算法试验。,BACK,返回,2024/11/14,12,数据试验结果(多样性算法)从Abalone数据库,BACK,2024/11/14,13,BACK2023/10/613,进一步的工作,利用遗传算法求解,与其它多样性度量方法的比较,训练集合与测试集合规模的确定,BACK,2024/11/14,14,进一步的工作利用遗传算法求解BACK2023/10/614,参考文献,1,Michel Grabisch,Toshiaki Murofushi and Michio Sugeno,Fuzzy Measure and Integrals Theory and Applications,New York,Physica-Verlag Heidelberg,2000.,2 Zhenyuan Wang and George J.Kllr,Fuzzy measure theory,New York,Plenum Publishing Corporation,1992.,3 Ludmila I.Kuncheva,Fuzzy Classifier Design,New York,Physica-Verlag Heidelberg,2000.,4 Ludmila I.Kuncheva,Combining Pattern Classifiers Methods and Algorithms,New Jersey,John Wiley and Sons,Inc.Hoboken,2004.,5 Gabriele Zenobi,A detailed derivation of the relationship between generalization error and ambiguity in regression ensembles,Trinity College Dublin.,6 Michel Grabisch,Fuzzy integral in multicriteria decision making,Fuzzy Sets and Systems 69(1995)279-298.,7 Robert E.Banfield,Lawrence O.Hall,Kevin W.Bowyer and W.Philip Kegelmeyer,A New Ensemble Diversity Measure Applied to Thinning Ensembles,International Workshop on Multiple Classifier Systems,pp.306-316,2003.,2024/11/14,15,参考文献1 Michel Grabisch,Toshi,8,Gabriele Zenobi and Padraig Cunningham,Using Diversity in Preparing Ensembles of Classifiers Based on Different Feature Subsets to Minimize Generalization Error,Trinity College Dublin.,9 Dymitr Ruta and Bogdan Gabrys,New Measure of Classifier Dependency in Multiple Classifier Systems,United Kingdom.,10 Zhenyuan Wang,Kwong-Sak Leung,Man-Leung Wong and Jian Fang,A new type of nonlinear integrals and the computational algorithm,Fuzzy Sets and Systems 112(2000)223-231.,11 Amanda J.C.Sharkey and Noel E.Sharkey,Diversity,Selection,and Ensembles of Artificial Neural Nets,U.K.,12 Michel Grabisch,The representation of importance and interaction of features by fuzzy measures,Pattern Recognition Letters 17(1996)567-575.,13 Zhenyuan Wang,Kwong-Sak Leung and Jian Fang,Determining nonnegative monotone set functions based on Sugenos integral:an application of genetic algorithm,Fuzzy Sets and Systems 112(2005)155-164.,14 James M.Keller and Jeffrey Osborn,Training the Fuzzy Integral,International Journal of Approximate Reasoning 1996.,BACK,2024/11/14,16,8 Gabriele Zenobi and Padrai,2024/11/14,17,2023/10/617,2024/11/14,18,2023/10/618,