基于决策树改进CART算法的ANFIS结构辨识技术ppt课件

基于决策树改进CART算法的ANFIS结构辨识技术,1,ANFIS作为一种模糊工具，具有信息记忆能力和神经 网络函数的训练能力，可以有效的学习专家知识、处理不确定性问题、增强对未知和不确定环境的学习和适应能力，使整个系统朝着自适应、自组织和自学习的方向发展。但ANFIS的学习法则以及任何其他的参数自适应方法仅涉及参数辨识，在进行任何参数调节过程之前，还需要用结构辨识方法确定一个初始的ANFIS结构，有了可靠的结构和参数辨识方法，方可完成模糊建模的周期。这里引入改进cart算法对ANFIS进行结构辨识。,1 、引言,2,2 、 CART算法的原理,决策树是把数据集的输入空间划分为互斥区域，每个区域赋予一个标示、一个值和一个表示该区域内数据点的动作。为了构造一个合适的决策树，cart首先基于采样本数据集广延的生长树，然后，基于最小复杂性代价准则，再回头修剪这棵树，这样得到一系列不同大小的树，最后所选择的那棵树为用另一组独立的数据时具有最好性能的树。cart算法由两部分组成：树生长和树剪枝。,3,1） 树生长,通过将训练数据划分为不相连的子集的一个个分叉（决策边界），cart生长为一棵树。从包括所有训练数据的根节点开始，为求最能减少误差指标的分叉，做一次穷尽搜索。一旦确定最佳分叉，数据集相应的划分成不相连的子集；这些子集用源于根节点的子节点表示。然后再对子节点实施同样的划分。当于一个节点有关的误差值小于某个阈值时，或当进一步划分树，误差的减小不超过某个阈值时，这个递归过程终止。下面详细说明递归树的生成。,4,递归树用于解决递归问题，用一个对象的多数性确定 其一个或多个数值属性。对于一个递归树，结点t误差 指标常取为拟合节点数据集的局部模型的平方误差或残差：,式中， 是典型的数据点； 是结点t的局部模型（ 可变）。,5,把结点t分解成 和 的任意分叉s，误差测度的变化可表示为,最好的分叉 为误差测度降低最多的分叉： 生成递归树的策略是反复的分叉结点，这样最大限度地减 小递归树的整体误差测度E(T)。因此，递归树的目标是：以一步超前，贪婪的方式，递归的分解分叉结点，是给定的合理误差测度最小。,6,2）树剪枝,由以上算法生成的树常常规模很大，而且与训练数据集有 偏差，必须进行剪枝处理，基于最小复杂性或最弱子树收敛 原理是最有效的方法之一，其步骤如下： （1）对于任意子树 ，定义其复杂度为T 中的终结点数目 。那么代价复杂性测度 定 义为,式中， 是代价复杂度参数。,7,（2）对于每个 ，对应于给定的 ,可以找到一个最小子树 ：,（3）当 值增大时， 一直保持最小，直到到达一 个跳跃点 ，此时， 树成为新的最小树。设 有L个终结点。采用逐步向上进行树剪枝的思想使得满足： 式中， 有i个终结点。,8,（4）求树T的下一棵最小树。对于T中的每一个内节点t， 求 为下一棵最小树 值，记为 ：,9,（5）选择具有最小 的内结点作为剪枝的目标结点。树的剪枝过程为： 1.计算Ti中每一个内节点t的 值； 2.求最小 ，并选择 为下次最小树； 3.判断是否只有一个根结点，若不是，则转1。 4.用独立测试（检验）数据集的方法选择最优规模树。,10,3、改进cart算法,为构造有恒定输出的终结点的递归树，先前描述的cart算法可以辨识出适当规模的树，并确定树不需要的无关输入，但如果终结点是用线性方程来描述其特征的，为求相关输入，需要更大的计算量，这是很不方便的。为此，本文提出降低计算量的方法-RLSE（递归最小二乘估计器），即在新数据和新参数适应过程中递归地得到最小二乘估计器。,11,对于矛盾方程 （其中 的第k行表示 为 ），最小二乘估计器为:,12,为了利用已得的 ，以最小代价计算 ，而不是使用所有可得的数据重新计算，引入递归最小二乘估计器，它可按下式计算,式中， ，最终的 等于 ，即使用所有m个 数据对的估计器。,13,此外，在使用cart算法构造树的整个输入输出映射中，会产生不希望的不连续边界，为了光滑每个分叉点上的不连续边界，可采用模糊集的方法， 将决策树转化为模糊问题进行处理。,14,4、ANFIS的结构辨识,改进cart算法用于 ANFIS的结构辨识的优势在于隐含权值的归一化定理。 命题：cart构造的ANFIS网络中隐含权值的归一化。即在把决策树转化为推理系统时，如果： 式中，x是任意的输入向量； 是x的任意分 叉点； 为隶属函数。,15,以二叉树为例，该决策树可等效于一组确定的规则集，如图1所示。,yc,yb,xa,y,n,y,n,y,n,图1 二叉树等效成模糊集,16,本文利用改进的cart算法，得出ANFIS结构如图2所示。,n,n,n,n,INV,INV,INV,Z,第四层 (最终输出),第三层 (规则输出),第二层 (测试强度),第一层 （MF）,图2 ANFIS的结构,x,y,17,由于图2中的ANFIS结构的隐含权值归一化，在整个训练中保持不变，消除了归一化层的需要，也减少了训练和应用的计算时间以及舍入误差。,18,5、结语,决策树激励透明，便于按照树结构解释如何做出一个决策。而cart算法是最具有代表性的决策树归纳方法，cart算法能迅速地确定一个模糊推理系统的大致结构，然后对没有归一化层的有效ANFIS结构，选择合适的隶属函数和输出函数。cart能选择相关的输入，并对输入空间进行树划分，而ANFIS可改善其划分结果，并使该结果处处光滑连续。可以说cart和ANFIS在功能上是互补的。本文只着眼于递归问题，类似的方法也能用于分类问题。,19,参考文献：,1 Breiman L,Friendman J H,Olshen R A, etal,Classification and regression treeM.Californiz:Wadsworth Inc Belmont,1984. 2 Jang J S R.Structure determination in fuzzy modeling:afuzzy CART approachC.Orlando,Florida;In Proceedings of IEEE International Conference on Fuzzy System,1994. 3 张浩炯，余岳峰，王强。应用自适应神经模糊推理系统（ANFIS）进行建模和仿真。计算机仿真，2002. 4 李春鑫，李天伟。基于决策树改进CART算法的ANFIS结构辨识技术。控制工程，2005. 5 顾秀萍，自适应神经模糊推理系统（ANFIS）及其仿真。火力与指挥控制，2010. 6 张小娟，自适应神经模糊推理系统（ANFIS）及其仿真。电子设计工程，2012.,20,