基于决策树改进CART算法的ANFIS结构辨识技术课件

基于决策树改进CART算法的ANFIS结构辨识技术1基于决策树改进CART算法的ANFIS结构辨识技术基于决策树改进CART算法的ANFIS结构辨识技术2 A N F I S 作 为 一 种 模 糊 工 具，具 有 信 息 记 忆 能 力 和 神 经网络函数的训练能力，可以有效的学习专家知识、处理不确定性问题、增强对未知和不确定环境的学习和适应能力，使整个系统朝着自适应、自组织和自学习的方向发展。但ANFIS的学习法则以及任何其他的参数自适应方法仅涉及参数辨识，在进行任何参数调节过程之前，还需要用结构辨识方法确定一个初始的ANFIS结构，有了可靠的结构和参数辨识方法，方可完成模糊建模的周期。这里引入改进cart算法对ANFIS进行结构辨识。1 1、引言、引言基于决策树改进CART算法的ANFIS结构辨识技术32 2、CART CART算法的原理算法的原理 决策树是把数据集的输入空间划分为互斥区域，每个区域赋予一个标示、一个值和一个表示该区域内数据点的动作。为了构造一个合适的决策树，cart首先基于采样本数据集广延的生长树，然后，基于最小复杂性代价准则，再回头修剪这棵树，这样得到一系列不同大小的树，最后所选择的那棵树为用另一组独立的数据时具有最好性能的树。cart算法由两部分组成：树生长和树剪枝。基于决策树改进CART算法的ANFIS结构辨识技术41 1）树生长树生长 通过将训练数据划分为不相连的子集的一个个分叉（决策边界），cart生长为一棵树。从包括所有训练数据的根节点开始，为求最能减少误差指标的分叉，做一次穷尽搜索。一旦确定最佳分叉，数据集相应的划分成不相连的子集；这些子集用源于根节点的子节点表示。然后再对子节点实施同样的划分。当于一个节点有关的误差值小于某个阈值时，或当进一步划分树，误差的减小不超过某个阈值时，这个递归过程终止。下面详细说明递归树的生成。基于决策树改进CART算法的ANFIS结构辨识技术5 递归树用于解决递归问题，用一个对象的多数性确定其一个或多个数值属性。对于一个递归树，结点t误差指标常取为拟合节点数据集的局部模型的平方误差或残差：tNiiiixdytE12,min式中，是典型的数据点；是结点t的局部模型（可变）。iiyx,iixd基于决策树改进CART算法的ANFIS结构辨识技术6 把结点t分解成 和 的任意分叉s，误差测度的变化可表示为 最好的分叉 为误差测度降低最多的分叉：生成递归树的策略是反复的分叉结点，这样最大限度地减 小递归树的整体误差测度E(T)。因此，递归树的目标是：以一步超前，贪婪的方式，递归的分解分叉结点，是给定的合理误差测度最小。rltEtEtEtsE,tsEtsE,max,*lt*srt基于决策树改进CART算法的ANFIS结构辨识技术72 2）树剪枝）树剪枝 由以上算法生成的树常常规模很大，而且与训练数据集有偏差，必须进行剪枝处理，基于最小复杂性或最弱子树收敛原理是最有效的方法之一，其步骤如下：（1）对于任意子树 ，定义其复杂度为T中的终结点数目 。那么代价复杂性测度 定义为 TTETE式中，是代价复杂度参数。maxTT T)(TE基于决策树改进CART算法的ANFIS结构辨识技术8（2）对于每个 ，对应于给定的 ,可以找到一个最小子树 ：（3）当 值增大时，一直保持最小，直到到达一 个跳跃点 ，此时，树成为新的最小树。设 有L个终结点。采用逐步向上进行树剪枝的思想使得满足：式中，有i个终结点。TETETTmaxmin max11TTTTtLLi TE T T11TmaxTiT基于决策树改进CART算法的ANFIS结构辨识技术9（4）求树T的下一棵最小树。对于T中的每一个内节点t，求 为下一棵最小树 值，记为 ：1tttTTEtEaiTT t基于决策树改进CART算法的ANFIS结构辨识技术10（5）选择具有最小 的内结点作为剪枝的目标结点。树的剪枝过程为：1.计算Ti中每一个内节点t的 值；2.求最小 ，并选择 为下次最小树；3.判断是否只有一个根结点，若不是，则转1。4.用独立测试（检验）数据集的方法选择最优规模树。tttiTT 基于决策树改进CART算法的ANFIS结构辨识技术113 3、改进、改进cartcart算法算法 为构造有恒定输出的终结点的递归树，先前描述的cart算法可以辨识出适当规模的树，并确定树不需要的无关输入，但如果终结点是用线性方程来描述其特征的，为求相关输入，需要更大的计算量，这是很不方便的。为此，本文提出降低计算量的方法-RLSE（递归最小二乘估计器），即在新数据和新参数适应过程中递归地得到最小二乘估计器。基于决策树改进CART算法的ANFIS结构辨识技术12对于矛盾方程 （其中 的第k行表示为 ），最小二乘估计器为:yAyA mkyakTk1,yAAATTk1基于决策树改进CART算法的ANFIS结构辨识技术13 为了利用已得的 ，以最小代价计算 ，而不是使用所有可得的数据重新计算，引入递归最小二乘估计器，它可按下式计算k1kkTkTkkkkkkkTkkTkkkkkayaPaPaPaaPPP11111111111式中，最终的 等于 ，即使用所有m个数据对的估计器。11mkm基于决策树改进CART算法的ANFIS结构辨识技术14 此外，在使用cart算法构造树的整个输入输出映射中，会产生不希望的不连续边界，为了光滑每个分叉点上的不连续边界，可采用模糊集的方法，将决策树转化为模糊问题进行处理。基于决策树改进CART算法的ANFIS结构辨识技术154 4、ANFISANFIS的结构辨识的结构辨识 改进cart算法用于 ANFIS的结构辨识的优势在于隐含权值的归一化定理。命题命题：cart构造的ANFIS网络中隐含权值的归一化。即在把决策树转化为推理系统时，如果：式中，x是任意的输入向量；是x的任意分 叉点；为隶属函数。1)(xxxx基于决策树改进CART算法的ANFIS结构辨识技术16以二叉树为例，该决策树可等效于一组确定的规则集，如图1所示。ycybxa1fz 2fz 3fz 4fz ynynyn4321,fzthencyandaxiffzthencyandaxiffzthenbyandaxiffzthenbyandaxif图1 二叉树等效成模糊集基于决策树改进CART算法的ANFIS结构辨识技术17本文利用改进的cart算法，得出ANFIS结构如图2所示。nnnnINVINVINVaxbycy1f2f3f4fZ第四层(最终输出)第三层(规则输出)第二层(测试强度)第一层（MF）1W2W3W4W图2 ANFIS的结构xy基于决策树改进CART算法的ANFIS结构辨识技术18 由于图2中的ANFIS结构的隐含权值归一化，在整个训练中保持不变，消除了归一化层的需要，也减少了训练和应用的计算时间以及舍入误差。基于决策树改进CART算法的ANFIS结构辨识技术195 5、结语、结语 决策树激励透明，便于按照树结构解释如何做出一个决策。而cart算法是最具有代表性的决策树归纳方法，cart算法能迅速地确定一个模糊推理系统的大致结构，然后对没有归一化层的有效ANFIS结构，选择合适的隶属函数和输出函数。cart能选择相关的输入，并对输入空间进行树划分，而ANFIS可改善其划分结果，并使该结果处处光滑连续。可以说cart和ANFIS在功能上是互补的。本文只着眼于递归问题，类似的方法也能用于分类问题。基于决策树改进CART算法的ANFIS结构辨识技术20参考文献：参考文献：1 Breiman L,Friendman J H,Olshen R A,etal,Classification and regression treeM.Californiz:Wadsworth Inc Belmont,1984.2 Jang J S R.Structure determination in fuzzy modeling:afuzzy CART approachC.Orlando,Florida;In Proceedings of IEEE International Conference on Fuzzy System,1994.3 张浩炯，余岳峰，王强。应用自适应神经模糊推理系统（ANFIS）进行建模和仿真。计算机仿真，2002.4 李春鑫，李天伟。基于决策树改进CART算法的ANFIS结构辨识技术。控制工程，2005.5 顾秀萍，自适应神经模糊推理系统（ANFIS）及其仿真。火力与指挥控制，2010.6 张小娟，自适应神经模糊推理系统（ANFIS）及其仿真。电子设计工程，2012.