类神经模糊系统在营建知识发掘中资料缺漏问题之研究

2 第一章绪论 第二章知识发掘与数据探勘 第三章数据缺漏之定义 第四章现有解决数据缺漏方法 第五章资料前处法(补足资料缺漏法)第六章模糊适应性学习控制网络（FALCON）第七章修改FALCON(学习缺漏数据法)第八章案例验证 第九章修改后之FALCON优缺点 第十章结论与建议 第十一章参考文献3 研究动机 研究目的 研究范围 研究限制 研究方法 研究流程4营建管理领域具有需要多年经验及技术的特性，因此适合应用人工智能技术来做数据探勘，以保留过去所累积的知识并应用于未来项目中所产生的效用或价值。台湾营建业目前在资料探勘技术中却面临到营建知识发掘数据缺漏之问题，而现有之类神经模糊系统技术无法处理此种问题。研究动机研究动机研究目的研究目的研究范围研究范围研究限制研究限制研究方法研究方法研究流程研究流程5挡土结构地上楼地下楼楼地板总工程费用1823855261918112113989185164666112128059434390623372331811228331114884225212145183127449164000000362322361295811228351122814797313215178255260938212155601122108101733130001817316114232955557683814120993329966802123151353328938237229597115021426302338255525000000271172121622786640715000011219396122923137表1.1建筑工程总成本估算之10%缺漏数据库11 研究动机研究动机研究目的研究目的研究范围研究范围研究限制研究限制研究方法研究方法研究流程研究流程6一、提出资料缺漏之定义。二、解决营建知识发掘中资料缺漏之问题。三、提出可处理缺漏数据之FALCON运算法则。四、建构并验证能够容许数据属性值缺漏之模糊适应性学习控制网络（FALCON）的电脑程序。研究动机研究动机研究目的研究目的研究范围研究范围研究限制研究限制研究方法研究方法研究流程研究流程7依动机与目的，本研究针对营建工程数据缺漏做出以下之两点定义。而以下第二种定义为最常遇到之数据缺漏类型，亦为本研究欲解决之方向。一、资料案例缺漏（一）外差型资料案例缺漏（二）内差型资料案例缺漏 二、数据属性值缺漏（Missing Values）研究动机研究动机研究目的研究目的研究范围研究范围研究限制研究限制研究方法研究方法研究流程研究流程8一、使用及验证之工具为模糊适应性学习控制网络（FALCON）。二、针对上述数据属性值缺漏，本研究限定属 性值缺漏不会发生在结论部（consequence part）。研究动机研究动机研究目的研究目的研究范围研究范围研究限制研究限制研究方法研究方法研究流程研究流程9本研究所实行之研究方法如下：、文献归纳法二、模式推导与建立三、案例验证研究动机研究动机研究目的研究目的研究范围研究范围研究限制研究限制研究方法研究方法研究流程研究流程10图1.1研究流程图研究动机研究动机研究目的研究目的研究范围研究范围研究限制研究限制研究方法研究方法研究流程研究流程11 知识发掘 资料探勘 数据探勘之技术12Fayyad25其对知识发掘的定义为：是一个指出资料中有效、崭新、潜在效益的一个非细琐（nontrivial）流程，其最终的目标是了解数据的样式（patterns）。下图为Fayyad定义知识发掘的流程：图2.1知识发掘流程（The KDD Process）25 知识发掘知识发掘资料探勘资料探勘数据探勘数据探勘之技术之技术13由图2.1中，知识发掘分为两大主要项目：一为数据的处理；二为资料探勘。数据探勘为知识发掘的核心技术，而目前常用之数据探勘技术无法处理不完整的资料，亦即缺漏的数据库形式。Fayyad28定义数据探勘是知识发掘其中的一个步骤，透过算法，将数据作一分析与应用，以找出其特征（pattern）与模式（model）的过程。根据上述定义，资料探勘所应用之演算法为资料探勘之核心技术。知识发掘知识发掘资料探勘资料探勘数据探勘数据探勘之技术之技术14根据文献归纳，目前已有之资料探勘技术包括有：判定树、区别分析、贝氏分类法、类神经网络、记忆基础推理、模糊理论、基因算法、约略集合及混合型人工智能等。类神经模糊系统为上述混合型人工智能中的一种算法。知识发掘知识发掘资料探勘资料探勘数据探勘数据探勘之技术之技术15 资料案例缺漏 资料属性值缺漏16本研究所称之数据案例缺漏为一训练系统外差及内差之现象。当这两种情形发生，会造成资料预估精度大幅降低。因此，本研究又将资料案例缺漏分为以下两点：一、外插型资料案例缺漏二、内插型资料案例缺漏 资料案例资料案例缺漏缺漏资料属性资料属性值缺漏值缺漏17外插情形发生在从未有过的工程实例经验，使得在建构数据库时没有类似的数据。假设一间建设公司平时承接建筑物是以民宅为主，共有25笔已完工之案例资料。数据分配如图所示：图3.1外差型资料案例缺漏分布图 资料案例资料案例缺漏缺漏资料属性资料属性值缺漏值缺漏18内插情形发生在曾经做过的实例太过级化，资料分配不均，形成数据分布多峰状。假设一建设公司，只有四楼以下透天或是八楼以上的大楼共25笔案例资料。数据分配如图所示：图3.2内差型资料案例缺漏分布图 资料案例资料案例缺漏缺漏资料属性资料属性值缺漏值缺漏19为般常见之缺漏方式，这种情形发生在已完成过之工程数据，但因为某些理由，让数据无法完整被保存下来，形成种残缺、缺漏的数据库。若数据库中发生有残缺的数据或数据，本研究称之为数据属性值缺漏。资料案例资料案例缺漏缺漏资料属性资料属性值缺漏值缺漏20 舍弃缺漏资料法 补足缺漏资料法 学习缺漏资料法21Jiawei和 Micheline38在数据探勘的观念与技术书中写到：当数据发生缺漏之情形，可以将其缺漏资料舍弃。而且此方法对于资料探勘时的影响不大，除非缺漏资料过多。舍弃缺漏舍弃缺漏资料法资料法补足缺漏补足缺漏资料法资料法学习缺漏学习缺漏资料法资料法22Jiawei和 Micheline38在数据探勘的观念与技术书中写到，填补缺漏数据法可以有五种处理法，将其条列于下：一、手动填入缺漏值若缺漏之数据量过多，此方法不一定合适。二、对缺漏部分固定填入一个定值此定值为一种概念值，其观念为分析大型数据库中，类似未有缺漏之案例的值。针对缺漏之属性部分做归纳，而给予一固定值填入其余缺漏部份。舍弃缺漏舍弃缺漏资料法资料法补足缺漏补足缺漏资料法资料法学习缺漏学习缺漏资料法资料法23三、填入该数据库属性之平均值在此数据库中，将其有缺漏属性之同属性完整值做平均值计算，将其平均值填入该属性缺漏部份。四、填入该属性之历史数据平均值将所有此属性之历史数据做平均值计算，在将其平均值填入该属性缺漏部份五、填入最可能之值利用回归等方式求出可能值。舍弃缺漏舍弃缺漏资料法资料法补足缺漏补足缺漏资料法资料法学习缺漏学习缺漏资料法资料法24柯千禾与郑明渊12的演化式模糊类神经推论模式（EFNIM）为目前最新的数据探勘系统之一。其系统能够容许数据属性项目值为空白，并且对于每笔数据都有缺漏项目，系统亦可学习。演化式模糊类神经推论模式（EFNIM）对于资料缺漏之处理方式与上述处理方式不同，其方式为不学习缺漏项目部份。系统学习时不学习缺漏部分，此方式为本研究在学习缺漏数据法之中心假设，将于第七章做一说明。舍弃缺漏舍弃缺漏资料法资料法补足缺漏补足缺漏资料法资料法学习缺漏学习缺漏资料法资料法25 数据前处理法 优点 缺点26经本研究分析，欲由知识探勘数据分析面解决数据缺漏问题，可以依学习缺漏数据法中第五种方法做研究思考。因此，本研究进而提出资料前处理法。此方法是以回归方式模拟专家思考，进而推理出缺漏项目之最可能值。数据前处数据前处理法理法优点优点缺点缺点27一、能够处理数据缺漏之问题。二、可以使用在任何以模拟专家思考的人工智能技术上。三、以完整数据库进行机械学习，系统在计算及产生法则上较为稳定。数据前处数据前处理法理法优点优点缺点缺点28一、面临训练属性部之缺漏值的精准度高低之问题。二、难以训练同笔数据同时又缺漏两种以上不同属性值。三、缺漏之属性值过多时，此一方法无法应用。四、若数据库所有资料都有缺漏则无法训练。五、易使整体系统陷入资料错误，而无法提升精准度之情形。数据前处数据前处理法理法优点优点缺点缺点29 FALCON FALCON学习机制30模糊适应性学习控制网络（FALCON）为Lin和Lee29提出，并为本研究系统主架构。由于营建工程是具有需累积过往的经验的特性，而针对相关的营建估价、工程决策或是营建生产力方面都可以应用FALCON系统。并且FALCON系统有别于一般类神经网络的法则，具有追踪及回溯的法则库更能帮助一般使用者针对模拟后的专家智慧进行了解。FALCONFALCON学习机制学习机制31图6.1FALCON网络架构图29 FALCONFALCON学习机制学习机制32FALCONFALCON学习机制学习机制图6.2 FALCON之学习机制33 多重属性模糊思考方式 缺漏数据学习网络架构34多重属性多重属性模糊思考模糊思考方式方式缺漏数据缺漏数据学习网络学习网络架构架构当人类在判断上图中的对象时，并不会因为图中人物缺漏了右手臂，而无法学习或判断。图像来源：昱泉国际35多重属性多重属性模糊思考模糊思考方式方式缺漏数据缺漏数据学习网络学习网络架构架构即使缺漏下半身与左手资料，还是可以剩余的属性判断与学习。图像来源：NBA网站网站36根据类神经模糊系统原理，其系统是可以多种属性做学习。当属性只有三种时，就只学习三种属性的系统；当属性有五种时，就学习五种属性的系统。因此，当五种属性中缺漏两种，只学习剩余的三种属性并不违背类神经模糊系统之原理。本研究认为人类的大脑能接受缺漏讯息，仿真人类思考的人工智能就应该符合上述思考逻辑。多重属性多重属性模糊思考模糊思考方式方式缺漏数据缺漏数据学习网络学习网络架构架构37图7.1 FALCON系统的学习架构图 上图表示为单一笔资料X，具有属性a、属性b、属性c及决定部D。多重属性多重属性模糊思考模糊思考方式方式缺漏数据缺漏数据学习网络学习网络架构架构38图7.2 FALCON系统发生数据缺漏之图 单一笔资料Y，具有属性b、属性c及决定部D，属性a缺漏之情况下。多重属性多重属性模糊思考模糊思考方式方式缺漏数据缺漏数据学习网络学习网络架构架构39图7.3只具有两种属性之FALCON学习网络图 单一笔资料Y，具有属性b、属性c及决定部D，属性a缺漏之情况下。多重属性多重属性模糊思考模糊思考方式方式缺漏数据缺漏数据学习网络学习网络架构架构40图7.2中，FALCON第二层至第四层的IF-THEN法则库无法建立，因此缺漏数据在传统FALCON无法学习。据此，本研究分析欲由资料探勘技术面解决资料缺漏问题须从法则库的建立着手。多重属性多重属性模糊思考模糊思考方式方式缺漏数据缺漏数据学习网络学习网络架构架构41若能结合图7.1与图7.3，解决图7.2之因数据缺漏而致无法学习之问题，即可创造出多属性的学习系统。本研究针对上述多种属性之模糊交集的处理分为两部份：一、第二层学习参数之修正二、第三层的模糊交集法并对于第一部份提出多维空间式Kohonen学习，而第二部份提出多重属性模糊法则库。多重属性多重属性模糊思考模糊思考方式方式缺漏数据缺漏数据学习网络学习网络架构架构42图7.4 FALCON系统之数据缺漏学习网图架构 多重属性多重属性模糊思考模糊思考方式方式缺漏数据缺漏数据学习网络学习网络架构架构43图7.5 修改后之FALCON学习流程多重属性多重属性模糊思考模糊思考方式方式缺漏数据缺漏数据学习网络学习网络架构架构44 案例验证 验证流程 验证结果45本研究以Matlab程序语言撰写前章之FALCON系统。并以刘彦庆君4汇整成最后之数据库，用以验证撰写完后之系统。数据库共有三份，分别取自：一、建筑工程总成本估算14二、建筑结构体工程成本预测案例17三、地下连续壁施工工期估算之案例18案例验证案例验证验证流程验证流程验证结果验证结果46系统案例验证流程：、完整数据学习之结果 二、缺漏资料之学习结果 三、舍弃缺漏资料之学习结果 四、结果比较分析 案例验证案例验证验证流程验证流程验证结果验证结果47完整学习数据之结果：由文献中取得完整数据库，以随机数重新排列，分为训练组及验证组。FALCON系统训练训练组，再以验证组作精度计算，求出在完整数据库训练之情形下精度为多少。案例验证案例验证验证流程验证流程验证结果验证结果48缺漏资料之学习结果：此方式是为了仿真属性值缺漏之两种情况：一为属性完整性之缺漏；二为属性资料数之缺漏。由属性完整性之缺漏模拟，可以实验出在缺漏属性为重要时，数据库之学习精度与传统舍弃法之比较。由属性数据之缺漏仿真，可以实验出在不同资料量下之缺漏，数据库之学习精度与传统舍弃法之比较。案例验证案例验证验证流程验证流程验证结果验证结果49舍弃缺漏资料之学习结果：第三步则是舍弃第二步已设计好之具有数据缺漏之数据，再进行剩余之完整数据训练。以测试组作精度计算，求出在舍弃缺漏数据之后的数据库训练情形下精度为多少。案例验证案例验证验证流程验证流程验证结果验证结果50结果比较分析：将上述各情形下之精准度作比较与分析。案例验证案例验证验证流程验证流程验证结果验证结果51训练组系统精准度94.66%测试组Case A88.37%Case B91.99%Case C97.53%平均精度92.63%表8.1完整建筑工程总成本估算数据库学习精度 案例验证案例验证验证流程验证流程验证结果验证结果图8.1建筑工程总成本估算数据库保留与舍弃之精度比较 52训练组系统精准度89.31%测试组Case A96.30%Case B97.28%平均精度96.79%表8.2完整建筑结构体工程成本预测数据库学习精度 案例验证案例验证验证流程验证流程验证结果验证结果图8.2建筑结构体工程成本预测数据库保留与舍弃之精度比较 53训练组系统精准度94.62%测试组Case A95.11%Case B94.45%Case C98.25%平均精度95.94%表8.3完整地下连续壁施工工期估算数据库学习精度 案例验证案例验证验证流程验证流程验证结果验证结果图8.3地下连续壁施工工期估算数据库保留与舍弃之精度比较 54案例验证案例验证验证流程验证流程验证结果验证结果完整数据与学习缺漏完整数据与传统舍弃学习缺漏与传统舍弃5%缺漏3.24%13.14%9.90%10%缺漏6.30%21.76%15.46%15%缺漏8.04%26.91%18.87%20%缺漏9.84%35.93%26.09%全缺漏14.38%95.12%80.74%表8.4 案例验证成果综合比较表 55第九章修改后之FALCON优缺点(1/4)修改后之FALCON优点 修改后之FALCON缺点56第九章修改后之FALCON优缺点(2/4)一、学习缺漏数据法是由现有之不完整数据库中撷取专家智能，系统撷取智慧较客观，也不会因地域或时间的变因有所变化。二、可以拥有多重属性的学习机制。优点缺点天气温度湿度工程项目生产力A公司阴18高B公司2390%低C公司60%模版工程普通表9.1 工地生产力数据57三、可以从不完全的数据库中撷取出专家智慧。四、系统学习中比直接舍弃缺漏数据之学习方式多了被修正之机会。五、当同笔资料发生多种属性缺漏亦可学习。六、当数据库属性缺漏过多时亦可学习。七、当数据库中每笔资料都不完全也可学习。八、不会面临补足缺漏数据法中，需学习属性部之精准度高低之问题。第九章修改后之FALCON优缺点(2/4)优点缺点58、修改后之FALCON系统虽已能处理数据属性值缺漏问题，但仍无法解决案例式资料缺漏类型之问题。二、多重属性模糊法则库之模糊交集运算结果，与完整数据库时取之模糊交集结果运算会有不同，。若缺漏重要属性，则在法则库的运算上可能会因加入缺漏数据而产生错误。因此，在数据缺漏为重要属性的情形下，修正后之FALCON系统在缺漏资料的计算不一定比较好。第九章修改后之FALCON优缺点(4/4)优点缺点59第十章结论与建议(1/4)结论 建议60第十章结论与建议(2/4)一、本研究针对营建业资料缺漏提出资料案例缺漏与资料属性值缺漏两种定义。二、数据前处理模式补足缺漏资料法解决目前营建知识发掘所面临之数据缺漏问题。经验证后发现此法虽解决资料属性值缺漏之情形，但未必一定能够提升系统精准度。三、本研究后以学习缺漏资料法方式，成功修改FALCON内部学习模式。并经 案例验证之后，证明在数据探勘上得到 极好之结果。结论建议61第十章结论与建议(3/4)四、本研究经案例验证后，发现在资料量不够充足的情况下，若学习缺漏数据的资料探勘结果会比直接舍弃后的资料探勘结果好。结论建议62第十章结论与建议(4/4)一、本研究修改后之FALCON内部学习模式，并未能增加系统本身的精准度。未来研究可辅以基因算法，或其它数据探勘之技术，以期增加FALCON学习之精准度。二、目前营建知识发掘尚有资料不纯（Noisy Data）等众多问题存在，如何提升或修正数据探勘之技术，以期能处理目前所遇到之问题，提升整体营建知识经济，亦是未来研究努力的目标。结论建议63第十一章参考文献(1/4)1.吴献堂，应用模糊理论与计算机仿真分析营建操作生产力COST计算机仿真程序之介绍，硕士论文，私立朝阳科技大学营建工程系，台中，2000。2.郑景鸿，类神经模糊系统于土石方工程成本估价之应用，硕士论文，私立中华大学营建管理研究所，新竹，2002。3.刘宛鑫，运用股价原始信息建构股价预测模型类神经网络之应用，硕士论文，国立高雄第一科技大学金融营运所，高雄，2001。4.刘彦庆，混合型案例式推理模式于营建工程知识系统之应用，硕士论文，私立中华大学营建管理研究所，新竹，2003。5.曹锐勤，模糊回归模式之构建与分析，博士论文，国立清华大学工业工程与工程管理学系，新竹，1998。6.丁振原，以数据探勘技术为基建构PCB客诉问题处理模式，硕士论文，私立元智大学工业工程与管理学系，中坜，2002。7.蓝中贤，结合模糊集合理论与贝氏分类法之数据探勘技术应用于健保局医疗费用审查作业，硕士论文，私立元智大学信息管理研究所，中坜，1999。8.吕奇杰，演化式类神经网络分类技术于数据探勘上之应用，硕士论文，私立辅仁大学应用统计学研究所，台北，2000。9.陈丽君，应用数据探勘技术于信用卡黄金级客户之顾客关系管理，硕士论文，私立元智大学工业工程与管理学系，中坜，2002。10.徐简炯，营建业知识管理之应用机制研究，硕士论文，国立台北科技大学土木与防灾技术研究所，台北，2001。64第十一章参考文献(2/4)11.张孝德、苏木春，机械学习、类神经网络、模糊系统以及基因算法则，全华科技图书股份有限公司，台北，2001。12.柯千禾，演化式模糊类神经推论模式于营建管理决策之研究，博士论文，国立台湾科技大学营建工程研究所，台北，2002。13.李铭竣，演化式案例推理在营建工程屡约争议处理之研究，硕士论文，国立台湾科技大学营建工程研究所，台北，2002。14.余家祥，以案例式推理建构建筑工程成本估算系统，硕士论文，国立中央大学土木工程研究所，中坜，2001。15.李欣鹏，南高屏空气污染排放数据库整合分析-以合板制造业为例，硕士论文，国立台湾大学环境工程学研究所，台北，2000。16.郑玉宙，类神经网络应用于降低武器及弹药测试成本之研究，硕士论文，国防大学中正理工学院，2000。17.谢文山，演化式建筑工程成本概算模式之研究，硕士论文，国立台湾科技大学营建工程研究所，2002。18.杨智斌，以整合型模式解决营建管理中经验导向问题之研究，博士论文，国立中央大学土木工程研究所，1997。19.Berry,M.and G.Linoff,Data Mining Techniques for Marketing,Sales and Customer Support,John Wiley and Sons,New York,1997.20.Cabena,P.,P.O.Hadjinian,R.Stadler,J.Verhees and A.Zanasi,Discovering Data Mining from Concept to Implementation,Prentice Hall,1997.65第十一章参考文献(3/4)21.Frawley,W.J.,G.P.Shapiro and C.J.Matheus,“Knowledge discovery in databases:an overview,”Knowledge Discovery in Database,AAAI Press/The MIT Press,Menlo Park,CA,pp.130,1991.22.Groupe,F.H.and M.M.Owrang,“Data base mining discovery new knowledge and cooperative advatage,”Information System Management,Vol.12,pp.26-31,1995.23.Hall,C.ed.,“The devils in the details:techniques,tools,and application for database mining and knowledge discovery part 1,”Intelligent Software Strategies,Vol.XI,no.9,p.1-16,1995.24.Han,J.and M.Kamber,Data Mining:Concepts and Techniques,Morgan Kaufmann,CA,USA,2001.25.Fayyad U.,Piatetsky-Shapiro G.and Smyth P.,“The KDD Process for Extracting Useful Knowledge from Volumes of Data”,Communications of the ACM,Vol.39,pp.27-34,1996.26.Chung H.M.and Gray P.,Guest Editors“Special Section:Data Mining”,Journal of Management Information Systems,Vol.16,pp.11-16,1999.27.Shaw M.J.,Subramaniam C.and Tan G.W.,“Knowledge management and data mining for marketing,”Decision Support Systems,Vol.31,127-137,2001.28.Fayyad U.,Piatetsky G.,and Smyth P.,“From data mining to knowledge discovery in databases,”AI Magazine,37-54,1996.29.Lin,C.T.,and Lee,C.S.G.,“Neural-network-based fuzzy logic control and decision system,”IEEE Transactions on Computers,Vol.40,No.12,pp.1320-1336,1991.66第十一章参考文献(4/4)30.Yu,W.D.,and Skibniewski,M.J.,“A neuro-fuzzy computational approach to constructability knowledge acquisition for construction technology evaluation,”Journal of Automation in Construction,Vol.8,No.5,pp.539-552,1999.31.Mitra,S.,Pal,S.K.,and Mitra,P.,“Data mining in soft computing framework:A survey,”IEEE Trans.Neural Networks,vol.13,No.1,pp.314,2002.32.Mitra,S.,and Hayashi,Y.,“Neuro-fuzzy rule generation:Survey in soft computing framework,”IEEE Trans.Neural Networks,vol.11,pp.748768,2000.33.Mitra,S.,Pal,S.K.,“Fuzzy self organization,inferencing and rule generation,”IEEE Trans.Syst.,Man,Cybern.A,vol.26,pp.608620,1996.34.Banerjee,M.,Mitra,S.,Pal,S.K.,“Rough fuzzy MLP:Knowledge encoding and classification,”IEEE Trans.Neural Networks,vol.9,pp.12031216,199835.Mitra,S.and Pal,S.K.,“Fuzzy multilayer perceptron,inferencing and rule generation,”IEEE Trans.Neural Networks,vol.6,pp.5163,Jan.1995.36.Mitra,S.,Pal,S.K.,“Fuzzy self organization,inferencing and rule generation,”IEEE Trans.Syst.,Man,Cybern.A,vol.26,pp.608620,1996.37.Kohonen,T.,Self-organization and Associative Memory,Springer-Verlag,Berlin,German,198838.Jiawei,H.and Micheline,K.,Data Mining Concepts and Techniques,USA,pp.109,2001.67