数据挖掘技术在竞争情报系统中的应用

目录第一章引言1第二章 竞争情报系统与数据挖掘12.1竞争情报与竞争情报系统12.2 数据挖掘及其关键技术2第三章 竞争情报对数据挖掘技术的要求33.1 竞争情报要求数据挖掘技术具备处理非结构化信息的能力33.2 竞争情报要求数据挖掘具备语义分析能力43.3竞争情报要求数据挖掘具备智能分析的能力4第四章 基于数据挖掘技术的竞争情报系统模型构建及其应用44.1 基于数据挖掘技术的竞争情报系统模型构建44.2 基于数据挖掘技术竞争情报系统模型的应用6参考文献814第一章 引言 20世纪80年代初期，西方经济发达国家对竞争情报系统的建立进行了较为深入的研究，并将其应用到企业技术竞争、市场营销和战略管理活动以及政府制定竞争政策和行业规则的实践中。在市场竞争日益激烈的形势下，企业管理者越来越重视情报的研究、收集、分析和研究，竞争情报系统的建立，对企业的发展起到了重要的作用。出现了很多应用竞争情报系统，推动公司发展的案例。如摩托罗拉通过竞争情报确立发展战略，IBM公司建立竞争情报体系，施封德电气利用多途径获取竞争情报1，竞争情报系统在企业中的应用愈加受到重视。我国目前竞争情报专业教育从培训本科、硕士到博士研究生的分层培养体系框架已初步形成。国家教育改革委员会正计划在高等院校中的信息系统与管理、工商管理等专业和理工科类专业中开设竞争情报本科课程。在应用方面，目前国内已涌现出一批像百度、TRS、天下互联、赛迪等具有较强实力的竞争情报系统开发与服务商，竞争情报的理论研究成果正逐步走出研究机构和大学讲堂，被社会和企业所接受，并转化为现实生产力，由此也推动了我国竞争情报产业化的进程2。同时，随着国内竞争情报研究与应用的不断深入，与境外的交流和合作步入良性循环轨道。第二章 竞争情报系统与数据挖掘2.1竞争情报与竞争情报系统竞争情报有狭义和广义之分。狭义的竞争情报主要指与竞争相关联的一切情报；广义的竞争情报则指为了提高竞争力而进行的一切情报活动，既包括情报产品，也包括活动过程。美国竞争情报从业者协会给出了一个竞争情报的标准模型，如图2.1所示：信息收集信息加工情报分析情报传播规划与定向图2.1 竞争情报标准模型竞争情报系统(Competitive Intelligence SystemCIS)是指对反映企业内部和外部竞争环境要素或事件的状态或变化的数据或信息进行收集、存储、处理和分析，并以适当的形式将分析结果(即情报信息)发布给战略管理人员的计算机信息系统。CIS简称为基于计算机信息管理的竞争情报系统。CIS的应用目的是在市场竞争环境中企业为保持或增加利润，围绕企业的经营战略目标，通过竞争情报系统为其获取有关企业内部、竞争对手、竞争环境的信息，并加以存储、处理、分析、研究，竞争情报分析研究结果最终对企业经营战略目标确立与实施产生调整作用的信息系统。2.2 数据挖掘及其关键技术2.2.1 数据挖掘及其一般过程数据挖掘（Data Mining，简称DM）就是利用各种分析工具从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中提取隐含在其中的，但却非常有用的信息、模式(规则)和趋势，这种模型能对未来做出预测和评估，能发现那些不能靠直觉发现的信息或知识，甚至是违背直觉的信息或知识。定义问题数据准备确定主题读入数据并建立模型挖掘操作结果表达和解释数据挖掘的一般过程由六个阶段组成3，如图2.2所示：图2.2 数据挖掘的一般过程 (1) 定义问题：首先明确定义将要解决的问题，所以，数据挖掘者要熟悉该行业的数据和业务问题。(2) 数据准备：数据准备是数据挖掘的核心。这一阶段又可分为3个子步骤：数据集成、数据选择、数据预处理。 (3) 确定主题：即确定要研究的主题，这一步涉及到了解研究主题的局限性，选择待完成的良好研究主题，确定待研究的合适的数据元素，以及决定如何进行数据操作等。(4) 读入数据并建立模型：当输入的数据确定之后，就需要用数据挖掘工具读入数据并从中构造出一个模型。 (5) 挖掘操作：依照上述准备工作，利用选好的数据挖掘工具在数据中查找。对数据挖掘的搜索过程需要反复多次，通过评价数据挖掘结果来不断调整数据挖掘的精度，以达到发现知识的目的。(6) 结果表达和解释：根据最终用户的决策目标对提取的信息进行分析，把最有价值的信息区分出来，并且通过决策支持工具提交给决策者。2.2.2 数据挖掘的关键技术数据挖掘是综合运用统计学、数据库、机器学习、神经网络、经济计量学等多门学科的技术，尤其是近几年来，自然语言理解、语义关联分析、词频分布统计、语料学研究等可以用于进行情报分析的技术方法和工具，已经成为数据挖掘技术的重要研究方向，并形成了大量软件产品。目前所用到的数据挖掘技术有五种，即关联规则分析法（关联规则分析法可用于超市的货架摆放和库存预警以及潜在顾客发现）、决策树分析法（决策树方法主要用于分类挖掘，通常用于市场细分、产品定位、贷款风险分析等）、最近相邻技术（最近相邻技术可以用于聚类、偏差分析等任务）、人工神经网络（人工神经网络主要用于事物数据库的分析和建模）、可视化（可视化可以将非空间的信息用图像、曲线、三维图形和动画显示，充分利用人们对可视模式快速识别的自然能力去进行观测、浏览、判别和理解信息）。第三章 竞争情报对数据挖掘技术的要求 竞争情报系统是为竞争情报工作者提供支持的信息咨询系统。数据挖掘技术应用于竞争情报就是在竞争情报系统中集成数据挖掘技术，或者直接应用数据挖掘技术搭建竞争情报系统。然而竞争情报面对的是大量非结构化的信息，比如文件、邮件、图片等，竞争情报工作者需要根据这些非结构化的信息对竞争环境做出基本的判断，从而制定竞争战略。这就要求，数据挖掘技术具备处理非结构化信息、语义分析的能力，具备一定程度的智能分析能力。3.1 竞争情报要求数据挖掘技术具备处理非结构化信息的能力 非结构化信息指的是各种看似相关性比较弱、无法用关系型数据库等结构化的方式来获取和处理的信息，例如企业内外部的新闻、邮件、互联网上的消息以及文件等。如何实现非结构化信息之间的联动，是包括竞争情报在内的所有信息基础平台需要解决的问题。目前非结构化信息已日益成为政府、企业决策的依据。传统的数据管理特别是像关系数据库系统，应用中对非结构化的数据只提供一些表层的管理。非结构化数据有一些自己的特点，第一，其格式非常多样；第二，标准是多样性的，不像结构化的数据一目了然；第三，分布于异构系统。在技术上非结构化信息比结构化信息更难标准化和理解。所以存储、检索、发布以及利用需要更加智能化的 IT 技术，比如海量存储、智能检索、知识挖掘、信息的增值开发利用等等。数据挖掘技术应具备处理非结构化信息的能力，以应对企业竞争环境中的大量非结构化信息。3.2 竞争情报要求数据挖掘具备语义分析能力 数据挖掘技术应具备语义分析能力，即基于语义进行数据挖掘。基于语义进行数据挖掘，就是利用语义的智能计算，实现对海量非结构信息的整理，并从中挖掘数据价值。即把以前只能由自然人完成的归类、分析、比对、归纳等工作交由计算机自动完成，其结果除了可供用户语义级搜索，更可直接提供可供决策参考的分析结果。准确的语义分析是极其困难的，计算机界至今还没有能够真正揭示人类理解自然语言的机制，只能从功能上局部地模拟人类对自然语言的使用和理解，另外中文信息处理技术发展落后于西文。基于语义数据挖掘技术要求从中文理解角度对企业竞争环境中非结构化信息进行准确理解，即用户可以通过输入“企鹅，一种生活在寒带的鸟，它的生活环境”这样的文字，通过文字内容来表达自己的需要，计算机就能给出最佳的结果，这些结果不一定包含搜索请求的全部文字。但在语义上它们会是用户真正想要的。3.3竞争情报要求数据挖掘具备智能分析的能力 数据挖掘技术要支持竞争情报系统进行企业竞争形势分析，包括竞争态势和地位分析，优势、弱点、机会、威胁分析( SWOT)，企业未来竞争动向和趋势推测等。面对多元多样、实时感知、爆炸增长的企业情报信息，对于急需实现信息最大化并全面提升可持续竞争优势的企业而言，企业竞争情报系统中的数据挖掘技术就需要具备智能分析的能力。第四章 基于数据挖掘技术的竞争情报系统模型构建及其应用4.1 基于数据挖掘技术的竞争情报系统模型构建由于数据挖掘系统实质上是包括数据收集、数据处理、数据分析、数据评价几个子系统，我们将数据挖掘系统的子系统嵌入到竞争情报系统的情报收集、情报分析、情报服务3 个子系统之中就形成了竞争情报采集子系统、竞争情报分析子系统、竞争情报服务子系统。竞争情报采集子系统就位于这个工作流的前端( 输入端)，而竞争情报分析子系统、竞争情报服务子系统分别构成了该工作流的处理端和输出端。因此在将数据挖掘技术集成于竞争情报系统时，分别出现了将数据挖掘技术集成于前端的竞争情报系统模型与将数据挖掘集成于处理端的竞争情报系统模型。在竞争情报系统这个信息处理工作流中，输出端的功能为形成情报产品、给用户提供人机接口，所以数据挖掘技术在信息处理过程中要生成易于形成情报产品的处理结果。根据三个子系统构建基于数据挖掘技术的竞争情报系统模型，如图4.1所示：图4.1 基于数据挖掘技术的竞争情报模型竞争情报报告情报分析人员经验竞争情报分析方法建模数据加工后数据评价参数计算变量选择情报筛选知识竞争情报分析原理情报数据仓库数据处理 数据采集器数据采集器数据采集器数据采集器 企业外部信息媒体信息Internet信息企业内部数据库4.1.1 竞争情报收集系统企业竞争情报的获取可以来自于网络信息，如企业门户网站、电子商务站点、信息发布、新闻等；也可以来自于企业内部，如企业内部信息系统、业务数据；还可以来自于平面媒体，如图书、杂志等。它是以人的智力为主导，通过“黑箱”操作实行信息的集成、重组和智化。CIS及其企业竞争情报中心(CIC)的专职和兼职分析人员采用人工分析与机助分析相结合的手段，将竞争情报采集子系统所采集的信息有序化、系统化、层次化，将Information转化为Intelligence,“生产”出真正有用的竞争性情报。竞争情报收集系统的主要任务是将不同来源的数据通过数据采集器收集起来，并通过规格化处理，存储在情报数据仓库中，形成情报数据。竞争情报收集为竞争情报分析做好了基础数据准备，并且简化了竞争情报分析中数据预处理工作的复杂性和难度4。4.1.2 竞争情报分析系统竞争情报分析是竞争情报系统的核心，数据挖掘技术为大量数据和信息的自动分析提供了技术手段。除了联机分析处理(online analytical processing ,OLAP)等数据分析技术外，对文本类资源的挖掘技术对于互联网信息显得更为重要，如基于文本内容的自动分类、自动摘要、自动聚类以及相似性检索等技术的成熟，为竞争情报系统的建设提供了强有力的技术支持。竞争情报分析主要分为3个步骤：情报筛选、变量选择和参数计算。其中情报筛选的过程是数据清洗的过程，对于不合理的数据予以删除；变量选择主要是对各种情报数据找出其分析的主要指标变量；参数计算是通过数据挖掘中提供的算法完成相关参数的计算。在3个步骤中我们引入了知识管理的思想，每个步骤的实施都要结合竞争情报分析原理、竞争情报分析方法、情报分析人员经验等相关知识的应用，从而实现竞争情报的分析，同时知识库也随着分析评价的过程不断完善。4.1.3 竞争情报服务系统对挖掘的结果进行分析评价，生成竞争情报分析报告，提交企业决策者，为决策提供服务和依据。4.2 基于数据挖掘技术竞争情报系统模型的应用知识经济时代，数据、信息成为重要的经济资源，随着信息资源总量的日益膨胀，企业面对堆积如山的数据往往无可奈何，无法充分发掘出应有的经济价值。CIS是一个以竞争情报为处理对象的决策支持系统，它要求其数据平台建立在企业集成数据环境下， 仅以企业的MIS、MRPII、ERP数据库为数据源是不足以支持CIS的决策分析系统的。因此，利用数据挖掘技术充分实现数据的分析，从而构成一个全面高效的为企业高层决策服务的企业竞争情报系统模型。如图4.2所示：情报产品情报服务情报传播 建模挖掘操作确定主题解析预测数据准备定义数据挖掘数 据 仓 库其它竞争对手情报市场需求动向宏观政策环境企业内部人事、财务等信息联级数据库Internet资源企业Web站点企业Internet常规分析情报服务情报分析情报收集信息源用户图4.2 基于数据挖掘的企业竞争情报系统竞争情报收集子系统是企业CIS提供决策支持的基础。从图3.2我们可以看出，在企业竞争情报的收集阶段，企业内外部的信息源主要通过企业Intranet、企业Web站点Internet资源、联机数据库等平台存放到竞争情报的数据仓库中。对于企业而言，不管是内部的人事、财务、生产、销售等信息，还是外部的宏观政策、市场需求、竞争对手等情报，都是纷繁复杂的且表现形式也多种多样，包括报告、报表、图形、声音、视频、演示文稿等。因此，不论对于何种形式、何种渠道收集的数据和信息，竞争情报收集子系统都应具备收集、存储的能力。从技术角度来讲，竞争情报收集子系统应该具备录入、数据格式转换、信息分类导入、信息自动收集等基本功能。竞争情报的分析是企业 CIS的核心。常规的分析方法诸如 SWOT分析、BCG产业矩阵、战略联盟、回归分析法、核心竞争力分析、经验曲线、多元化业务分析等。通俗地讲，数据挖掘就是对海量数据进行精加工；严格地说，数据挖掘是一种技术,，从大量的数据中抽取出潜在的、不为人知的有价值信息、模式和趋势，然后以易于理解的可视化形式表达出来，其目的是为了提高市场决策能力、检测异常模式、控制可预见风险、在经验模型基础上预言未来趋势等。竞争情报服务子系统5的主要功能是根据各类用户包括情报人员、决策者以及企业内部其他人员的信息需求，动态地建立各类分析报告，诸如情报产品、情报服务、情报传播等，并通过约定的方式及时地将它们传递给用户。情报产品是情报服务和情报传播的主要内容和形式，是企业CIS的最终产品和成果体系。其中，尤以各类情报分析报告为主要形式。情报服务应具有分类浏览、多途径检索、最新推送服务三大功能。同时，情报服务应该突出其高效、快捷的服务特点，企业Intranet平台将有助于提高服务的效率。竞争情报服务子系统的服务效果体现在以适当的形式及时将情报传递到用户手中。竞争情报的传播方法应当与用户需求相呼应。企业在选择传播方法时，应当对速度、准确度、清晰度和安全性等因素综合考虑。与传统的竞争情报系统相比，将数据挖掘思想引入到竞争情报系统的模型构建过程中，同企业相结合，使得分析的结果实用性更强，同时由于数据挖掘工具较多，所以系统开发更加方便。数据挖掘方法应用到竞争情报分析的过程中，可以从定量的角度来衡量企业的竞争力。可以看出，数据挖掘技术在竞争情报的分析中有较大的发展潜力。参考文献1 杨少萱.国外竞争情报的发展与应用J.中国信息导报,2006(11):第34-52页.2 党芬,王敏芳.我国竞争情报发展分析J.情报探索,2005(5):第58-49页.3 蒲群莹.基于数据挖掘的竞争情报系统模型J.情报技术,2005(1):第38-39页.4 金镇,张继兰.网上竞争对手的分析研究J.情报科学,2007,19(11):第1132-1134页.5 包昌火.竞争对手分析论纲.情报学报J,2009(2):第123-34页下面是赠送的保安部制度范本，不需要的可以编辑删除!谢谢！保安部工作制度一、认真贯彻党的路线、方针政策和国家的法津法规，按照#年度目标的要求，做好#的安全保卫工作，保护全体人员和公私财物的安全，保持#正常的经营秩序和工作秩 序。二、做好消防安全工作，认真贯彻“预防为主”的方针，教育提高全体人员的消防意识和防火知识，配备、配齐#各个楼层的消防器材，管好用好各种电器设备，确保#各通道畅 通，严防各种灾害事故的发生。三、严格贯彻值班、巡检制度，按时上岗、到岗，加经对重要设备和重点部位的管理，防止和打击盗窃等各种犯罪活动，确保#内外安全。四、加强保安队部建设，努力学习业务知识，认真贯彻法律法规，不断提高全体保安人员的思想素质和业务水平，勤奋工作，秉公执法，建设一支思想作风过硬和业务素质精良的保安队伍。11、保持监控室和值班室的清洁干净，天天打扫，窗明地净。12、服从领导安排，完成领导交办任务。5、积极扑救。火警初起阶段，要全力自救。防止蔓延，尽快扑灭，要正确使用灭火器，电器，应先切断电源。6、一旦发生火灾，应积极维护火场秩序，保证进出道路畅通。看管抢救重要物资，疏散危险区域人员。九、协同本部门或其他部门所进行的各项工作进行记录。保安员值班操作及要求一、交接岗1、每日上午9时和下午 19时 为交接岗。2、交接岗时将当班所接纳物品清点清楚，以及夜班所发生的情况未得到解决的需面汇报。检查值班室内外的卫生状况，地面无纸屑，桌面无杂物，整齐清洁。二、执勤1、7:50 8:10、13：50 14：10立岗迎接上班人员；12:00 12:20 、18:00 18:20立岗送下班人员。2、值勤时做到遇见领导立岗，检查物品立岗，外来人员进出立岗。3、门卫室值勤时，应做到坐姿端正，注视监视器的动态，做好接待工作，值勤期间不看书报电视，听收音机。不与无关人员聊天，劝阻无关人员不要在门卫室寄存物品或打电话，禁止打瞌睡。4、维持门口秩序，使之保持畅通。5、熟记消防，报警，救护及内部联系电话。三、巡逻巡逻是防盗及发现#有不安全因素的重要措施。1、每天按照巡检制度定时轮流巡逻。2、巡逻时思想集中，保持高度警惕，不吸烟，不与无关人员闲聊，并将每一点所发生情况记录清楚，巡逻时做到勤走动，勤思考，勤观察。发现问题及时报告。3、白天加强对观众区、办公区及楼道的巡逻，夜晚以机房为重点进行检查，每晚零点之后巡查不少于两次。四、防火工作1、严格门卫制度，严禁无关人员，将易燃易爆物品带入#。2、发现违反安全规定的电源和火种，应予以切断和熄灭，应报告#领导采取相关措施。3、值勤时发现物质储存，保管不符合防火要求，消防器材移作他用及非正常使用灭火器，应及时阻止，并报告，提请有关部门整改。4、发生火灾先拨打 119 向消防部队报警，并立即报告#领导。报警时简要讲清#地址，电话号码及火情，同时派人在门口接应，引导消防车进入火场，向消防人员介绍水源，总电闸部位等。