DMS数据采集系统文献综述

毕业设计（论文）文 献 综 述浙江工业大学之江学院毕业设计（论文） 文献综述电信计费系统中的dms数据采集系统简介1 电信计费系统 电信计费系统可分为两大部分1）后台数据服务，2）前台运营管理。后台数据服务可分为： A、采集系统； B、整合系统；前台运营管理可分为： A、用户管理系统； B、资费管理系统； C、管理员管理系统； D、账单查询系统； E、账务查询系统； F、权限管理系统；本设计主要针对电信计费系统中的后台数据服务进行程序设计。随着我国电信网络的迅速发展，电信各专业网络设备和网管系统的数量和类都在不断增加，迫切需要解决网络管理及故障的快速响应问题。然而，目前国内的电信本地网普遍存在网管设备多、报警环境杂乱，综合值班人员必须24 小时不停轮询查看各专业网管的告警信息的问题，很容易导致漏警和误警。为此，中国电信急需研发跨专业、跨系统、跨平台的本地网集中监控系统，将各系统的相关信息集中到一个统一的平台上，实现集中监视、集中控制、集中维护、集中管理。传统的数据采集系统多基于单线程设计，占用了大量的时间，为了提高工作效率，将多线程技术应用于数据采集系统的设计中。在传统的程序设计中，数据采集是通过定时刷新Web 界面来实现，即每隔一段时间浏览器就会执行采集数据的程序，并刷新界面，将结果输出到Web 界面中，这样不仅服务器的负担加重了，而且不能满足系统需求。利用J2EE 实现的多线程给我们提供了行之有效的方法服务器与运行在监视对象上的数据采集引擎以面向连接方式建立数据流，采集状态信息后，各个线程对到达的状态信息进行解析，并存入实时数据库中1。2 数据采集系统2.1 数据采集系统在电信计费中的重要性数据采集系统是电信企业不可缺少的部分，电信计费系统的发展经历了三大历史阶段，人工计费到如今的自动计费，电信计费系统朝着灵活化、复杂化、全面化方向发展已经成为可能。与此同时，由于市场经济下竞争的加剧，计算机技术、数据库的日趋成熟，客户群对电信计费系统提出了更高的要求。为了满足市场的需求，急需寻求一个集实时性、集中性、综合性为一体的电信计费系统。 面对以上新情况，一个适应市场需求的电信计费系统的数据采集系统是非常必须的，有了这样一个系统使资源得到合理和有效的利用。而且随着科学技术的不断提高，计算机科学日渐成熟，其强大的功能已为人们深刻认识，它已进入人类社会的各个领域并发挥着越来越重要的作用。 2.2 数据采集系统带来的效益 数据采集系统采用的结构为C/S加上多线程的技术，以及Tcp/Ip协议的使用。此系统采用先进的计算机科学技术使工作变得轻松，注意力向更高层次转移。由于数据库的使用，采集过来的无序杂乱的数据分成各个详细表来储存，原始数据经过数据挖掘后提取的信息便于被用户理解，数据易于共享导出。数据同步，执行效率高。方便查询打印等。3 数据采集系统采用的技术 数据采集系统是电信计费系统中非常重要的一部分，它的准确性和重要性对于 电信企业和客户来说都非常重要，它决定着客户对于企业的信任与否，以及一个企业的形象，所以能够提供又快又准确的数据采集系统是至关重要。面对这些要求数据采集系统的设计将采用多线程的数据采集技术以及数据挖掘技术来进行实施。3.1 线程技术的应用从Java当前的应用看，它主要用于在Internet或局域网上的网络编程。在实现网络服务器程序时，为提高程序运行效率，降低用户等待时间，特别是在C/S模式下的单Server响应多Client请求中、以及数据库连接池的动态管理中，Java的多线程特性表现的淋漓尽致2。 采用多线程并发处理方式，为每个监视对象生成一个独立的线程，并行地完成数据采集、识别、转换工作，最大限度地利用了多线程操作系统提供的多线程处理优势，高效地满足了高速、实时传输、转换的性能要求。此外，用户还可根据不同系统对实时性的不同要求，在系统提供的界面下设置线程运行的周期(如完成一次采集后休眠10s 自动重新启动线程)，可控性高，具有很强的灵活性。用它来实现数据采集，既减轻了服务器的负担，又保证了数据采集的准确和高效。多线程技术的种种优点正好适应了高速计算机技术的发展及人们对计算机的高性能要求。由于它的强大功能，在计算机程序设计中，它必将扮演着越来越重要的角色。数据采集系统一般由数据输入通道、数据存储与管理、数据处理、数据输出及显示五个部分组成。传统的数据采集系统多基于单线程设计，同时刻只有一个进程工作，占用了大量的时间。为提高工作效率，将多线程技术应用于数据采集系统的设计中，即同时运行各进程，在进行数据采集的同时也可完成数据处理、存储和显示等任务，可克服采用单线程带来的响应不及时等问题3。3.2数据挖掘的原理及应用3.2.1原理 数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的，人们事先不知道的，但有潜在有用的信息和知识的过程。在人工智能领域，通常又称为数据库中知识发现(Knowledge Discoveryin Database，DD)。它是一门广义的交叉学科，汇集了数据库、数理统计、可视化、并行计算等方面的知识，通常包含数据采集、数据预处理、模式发现、模式评估、知识表示等过程4。数据挖掘的结果是发现知识。发现知识的方法可以是数学的、也可以是非数学的；可以是演绎的、也可以是归纳的。发现的知识可以被用于信息管理、查询优化、决策支持和过程控制等，还可以用于数据自身的维护5。3.2.2数据挖掘的应用数据挖掘技术源于商业的直接需求，因此它在各种商业领域都存在广泛的使用价值。现在已经应用数据挖掘技术的领域都是信息量大、环境复杂、需要知识帮助进行管理和决策的领域。目前比较活跃的应用方向有：1）在零售业中的应用。零售业是数据挖掘的主要应用领域，这是因为零售业积累了大量的销售数据，如顾客购买史记录、货物进出、消费与服务记录以及流行的电子商务等等都为数据挖掘提供了丰富的数据资源。2）在金融数据分析中的应用。多数银行和金融机构都提供了丰富多样的储蓄，信用，投资，保险等服务。他们产生的金融数据通常比较完整、可靠，这对系统化的数据分析和数据挖掘相当有利。3）在医学上的应用。近年来，生物医学研究有了迅猛地发展，从新药的开发到癌症治疗的突破，到通过大规模序列模式和基因功能的发现，进行人类基因的识别与研究。在人类基因研究领域具有挑战性的问题是从中找出导致各种疾病的特定基因序列模式6。另外，数据挖掘还可广泛应用于银行金融、零售与批发、制造、保险、公共设施、政府、教育、远程通讯、软件开发、运输等各个企事业单位及国防科研上7。本设计中的数据采集系统仅采用了数据挖掘其中的数据采集过程，在数挖掘方面据还有非常大的潜能可以运用。3.2.3 数据采集系统的国内外现状在国外，数据挖掘技术已被广泛的应用于各个领域，其中有一些典型应用：如加州理工学院喷气推进实验室与天文科学家合作开发的SKICAT系统，能够帮助天文学家发现遥远的类星体，是人工智能技术在天文学和空间科学上的第一批成功应用之一，生物学研究中用数据挖掘技术对DNA进行分析，利用数据挖掘技术识别顾客的购买行为模式，对客户进行了分析；对银行或保险公司经常发生的诈骗行为进行预测， IBM公司开发的AS(Advanced Scout)系统针对NBA的比赛数据，帮助教练优化战术组合等。在学术研究上，数据库、人工智能、信息处理、知识工程等领域的国际学术刊物也纷纷开辟了数据挖掘专题或专刊， 如IEEE 的Knowledge and Data Engineering会刊领先在1993年出版了数据挖掘技术专刊，在Internet上还有不少数据挖掘电子出版物，其中以半月刊Knowledge Discovery Nuggets最为权威。另一份在线周刊为DS3 (DS代表决策支持)，1997年10月7日开始出版，可向dstrialtgc1com提出免费订阅申请。与国外相比，我国对于数据挖掘技术的研究稍晚一点，并且没有形成整体量。1993年国家自然科学基金首次支持数据挖掘领域的研究项目，目前，国内的许多科研单位多竞相开展数据挖掘和其应用和研究，例如，复旦大学施伯乐教授领导开发了数据挖掘工具集AM INER，北京大学智能科学系的唐世渭和杨冬青教授领导开发了基于空间数据挖掘的客户分析系统模型CAS2DM。在数据挖掘算法研究方面，中科院计算所史忠值研究员、清华大学石纯一、陆玉昌教授、武汉大学李德仁院士、北京科技大学杨炳儒教授、复旦大学周傲英教授等都取得了许多重要的研究成果8。3.3 开发平台机鉴于本系统运行环境的复杂性不同的操作系统、不同的数据库服务器、不同的网络架构和实现方式，必须构建能够较好支持跨平台开发的环境。其次，系统要求能够根据不同的功能模块需求采用不同的设计模式。此外，综合考虑其它的优良性能，本系统选用了J2SE 平台，并使用Java核心技术作为C/S 模式的开发。4 数据采集系统的实现 数据采集系统是把客户登入的信息通过客户端线程来采集数据并把数据进过初步整理，然后再在通过服务端线程把客户端的信息接收过来一起存入数据库中，最后再以年、月、日为单位把数据进行进一步的整合放入到数据库中的明细表里以便于后面的计费的实现。采集系统定时将用户使用服务器的数据存入到了数据库中，但这些数据都是流水帐的数据，是用户每次使用UNIX操作系统的用时。如果用户量大，用户频繁地登入/出，将产生大量的数据，不便于将来生成用户的月帐单和对开放实验室的使用情况进行月统计和年统计，因此出现了整合系统。整合就是将用户在某一时段内所用机时求和后形成一条记录。系统采用J2SE开发平台，系统采用mysql作为系统底层的支持平台。连接数据库的技术是JDBC(Java Database Connectivity)，它是Java与数据库的接口规范。Java程序通过JDBC驱动程序与数据库相连，执行查询、提取数据等操作。5总结数据采集系统作为电信计费系统中的一项重要组成部分，它将用户流水账般的数据，通过多线程以及数据挖掘技术高效，可靠的把它们整合到数据库中的明细表中，使我们能够一目了然，便于客户列表打印，也便于电信公司的计费和审核。它的高效率和高可靠性必将在我国的各种行业中得到越来越广泛的应用。由此可见数据采集系统的设计是非常必要的。参考文献1 刘志祥，石永革，陈晓璠在J2EE平台上采用多线程技术实现并发数据采集J计算机与现代化，2004，3（11）：58-602 张华杰，常本超Java 多线程技术探讨J科技创新导报，2009，（22）：18-193 冯钟多线程技术在数据采集系统设计中的应用J通化师范学院学报，2008，29（8）：33-354 连顺金多进程多线程在数据采集处理的应用设计J福建电脑，2008，（9）：161-1625 孙琼琼，郭静博数据挖掘技术研究及应用J电脑知识与技术，2009，5（23）：6341-63426 刘圣卿，游胜玉数据挖掘在高速公路收费系统中的应用探讨J科技广场，2010，2（12）174-1767 靳 晋数据挖掘技术J应用技术，2010，1（20）：3118 郑继刚，王边疆数据挖掘研究的现状与发展趋势J思茅师范高等专科学校学报，2010，26（3）：36-399 李艳玲，郑淑荣Java 多线程技术浅析J现代计算机，2007，（273）：82-8410 李光春，黄建国，王志刚多线程技术在数据采集中的应用J技术平台，2009，11（7）：85-8711 叶 斌电信运营系统的数据挖掘研究J现代商贸工业，2010，3（15）：318-32012 吴志勇，吴跃数据挖掘在电信业中的应用研究J计算机应用，2005，25（2）：213-21413 宋加山，李 勇，季 峰数据挖掘技术在电信行业中的应用J经济研究，2010，2（15）：51-5214 袁 溪数据挖掘技术及其应用J科技资讯，2010，（10）：22-2415 林向阳基于数据挖掘的电信客户流失研究综述J业务与支撑系统，2010，（8）：71-7516 张雪松，毛云龙，檀竹南数据挖掘技术的研究应用综述J石油工程技术，2009，（10）：60-6217 李建宏，何玉珠 多线程技术在复杂数据采集系统中的应用J电子测量技术，2008,31（5）：102-10418 Lars VogelIntroduction to Java ProgrammingEB/OL(2008-7-8) 2010-1-12http:/ www.vogella.de/articles/JavaIntroduction/article.html#questions19 THilo Kielmann，Philip etcHatcher Enable Java for High Performance Computing J Communication acm，2001，44(10)：110-1175