浅论电子政务数据交换的技术

浅论电子政务数据交换的技术【摘要】数据交换共享平台是用来解决电子政务实施过程中异构数据库无法进行有效交流和沟通的问题，从而真正实现不同应用系统、不同操作系统、异构数据库系统之间的信息互连、互通。其主要包括不同异构数据之间的数据交换、汇总、整理以及共享。建立政务数据交换平台实际是实现政府应用实例和方法经过数据交换平台的实际应用，满足了政府委办的实际需求，缩短政务文件的处理时间，简化处理流程，提升政府办公效率，节约办公成本，提高政府的形象和业绩。【关键词】电子政务 交换 技术 【正文】1 概述数据交换共享平台根据不同类型业务特色和技术要求特点，量身定制了相应的数据交换解决方案，帮助政府各部门最大限度地实现信息的整合与共享。大数据量实时传输主要应用于各个机关部门内部的上下级数据交换，解决了数据交换在频次、带宽、数据实时性和完整性方面的特殊需求。在数据交换共享平台大数据量实时传输解决方案中，各级业务部门利用业务支撑平台提供的模板定制工具定制数据抽取模板、数据流引擎、数据过滤模板和数据加载模板，利用数据交换共享平台与上下级机关数据库进行数据传输。由于数据交换共享平台采用异步传输方式，因此，业务系统不需等待传输的完成，也不需过分考虑网络带宽对业务系统的影响。2 实现原理2.1 数据转换原理数据转换原理图原理图说明：发送端屏蔽数据的差异从不同数据源抽取数据以后经过转换处理，转换成标准XML数据，在数据共享交换平台中流通，服务器使用XSLT+XPATH技术清洗过滤生成新的XML数据，到了接收端再将XML解析转换成相应的目标格式。2.2 数据交换原理交换原理示意图原理图说明：业务系统之间通过数据共享交换平台交换数据。交换过程大体上可以分为三大步： 第一步是发送n 代理将业务数据转换成标准XML数据；n 可以根据实际情况选择是否压缩；为了安全起见，可以选择将XML数加密；n 服务器对连接的代理进行安全验证，确认代理和用户的真实性和合法性；n 数据传输可以根据实际情况采用MQ，FTP等传输方式； 第二步是转发：服务器采取存储转发机制对传输数据进行分发； 第三步是接收：接收是发送的逆过程；3 系统结构数据交换共享平台逻辑图如上图，由里至外。首先是位于图中央的部分，它是数据中心的核心应用数据共享与交换平台。主要功能包括：数据交换、数据采集、数据访问、数据路由、数据分发、数据转换、数字签名、数据加密/解密、数据压缩/解压等等。核心的次外层是传输层，传输层主要负责数据的安全稳定传输。数据交换支持MQ、FTP等等多种传输方式。而数据共享则主要采用符合SOAP协议标准的可信WebService技术来完成数据的安全共享和安全传输。紧接的部分是平台的接口层，接口层主要包括接口子系统。接口子系统是数据共享与交换平台所有应用功能和管理功能对外开放的接口的总称。数据共享与交换平台对外开放的功能主要包括：数据包格式定义、数据汇总、数据存取访问、数据转换、任务定制、接口自定义等等。应用接口满足多种高级编程语言应用的二次开发需要，支持基于工作流的协同数据服务，支持监控管理。与接口紧密相接的是数据层，它是数据中心的“宝藏”。可以看到，数据中心共享/交换数据库、各个部门的共享/交换数据库和其他数据中心共享/交换数据库都在数据层之内。虽然各个共享/交换数据库所处的物理位置不一样，但是通过数据共享与交换平台、传输层和接口层衔接在一起，就形成了一个大而广的共享/交换数据库。数据共享与交换平台支持多层次树型结构，方便垂直和横向的扩展，方便新应用和部门的接入。4 业务设计数据交换共享平台是用来解决电子政务实施过程中异构数据库无法进行有效交流和沟通的问题，从而真正实现不同应用系统、不同操作系统、异构数据库系统之间的信息互连、互通。需要实现的目标包括以下几点： 数据中心与上级部门之间传递数据； 数据中心与各政府职能部门之间传递数据； 数据中心与县（市）区政府数据中心之间传递数据；从具体实现上讲，就要求数据交换共享平台必须具备提供一个完善的数据交换和共享解决方案，下面将重点介绍如何通过数据交换和共享平台来实现交换和共享的主要功能。4.1 数据交换数据交换是数据交换共享平台的核心功能之一，主要发生在业务部门之间、业务部门与数据中心之间、各级数据中心之间。以下是数据交换的流程示意图：数据交换的流程图如上数据交换/采集流程示意图所示，整个数据交换平台由数据中心的数据交换服务器和分布在各业务部门的数据交换服务器组成，由数据中心统一管理。各个数据交换服务器之间采用XML交换格式进行数据交换。首先，数据中心按照交换需求统一制定数据交换标准，并将数据交换标准下发给交换数据的收发双方。接收方遵循数据交换标准建立自己的数据交换数据接收服务。数据发送方遵循数据交换标准建立自己的数据发送服务，并且按规定通过数据交换平台及时将数据发送给数据接收方。接收方已经定义好的接收服务接收数据（直接入库或者用于业务处理）。系统提供基于文件的数据交换实现方式来满足数据交换需要。基于文件交换的方式是一种数据提供方主动发送数据，数据使用方被动接收数据的数据交换方式，也是最主要的数据交换方式，交换的双方通过定义发送和接收任务来进行数据文件的交换。数据文件采用标准的XML文件格式。基于标准XML文件的数据交换由数据共享与交换平台自动从前置机交换数据库中提取数据，并按照定义好的模板打包生成标准的XML文件，由定制好的发送任务发送给接收方。接收方接收到XML文件后自动进行解包处理，并将数据存储到接收方的前置机交换数据库中。4.2 数据共享数据共享与交换平台建设的总体目标之一就是要解决电子政务建设面临的主要数据问题，实现业务部门之间的数据交换与信息共享。共享数据包括数据中心建立的基本共享数据和各个部门提供的业务数据共享数据。所有的共享数据统一先在平台上注册管理，然后通过平台统一的数据共享接口向外提供共享服务。数据使用者统一通过数据共享与交换服务器提供的数据共享服务来访问数据。下面举一个数据查询的例子来叙述数据访问功能的使用过程。数据共享流程图示意图说明：分两种数据访问的情况来说明数据访问的过程。第一种是跨网域的数据访问。对于部门共享业务数据的数据访问过程： 数据使用者向平台级数据共享服务器发出查询共享业务数据的数据访问服务请求。 平台级数据共享服务器首先验证数据访问用户的合法性，并验证该用户是否具有他所请求的共享数据的数据访问权限，如果通过验证，则进行下一步。 由于共享数据不在数据中心局域网内，因此平台级数据共享服务器会根据共享数据元信息将请求路由到相应数据提供方的数据共享服务器。 部门数据提供方数据共享服务器确认响应平台级数据共享服务器请求，查询数据并返回查询结果给平台级数据共享服务器。由于平台级数据共享服务器已经进行了用户的合法性以及数据使用权限的验证，所以数据提供方数据共享服务器只要确定是否是来自平台级数据共享服务器的数据访问请求，而不必再次做重复的工作。当然，也可以根据情况调整信任机制。 最后平台级数据共享服务器将查询结果返回给发出查询请求的应用系统。第二种是网域内的数据访问。也就是共享数据服务和共享数据本身都在同一个网域内，如数据中心基本共享数据的数据访问和业务部门内部的业务数据访问。我们以数据中心基本共享数据的数据访问为例，有如下步骤： 数据使用者向平台级数据共享服务器发出查询个人基本信息的数据访问服务请求。 平台级数据共享服务器首先验证数据访问用户的合法性，并验证该用户是否具有他所请求的共享数据的数据访问权限，如果通过验证，则进行下一步。 平台数据共享服务器确认请求，查询数据并返回查询结果给数据使用者。5 功能设计数据交换共享平台主要包括数据抽取、数据转换、数据清洗、数据加载、映射程序、数据发送、数据接收、数据传输、数据共享和数据交换管理等功能。以下是各个模块的协作图：数据转换各模块的关系图说明： 数据库分为用户数据库和平台数据库； 数据转换模块数据流图适用于平台内部和跨平台操作； 平台数据库主要的操作是数据提取、保存；用户数据库主要的操作是数据检索、数据删除、数据更新和数据插入； 数据的压缩与加密可以是选择性的，对于重要数据则进行加密，对于用于外平台数据传输且数据量比较大的建议进行数据压缩； 业务数据组织和异构数据库数据的组织基本上相同，但具体内容有所区别； 数据传输出口只有一个，图中出现两个出口是为了说明两种业务的流程路线； 数据转化是将非标准的XML数据转化成XML标准数据；数据解析是将标准的XML数据转化成非XML标准的数据； 模板生成器模块的功能就是生成业务的显示页面和将数据采集框的属性名称和名字存成标准的XML格式； 数据压缩与加密模块的功能是对XML数据进行压缩和加密； 数据转换管理模块就是对数据转换的库表进行管理和对数据转换过程中的设置、参数的选择等进行管理；5.1 数据抽取屏蔽各种数据源的差异，从各种数据源获取数据及其格式信息。各种数据源包括各种关系数据库、非关系数据库、文档数据库和空间数据库以及各种标签数据文档平面文档等等。5.2 数据转换和解析数据转换与解析具有两方面的功能：将非标准的XML数据转换成标准的XML数据；根据半结构化信息定义的标准格式数据结构主题，对来自外部数据源的信息内容进行数据预处理，形成具有标准格式数据结构的内容。非标准格式数据转换成标准格式数据流程图将标准的XML数据解析成非标准的XML数据。标准格式数据数据转化为非标准格式数据主要是完成原数据或修改/编辑后的数据导入功能和按客户端指定格式显示的功能。标准格式数据转换成非标准格式数据流程图5.3 数据清洗采用XSLT和XPATH技术对中间数据XML进行过滤清洗和加工。5.4 数据加载屏蔽各种目标数据的差异，以指定的数据格式映射关系加载数据。各种目标数据包括各种关系数据库、非关系数据库、文档数据库和空间数据库以及各种标签数据文档平面文档等等。5.5 映射程序数据转换映射关系图提供映射关系配置的可视化工具，完成各种数据之间的映射关系。包括简单的映射和复杂的映射。比如合并、拆分、循环和嵌套等等。5.6 数据传输引擎数据传输是业务支撑平台的基础服务。它的目标是：实现业务支撑平台内，各个业务系统之间、业务系统与中心数据库之间的各种信息数据的可信传输（可靠性、安全性、完整性等），和实现跨平台、跨系统、跨应用、跨地区的互联互通和信息共享。它在“业务支撑平台”的实现中，扮演着信息交换的“公交车”；是连接业务支撑平台中，各个系统之间，各个应用之间，各个区域之间的信息交换纽带。它与数据流（工作流）引擎中和数据中心系统相互协作，共同构成了业务支撑平台的主体业务架构，实现业务支撑平台的核心功能。图数据传输引擎工作原理图数据传输引擎，为数据的交换建立一个稳定、可靠、快捷、便利的高性能数据传输通道；实现对多种传输方式。按照既定的流程传输数据。实现对发送和转发信息的完整性和保密性保护、实现发送人和转发人的身份鉴别和不可抵赖。可以通过配置选择发送方式、密级设定决定加密措施将数据加密和压缩组织成规定的数据包格式发送到指定的目的地。从数据包提取有关信息，将信息解密解压，根据数据的完整性和合法性，提供自动接收和人工审核确认接收、自动生成交换日志等功能。5.7 数据采集根据数据显示模板生成相应的数据采集界面，再按数据交换的数据规范将采集到的数据打包，并发送到相应的目标。5.8 数据交换管理 信息接收管理； 信息发送管理； 交换日志跟踪查询管理； 交换参数维护管理； 数据使用用户统计管理； 代理（客户端）管理 流量统计管理； 异常统计管理；5.9 数据交换接口使各类应用系统简单、方便地与交换系统相连，以便进行数据交换，包括目录文件、应用编程接口（API）、应用调度平台和数据交换管理中心。应用接口标识码统一使用平台有关编码。应用系统与交换系统的连接包括应用系统的追加、修改和删除等。应用接口可以实现多个应用系统以及多种数据类型（如业务数据、查询请求、传输日志和管理命令等）在交换系统中的相互兼容。针对各部门应用的各种开发工具（如JAVA、VB、C等）和操作系统，开发了相应的“数据交换共享平台安装程序”及接口调用函数包，以便用户将数据交换共享平台与各种应用信息系统有机整合起来。5.10 数据加密/解密政府部分数据涉及机密，与国家安全息息相关，为了防止数据在共享和交换的过程中被非法用户截获并获取隐私信息，系统将结合CA采用数字信封技术对数据进行加密/解密。既保证涉密数据的安全，又保证非涉密数据共享和交换的效率，这就要求在使用过程中能够方便的选择是否使用加密功能。5.11 数据压缩/解压数据共享和交换的需求多种多样，有时数据使用者一次需要返回的数据量过大，如果不作相应的处理，将可能造成严重的网络堵塞。为了解决这个问题，在发送数据时对数据包进行压缩，减轻网络的负载。与之对应接收数据时需要对数据包进行解压处理。系统提供数据压缩/解压，旨在减轻在传输时对网络的负载，但是如果多了数据压缩和解压的过程，必将影响数据处理的效率，这是一个不可避免的矛盾，因此应该可以根据实际情况作相应的配置。5.12 监控管理对数据服务进行监控管理，用户权限管理，运行日志查看，性能统计。通过数据服务日志可以记录、跟踪数据交换的细节。对数据交换节点进行管理，提供安全策略指南、服务器安全管理配置。6 结束语电子政务数据交换平台的构建能够较好地解决政务系统中的信息孤岛问题，进一步促进了政府管理流程优化，提高政府办公效率和管理水平将具有重要的推进作用。能够有效地促进政府职能的转变，塑造一种全新的政府管理模式。 【参考文献】 电子政务信息共享互联互通平台总体框架技术指南（试行）； 电子政务标准化指南；