资源描述
河南省安全生产信息化数据交换标准(试行)河南省安全生产监督管理局2018年7月1文档概述21.1文档说明21.2文档目的21.3文档定义22建设目标32.1建设内容32.2技术要求33总体设计43.1技术架构43.2部署架构43.3设计原则53.3.1架构体系53.3.2数据传输53.3.3数据复用63.3.4接口63.3.5管理监控63.3.6安全保障63.4运行环境73.4.1省局数据交换平台73.4.2市局数据交换平台74数据交换设计74.1数据交换形式74.1.1文件传输74.1.2数据集成74.2数据交换内容84.3数据交换设计94.3.1省安监平台-市安监平台(基础数据交换流程)94.3.2市安监平台-省安监平台(基础数据交换流程)104.3.3市安监平台-省安监平台(业务结果数据交换流程)114.3.4省安监平台-第三方系统(基础数据交换流程)134.3.5第三方系统-省安监平台(业务结果数据交换流程)144.4服务设计154.4.1服务注册154.4.2数据服务155附录155.1附录一:返回码定义151机密请勿外传 文档属性页 机密请勿外传1 文档概述1.1 文档说明本文档是河南省安全生产信息化相关系统数据交换部分的规范文档,文档分为建设目标、总体设计、数据交换设计3大部分,以河南省安全生产综合监管平台为例,对数据交换进行设计和描述。在总体设计中,明确设计的原则;绘制总体框架及明确数据交换在数据中心中所处的地位;详细给出数据交换平台的运行环境。在数据交换设计中,对交换所采用的多种形式进行逐一描述;给出交换的主要内容和列表;对每项交换内容进行详细的设计。1.2 文档目的本文的读者为河南省安全生产信息化相关系统项目组成员,详细设计参与人员,数据交换管理开发人员。本文档明确数据交换的内容,描绘和搭建数据交换的架构,对其中的功能模块进行概要设计,为详细设计和开发提供依据。1.3 文档定义Webservice:Web Services是由企业发布的完成其特定商务需求的在线应用服务,其他公司或应用软件能够通过Internet来访问并使用这项在线服务,它是一种构建应用程序的普遍模型,可以在任何支持网络通信的操作系统中实施运行;它是一种新的web应用程序分支,是自包含、自描述、模块化的应用,可以发布、定位、通过web调用。Web Service是一个应用组件,它逻辑性的为其他应用程序提供数据与服务.各应用程序通过网络协议和规定的一些标准数据格式(Http,XML,Soap)来访问Web Service,通过Web Service内部执行得到所需结果.Web Service可以执行从简单的请求到复杂商务处理的任何功能。一旦部署以后,其他Web Service应用程序可以发现并调用它部署的服务。exadm:图讯数据交换服务平台WSDL:描述Web服务的公共接口。这是一个基于XML的关于如何与Web服务通讯和使用的服务描述;也就是描述与目录中列出的Web服务进行交互时需要绑定的协议和信息格式。通常采用抽象语言描述该服务支持的操作和信息,使用的时候再将实际的网络协议和信息格式绑定给该服务。Schema:用于描述和规范XML文档的逻辑结构的一种语言,它最大的作用就是验证XML文件逻辑结构的正确性。可以理解成与DTD(文档类型定义)功能差不多,但是Schema在当前的WEB开发环境下优越很多。因为它本身就是一个有效的XML文档,因而可以更直观地了解XML的结构。除此之外,Schema支持命名空间,内置多种简单和复杂的数据类型,并支持自定义数据类型。由于存在这么多的优点,所以Schema渐渐成为XML应用的统一规范。MQ:是一种应用程序对应用程序的通信方法。应用程序通过写和检索出入列队的针对应用程序的数据(消息)来通信,而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信,而不是通过直接调用彼此来通信,直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。2 建设目标2.1 建设内容制订信息交换的规范,搭建能够满足各种异构数据库访问、存取的环境,搭建数据交互和共享的通路。同时具备多种数据访问方法,使得各应用系统能够简单、高效的获得所需的数据、简化各应用系统间的数据交换。实现跨异构数据源的数据复制和联邦查询,解决河南省安全生产综合监管平台对全省各市安监局经营及其它系三方系统数据的收集及数据的交换,达到最终实现系统数据的共享。通过数据交换平台,将增量数据汇总到省级数据中心,形成一个集成多种业务主题的数据仓库,为下一步的辅助决策信息化打下坚实基础。2.2 技术要求完成基于SOA的数据交换平台设计规范,实现基于交换平台的现有系统间的数据交换,数据交换技术应包括但不限于以下技术:MQ传输通道、ETL传输、文件传输(FTP)、服务访问(Web Service)等。建立数据集成与交换平台,将各应用系统间的数据层面和应用层面的信息共享需求转化为服务,增强系统的扩展性和集成的灵活性。从根本上解决各市局和省局之间纵向数据交换需求,及省局与各自业务系统之间、与其他政府单位之间的横向数据交换需求;同时为分析、决策系统做好数据准备。3 总体设计3.1 技术架构业务系统与安全生产综合监管平台通过图讯exadm数据交换平台和Webservice服务进行数据交换。其中WebService服务负责交互实时性高的轻量级数据,exadm平台负责交互大量级数据。3.2 部署架构 根据河南安监当前业务系统信息交换及共享的需求,结合未来业务扩展的需要,数据交换平台采用省、市两级部署。河南安监数据交换服务体系部署架构如下图所示:省局数据交换平台负责省级业务系统间的横向数据交换、与安委会成员单位之间的交换、与各市局间的纵向数据交换,除了进行数据交换外,省局平台还提供对数据交换平台进行集中管理和监控的功能。 市局的数据交换提供市局内部业务系统间的横向交换、对省市纵向交换的数据进行预处理(交换到省局临时库)。3.3 设计原则河南安监数据交换平台,是数据中心建设的核心内容,平台除了满足当前的数据交换和共享需求外,还要能适应企业未来整个信息化发展的需要。数据交换平台在设计、开发阶段需遵循以下原则:3.3.1 架构体系 数据交换平台采用省市两级平台部署,两级平台之间、平台与外部业务系统间采用服务的方式进行数据交换,整个平台采用省局集中管理和监控。3.3.2 数据传输1. 通道: 采用可靠、合适的数据传输通道,确保数据传输的安全与实时。异地数据传输采用MQ进行异步传输,确保数据传输的安全;本地数据(非大数据量)原则上采用WebServices方式进行实时传输;海量数据的加载,采用exadm平台辅助实现。2. 数据格式: 数据在平台内部、服务接口均采用XML格式进行传输,针对业务系统的特殊接口,通过平台前端适配器进行数据格式转换。3. 数据标准: 平台的输入、输出、中间过程的数据均要求满足交换数据的数据标准,针对业务系统的特殊接口,通过平台前端适配器进行数据标准转换。3.3.3 数据复用 对于相同的数据,平台从业务系统只采集一次,然后根据业务流程的需要,采用缓存、分发方式提供给相应的业务系统,减少对业务系统的压力和网络负载,同时可以确保企业各业务系统间数据的一致性。3.3.4 接口1. 平台对外接口: 平台对外接口需要遵循SOA标准,以WebServices、MQ接口为主。可以根据需要扩充其他符合SOA标准的协议接口。2. 业务系统接口: 原则上平台对业务系统接口提供的数据要求符合企业交换数据的元数据标准、接口要符合SOA标准并采用WebServices或MQ协议。3.3.5 管理监控1. 在省局平台实现集中式的管理和监控。2. 对所有的交换和服务记录日志信息和统计信息。3. 可根据需要配置交换策略、提供界面手动启动或通过服务调用启动交换服务。4. 提供对服务异常信息的界面查询及性能统计。3.3.6 安全保障1. 根据需要,采用安全的数据传输机制,如MQ进行异地传输。2. 记录交换日志,确保传输异常的数据能够被及时的发现和分析。3. 采用服务授权机制,确保服务不被非法调用。3.4 运行环境3.4.1 省局数据交换平台省局的数据交换平台部署在省局硬件要求:2 CPU 2G主频以上 2G内存 100M网卡 60G硬盘空间支撑软件:IBM MQ、WebSphere、TomCat应用软件:exadm3.4.2 市局数据交换平台市局的数据交换平台部署在市局硬件要求:2 CPU 2G主频以上 2G内存 100M网卡 60G硬盘空间支撑软件:IBM MQ、WebSphere、TomCat应用软件:exadm4 数据交换设计4.1 数据交换形式 当前,数据交换模式可以分成文件传输、数据集成两种。4.1.1 文件传输文件传输就是把交换的数据用文件的方式保持起来,通过某种协商好的方式传递给对方。可能通过方式有HTTP文件上传/下载、FTP 模式进行文件暂存、通过mail 发送、通过移动硬盘复制等。文件格式一般事先定义,早期是用分隔符隔开的字符串,现在一般用XML 格式。4.1.2 数据集成数据集成一般是绕开相对更复杂的应用系统,直接读另一个系统的数据库、直接写另一个系统的数据库、或利用中间库来传递数据。常见的数据集成的模式有:1. 数据复制(数据同步)。数据库自带或用第三方的工具。利用数据复制,可以把远程数据库复制到本地,好处是:使数据的使用更方便,减轻对网络的依赖,不用改动远程系统,可以通过设定复制时间来减少对原系统负载的影响。2. ETL 抽取。是一种数据中心常用的数据获取方式,算是一种特殊的数据复制。一般依赖第三方的ETL 工具。相对于数据复制,支持的数据源种类更多,关键是可以对数据进行清洗、转换,并对数据质量有所控制。3. 数据库联邦或数据库直连。数据库联邦是一种技术,把多个数据库映射为一个虚拟数据库。利用数据库联邦可以用一个SQL 语句来关联多个数据库的表进行联查,大大降低数据处理难度和数据库相关程序的编写难度。数据库直联指直接联上其它系统的数据库读取数据。为了防止误操作,一般会建立数据库视图来供其他系统访问。无论数据库联邦还是数据库直联都只是一种数据获得方式,需要另外开发程序或利用工具来处理数据。DB2 的数据库联邦叫DB2II,ORACLE 的数据库联邦叫DB LINK。4. 中间库模式。虽然数据库联邦和数据库直联实现简单,但由于不好控制外部系统的访问时间,容易对系统数据库造成额外的压力而影响系统运行。而且外部系统看到的数据比较多,往往搞不清哪些数据是自己要的。针对以上两个问题,提出了中间库模式。中间库模式是提供数据的系统把变化了的数据写入中间库,然后外部系统定时读中间库来获取数据。5. 通过 Webservice调度。提供公用WebService供第三方厂商调用。WebService服务在网络连接、标准化、易用性上都有优点,但是存在效率不高等问题。所以只适合于小数量级的数据交互。6. MQ消息传递模式。消息队列(MQ)是一种应用程序对应用程序的通信方法。应用程序通过写和检索出入列队的针对应用程序的数据(消息)来通信,而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信,而不是通过直接调用彼此来通信,直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。4.2 数据交换内容 数据交换平台主要处理省安监平台与市安监平台、第三方系统的基础共享数据和业务结果数据,具体内容如下表(表示交换,表示不交换):序号交换流向基础数据业务结果数据1省安监平台-市安监平台(exadm)2市安监平台-省安监平台(webservice)(exadm)3省安监平台-第三方系统(webservice)4第三方系统- 省安监平台(webservice)4.3 数据交换设计4.3.1 省安监平台-市安监平台(基础数据交换流程)4.3.1.1 业务说明 将省局安监平台中的基础数据下发到市局安监平台。4.3.1.2 流程图4.3.1.3 流程设计 1、省局数据交换平台触发抽取业务层数据JOB:省局数据交换平台配置的JOB,将业务层数据抽取并预存到临时库。 2、省局数据交换平台记录JOB日志:数据抽取完毕则更新日志状态。日志信息表字段:作业ID、作业状态、开始时间、结束时间、异常信息(作业状态0表示开始 ,1表示正在进行或异常,2表示完成)。 3、市局数据交换平台触发抽取业务层数据JOB:市局数据交换平台配置的JOB,将省局临时库的数据抽取到市局业务库。 4、市局数据交换平台记录JOB日志:数据抽取完毕则更新日志状态。日志信息表字段:作业ID、作业状态、开始时间、结束时间、异常信息(作业状态0表示开始 ,1表示正在进行或异常,2表示完成)。4.3.2 市安监平台-省安监平台(基础数据交换流程)4.3.2.1 业务说明 将市局安监平台中的基础数据更新到省局安监平台。4.3.2.2 流程图4.3.2.3 流程设计 1、市局业务系统发出基础数据变更请求:市局业务系统基础数据(如部门名称)发生变动后,向省局WebService服务平台发送变更请求。 2、身份/权限认证:省局WebService服务平台收到请求后,对请求方做身份和权限认证,如果请求方没有相应权限,则返回提示信息;如验证通过,则调用相关接口。 3、WebService接口处理:通过接口处理相关数据处理。 4、省局Webservice服务记录日志:数据处理完毕则更新日志状态。日志信息表字段:服务ID、开始时间、结束时间、异常信息(状态0表示开始 ,1表示正在进行或异常,2表示完成)。4.3.3 市安监平台-省安监平台(业务结果数据交换流程)4.3.3.1 业务说明 将市局安监平台中的业务结果数据上传到市局安监平台。4.3.3.2 流程图4.3.3.3 流程设计 1、市局数据交换平台触发抽取业务层数据JOB:市局数据交换平台配置的JOB,将业务层数据抽取并预存到省局临时库。 2、市局数据交换平台记录JOB日志:数据抽取完毕则更新日志状态。日志信息表字段:作业ID、作业状态、开始时间、结束时间、异常信息(作业状态0表示开始 ,1表示正在进行或异常,2表示完成)。 3、省局数据交换平台触发抽取业务层数据JOB:省局数据交换平台配置的JOB,将省局临时库的数据抽取到省局业务库。 4、省局数据交换平台记录JOB日志:数据抽取完毕则更新日志状态。日志信息表字段:作业ID、作业状态、开始时间、结束时间、异常信息(作业状态0表示开始 ,1表示正在进行或异常,2表示完成)。4.3.4 省安监平台-第三方系统(基础数据交换流程)4.3.4.1 业务说明 第三方系统从省局安监平台获取基础数据。4.3.4.2 流程图4.3.4.3 流程设计 1、第三方系统发出基础数据获取请求:第三方系统向省局WebService服务平台发出基础数据获取请求。 2、身份/权限认证:省局WebService服务平台收到请求后,对请求方做身份和权限认证,如果请求方没有相应权限,则返回提示信息;如验证通过,则调用相关接口。 3、WebService接口处理:通过接口处理相关数据处理,数据结果集返回请求方。 4、省局Webservice服务记录日志:数据处理完毕则更新日志状态。日志信息表字段:服务ID、开始时间、结束时间、异常信息(状态0表示开始 ,1表示正在进行或异常,2表示完成)。4.3.5 第三方系统-省安监平台(业务结果数据交换流程)4.3.5.1 业务说明 第三方系统将业务结果数据写入省局安监平台。4.3.5.2 流程图4.3.5.3 流程设计 1、第三方系统发出业务结果数据写入请求:第三方系统向省局WebService服务平台发出业务结果数据写入请求。 2、身份/权限认证:省局WebService服务平台收到请求后,对请求方做身份和权限认证,如果请求方没有相应权限,则返回提示信息;如验证通过,则调用相关接口。 3、WebService接口处理:通过接口处理相关数据处理,数据写入省局临时库。 4、省局Webservice服务记录日志:数据处理完毕则更新日志状态。日志信息表字段:服务ID、开始时间、结束时间、异常信息(状态0表示开始 ,1表示正在进行或异常,2表示完成)。 5、如果省局安监平台为自动审核入库,则数据自动调度入库;否则需省局人员前台进行审核操作入库。4.4 服务设计数据交换平台的服务功能包括服务管理、数据服务。平台提供服务注册、服务发现、服务权限管理、服务发布等服务的管理功能。数据服务功能是平台向企业数据使用者提供符合SOA标准的数据服务,包括数据访问、更新服务等。4.4.1 服务注册所有接口服务需要数据交换平台进行注册。4.4.2 数据服务平台根据应用需要,逐步实现为企业用户提供实时的数据访问服务,服务用WebServices、MQ等符合SOA标准的接口协议,平台根据数据服务的具体内容及访问限定,选择合适的服务形式。对于实时性要求要的,小数据量的数据访问,采用WebServices接口;异地数据传输,数据推送形式的服务,采用MQ接口。大数据量的数据交换服务,平台采用ETL工具实现数据交换过程,同时平台提供对这些流程的启动服务,服务采用WebServices接口。5 附录5.1 附录一:返回码定义说明:500以下为系统定义,500以上为各应用流程自定义CODEMSG000传输成功!100用户不存在!101用户已停用!102帐户名密码不正确!103调用服务运行时错误!104应用系统错误! 107返回数据量超过允许范围!108没有调用该服务的权限!109该服务不存在!110状态信息记载失败111未找到指定的MQ配置信息500500以上为用户自定义扩展用 16
展开阅读全文