数据交换平台介绍

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,数据交换平台,议程,数据交换平台概述,数据交换平台功能特点,数据交换平台应用案例,数据交换平台概述,数据源的多样,各类数据库、文件（文本、,Excel,、二进制）,数据格式的差异,交换策略的多样,主动、被动,实时、分时,同步、异步,交换数据的安全、可靠,网络、系统环境的复杂,配置、管理的复杂,数据交换过程中面临的问题,采用中间件,成熟的商用软件，应用软件的半成品,不同的问题由不同的中间件解决,实现平台化,为数据整合提供统一的支撑服务,提供统一的交换标准、接口和开发、运行、管理环境,解决问题的最有效途径,数据交换平台总体技术架构,浏览器,TongIntegrator,TongLINK/Q,TongWeb,EJB,EJB,EJB,JSP,Servlet,TongLINK/Q,TongIntegrator,系统,A,TongLINK/Q,TongIntegrator,系统,B,RDB,LDAP,用户界面层,业务逻辑层,数据层,数据交换平台,是打破信息孤岛、实现互联互通的基础框架,提供各种应用系统之间的信息交换和共享服务,消息中间件,应用集成中间件,数据交换服务,数据共享服务,数据,同步,组件,支撑软件层,应用基础平台层,应用组件层,数据,查询,组件,数据,传输,组件,数据交换平台的组成,作用,为集成各种应用系统提供一个开放式企业级应用集成框架,功能,支持不同地域的应用系统集成,支持多种数据格式及不同格式之间的转换,提供强大的数据加工能力,提供标准的系统集成适配器,增强的对,XML,支持,提供方便易用的配置工具,使用,Java,代码实现，良好的平台移植性,应用集成中间件,TongIntegrator,TongIntegrator,A,系统的接口，,A,系统的数据格式,Y,系统的接口，,Y,系统的数据格式,业务流程,系统,A,系统,B,数据库系统,X,数据库系统,Y,提供企业应用集成的框架,实现应用之间功能集成,实现应用之间数据集成,TongIntegrator,应用框架,作用,为分布式应用提供消息递送服务的消息传输平台,功能,提供可靠、高效、安全的数据传输服务,提供,P2P,、,Pub/Sub,通讯模式,实时网络监控及管理,多网络环境、多应用模式支持,支持与,Web,技术集成,消息中间件,TongLINK/Q,共享内存,系统,A,应用队列,TongLINK/Q,核心,日志,共享内存,日志,数据通道,可靠队列,可靠队列,TongLINK/Q,核心,应用,A1,应用,A2,应用队列,应用接口,监管系统,系统,B,应用,B1,应用,B2,应用接口,监管系统,TongLINK/Q,应用框架,集中式,消息中间件,应用集成中间件,数据交换中心,消息中间件,数据交换节点,消息中间件,数据交换节点,消息中间件,数据交换节点,集中数据处理，统一管理和维护,中心处理压力大，前端维护管理工作量小,数据交换平台的部署（一）,分布式,消息中间件,数据交换节点,应用集成中间件,消息中间件,数据交换节点,应用集成中间件,消息中间件,数据交换节点,应用集成中间件,消息中间件,应用集成中间件,数据交换中心,分布数据处理，统一数据格式,中心处理压力小，前端维护管理工作量大,数据交换平台的部署（二）,数据交换平台功能特点,数据抽取,数据传输,数据加工,数据交换流程定义,数据交换策略,异常处理,配置和管理,应用和数据交换平台的关系,功能概述,文件,数据库,应用,应用,数据对象,（,XML,）,数据交换平台内部数据格式,Oracle,、,Sybase,、,SQL Server,、,MySQL,、,OpenBase,等,文本、,XML,、,Excel,、二进制等,J2EE,、,TLQ,、,MQ,、,Socket,等,数据抽取,基于队列机制保证数据可靠传输,队列,TongLINK/Q,消息,tlqd,队列,TongLINK/Q,AP,AP,tlqd,传送成功，消息才从队列中移走,一次且只有一次传输,数据传输（一）,支持数据传输的优先级,TongLINK/Q,Priority=,AP,数据传输（二）,低,中,高优先级,高优先级消息传输速度高于低优先级的消息,同一优先级的消息顺序发送,TLQ,保证低优先级消息可以得到发送,高的数据传输效率,Connection2,发送缓冲区,Connection1,发送缓冲区,tlqd,Connection2,Connection1,发送窗口大小可调、数据块大小可调,cluster,集群网关,A,Gate1,B,C,D,RcvQ,RcvQ,RcvQ,发送方,接收方,数据传输（三）,传输数据的安全性,节点合法性检查,下级节点表中的合法节点,口令字认证,传输加密,第三方安全出口,与,TongSEC,结合,节点信息表,OK,数据传输（四）,格式转换,内容转换,XM,XB,GZ,DH,INT,FLOAT,STRING,STRING,NAME,PAY,SEX,PHONE,INT,INT,INT,STRING,XM,XB,GZ,DH,11111111,1234.56,M,张三,NAME,PAY,SEX,PHONE,11111111,1,1234,张三,数据加工（一）,过滤,添加,XM,XB,GZ,DH,11111111,1234.56,M,张三,XM,GZ,DH,11111111,1234.56,张三,XB=M,XM,XB,GZ,DH,11111111,1234.56,M,张三,XB,GZ,DH,11111111,1234.56,M,GS,TONGTECH,XM,张三,GS=TONGTECH,数据加工（二）,顺序,数据交换流程定义（一）,数据分发,数据分离,数据对象,A,数据对象,C,数据对象,B,数据交换流程定义（二）,数据合并,数据对象,B,数据对象,D,数据对象,C,数据对象,A,数据交换流程定义（三）,数据路由,数据对象,A,数据对象,A,数据对象,数据对象,数据交换流程定义（四）,实时、定时,数据交换平台,数据交换平台,AP,AP,数据交换策略,主动,典型应用,B2B,集成,输入组件,被动接收,应用,数据对象,发送,输入组件,被动接收,数据对象,输出组件,应用,发送,应用,接收,应用和数据交换平台的关系（一）,被动,典型应用,数据库复制,输入组件,主动拉取,应用,数据对象,DB1,输入组件,主动拉取,数据对象,DB2,输出组件,应用和数据交换平台的关系（二）,数据对象,B,数据对象,A,数据对象,B,数据对象,B,数据对象,B,异常处理器,异常处理,统一配置,配置和管理（一）,参数化配置,配置和管理（二）,图形化数据库配置工具,配置和管理（三）,远程监控,配置和管理（四）,远程监控,配置和管理（五）,日志系统,调试日志,记录运行期间的调试信息,分级输出，更易维护,可定义输出时间，线程，,java,包等相关信息,数据日志,可定义共同使用一个日志文件或每一个组件链使用自己的日志文件,循环日志，文件长度最大值和文件数最大值可定义,各组件可以单独定义是否记录数据日志,配置和管理（六）,企业级的应用集成平台,统一的数据、应用集成框架、强大的适配功能,安全、高效、可靠的数据传输体系,有效的数据转换,提供丰富的数据转换组件,XML,等标准的支持,用户可定义的数据格式,良好的平台兼容性,支持硬件、,OS,、数据库、中间件产品,自有版权,扎根国内应用需求、充分满足应用整合需要,数据交换平台的特点,集中式的数据共享模式,设计思路的选择,1,分布式的数据共享模式,设计思路的选择,2,设计思路的选择,3,集中式的数据共享模式,分布式的数据交换模式,较适用于业务活动相对集中且联系相对紧密的工作环境,较适用于业务活动相对分散且相互联系相对松散的工作环境,适用于业务量较大的、相对繁忙的、大范围的在线事务处理（,OLTP,）业务,适用于业务量相对较小的非在线事务处理业务，或者说是在小范围内的,OLTP,业务,由于大量的数据需要在网上实时传输，因此对网络条件的要求相对较高,由于数据实时处理要求不强，因此对网络条件的要求相对较低,由于是数据集中存储和集中处理，因此对主机、存储等基础设施的性能要求高,由于采用分布式存储和处理，因此对主机、存储等基础设施的性能要求较高,由于在网络、主机和存储各个层次上要求较高，因此系统在技术上复杂,由于在网络、主机和存储各个层次上要求较低，因此系统在技术上相对复杂,便于统一管理和维护,系统和数据需要分散维护和管理,需要在大范围内采用统一的用户管理和权限管理机制来实现应用安全控制,只需要在小范围内进行用户权限控制，相对地应用安全的要求较低,系统投资较高，系统建设周期、开发周期较长,系统投资较低，系统建设周期、开发周期较短,与原有异构的遗留系统的整合十分复杂,与原有异构的遗留系统的整合相对简单,设计思路的选择,4,采用面向数据交换服务的体系架构,业务系统和数据采用分散部署和维护、管理，降低了工作难度和风险；,只需要在小范围内进行用户权限控制，相对地对应用安全的要求降低；,由于采用分布式存储和处理，因此对主机、存储等基础设施的要求相对较低；,由于在网络、主机和存储各个层次上要求较低，因此系统在技术上相对简单，减低了实施风险；,系统的投资较低，系统建设周期、开发周期较短；,与原有异构的遗留系统的整合相对简单，可更好地保护已有系统投资。,数据交换平台应用案例,项目概况,由农业部信息中心牵头建设,涉及全国,31,个省、直辖市,15,个试点省建设周期为,3,个月,目标,全国农业系统共同需要的信息资源，将通过,“,全国农业网站资源库,”,实现联合收集，同步共享；重要的农业新闻将以,“,全国信息联播,”,实现统一发布，连锁宣传。,农业部,“,全国农业网站信息资源库,”,和,“,全国信息联播,”,频道（,1,）,省级网站,省级网站,省级网站,数据共享交换平台,中农网采编发平台（,WCM,）,信息资源库,信息联播,用户,Internet,农业部,“,全国农业网站信息资源库,”,和,“,全国信息联播,”,频道（,2,）,消息中间件,+,应用集成中间件,消息中间件,+,应用集成中间件,数据共享交换平台,解包、分析组件,Zip,文件打包适组件,调用,web,service,入采编,系统组,件,文件目录监控组件,文件目录监控组件,中农网采编发平台（,WCM,）,数据库,数据库组件,数据加工组件,发送文件到省,文件加工组件,省级中农网采编发平台,调用,web,service,入采编系统组件,数据解析,入库组件,标准表,(,out,),标准表,(,in,),数据库组件,省应用系统,文件目录监控组件,发送目录,数据库,数据库组件,广东、上海,除广东、上海外,农业部,“,全国农业网站信息资源库,”,和,“,全国信息联播,”,频道（,3,）,项目概况,由成都市工商局牵头建设,涉及成都市,18,个委办局,建设周期只有,2,个月时间,目标,建立全市统一的企业信用数据中心，准确收集、反映、分析、评价、公示和使用企业信用资源，实现社会诚信体系工程,成都工商局企业信用管理系统（,1,）,成都工商局企业信用管理系统（,2,）,信息发布组件,信用数据资源管理中心,前置,DB,前置,DB,数据采集组件,前置,DB,应用集成中间件,消息中间件,数据转换组件,路由组件,应用服务器,数据交换平台,前置,DB,历史,DB,中心,DB,应用集成中间件,应用集成中间件,应用集成中间件,消息,中间件,消息,中间件,消息,中间件,工商原有系统,技监原有系统,国税原有系统,业务,DB,业务,DB,业务,DB,成都工商局企业信用管理系统（,3,）,福建省电力局,DXP,数据交换平台,（,1,）,项目概况,建立福建省电力局数据中心和,6,个部门应用系统之间的公共数据交换平台，为应用系统提供统一的接入接口和数据加工模块，实现跨系统数据实时、定时交换。,项目实施周期及人员配置,1,名项目实施经理、,4,名项目实施工程师,3,个半月完成