数据交换模式的区分v01

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,All statements regarding HIGHGOs plans,directions,and intent are subject to change or withdrawal without notice.Any reliance on these statements are at the relying partys sole risk and will not create any liability or obligation for HIGHGO.,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,2009 HIGHGO Corporation,Click to edit Master title style,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,2009 HIGHGO Corporation,HIGHGO Research,*,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,HIGHGO Research-Almaden,2010 HIGHGO Corporation,2010 HIGHGO Corporation,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,HIGHGO Almaden Research Center,2009 HIGHGO Corporation,2009 HIGHGO Corporation,HIGHGO Almaden Research Center,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,2010 HIGHGO Corporation,*,*,2010 HIGHGO Corporation,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,0,应用间数据交换模式,数据交换方式,目的是，了解流行的数据交换方法，了解不同方法的优缺点和使用范围，辨别出可能是,HVR,产品的机会。,目前流行的分布式系统间，应用间交换数据的方式大致分,3,种，基于,消息的实时通信，基于数据库复制，基于文件,FTP,交换,。消息交换可以采用,商业中间件或自行,socket,编码,实现。这几种方式也可以混合使用，完成不同的需求。,其他交换方式，例如磁盘镜像（容灾），离线交换（备份归档），不做讨论。,1,客户应用,消息中间件,数据库,文件系统,发消息,读写数据,读写文件,应用系统,A,消息中间件,客户应用,数据库,文件系统,发消息,读写数据,读写文件,应用系统,A,中间件消息交换,数据库交换,文件交换,离线交换,TCP/IP,消息交换,小结-其中红色部分为重点区分,2,交换方式,方式,时延,典型场景,源端要求,容错,实施,产品,消息传递,同步,、异步、,双向、,发布,/,订阅,毫秒,传递业务层任务和信息,。例如,需要几个系统间配合完成的支付交易,源端均做应用开发,双方约定消息格式,数据格式靠应用保障，低传输靠中间件和专网保障,应用改造,消息中间件,MQ,，,TongQ,，,kafka,或自行开发,数据库同步,异步,多单向,秒,-,分钟,数据库复制通常与业务无关,。,源和端数据变化要求一致。,经常用于读写分离，容灾，数据共享场景,源端为数据表，目标不限,格式以源端定义为主，可变余地不大。,数据格式受表结构约束，低网络靠专有网络保障,配置及数据库脚本,CDC/OGG/HVR/,迪思捷,文件分发,异步,分钟以上，小时，天（取决文件大小,）,不要求实时的批量业务居多,。例如文件分发（数据源本身就是文件）；数据仓库（跑批,export,成文件），日志归集处理,源目标文件,双方定义文件格式,格式靠文件格式保障，高。网络要求不高，可以穿过公网。,FTP,及脚本,FTP,可靠传输软件，如需转换选,ETL,工具。,混合模式,1,消息,+,文件,秒,-,分钟,如地市到国土部委，数据同步,为了避免源端（县）做改造和联调工作量过大，所以利用规定格式的文件做接口，解耦源和端差异和改造过程，准备好一个上一个，提高容错能力和上线速度。,混合模式,2,数据同步,+,文件,秒,-,分钟,HVR,同步国土文件场景,HVR+ETL,实现准实时数仓导入。,在同步响应的记录时，可以读取响应记录对应的文件，同时进行传输。,优缺点,优点是：,1.,实时性，通常系统要求毫秒级响应。,2,容易控制权限。通过传输层协议,https,，加密传输的数据，使得安全性提高,3,通用性比较强，无论客户端是,.net,架构，,java,，,python,都是可以的。尤其是,webservice,规范，使得服务变得通用,缺点是：,1,服务器和客户端必须同时工作，当服务器端不可用的时候，整个数据交互是不可进行。,2,当传输数据量比较大的时候，严重占用网络带宽，可能导致连接超时。使得在数据量交互的时候，服务变的很不可靠。,3,2,基于中间件的消息方式,基于第一种模式的缺点，系统间消息可以通过消息中间件。保障可靠，安全，及时的传输。,广泛应用于大规模分布系统（淘宝），异构系统间（银行），跨公司系统（银行间），即时通信,(,微信,),，物联网（数据采集）系统实时的业务交互。,目前市场上有很多消息中间件，比如,MQ,，,TQ,，,ActiveMQ,，,kafka,。,4,优缺点,这种方式的优点,开发简单,可以采取同步，异步，可靠性的消息处理，消息中间件也可以独立出来部署。,保证一定传到，且只传一次，提供缓存，缓冲，容错，压缩，加密的功能。,提供一对一，一对多，发布订阅等多种模式。,这种方式的缺点,不适合文件交换,不适合批量数据交换,5,3,数据库共享方式,通过数据库来实现不同应用间数据的交换和共享。,应用,A,和应用,C,通过连接同一个数据库服务器的同一张表进行数据交换,如果应用,A,和应用,B,，无法访问同一个数据库，可以通过数据复制技术实现数据准实时同步后的共享。,数据供给应用,A,对数据访问应用,B/C,没有依赖。共享和访问的数据结构一致。,可以控制到表级别的共享粒度。,6,Insert into table student values(“zhangsan”,”100012”,.),优缺点,这种方式的优点是,1 相比文件方式传输来说，因为使用的同一个数据库，交互更加简单。,2 由于数据库提供相当做的操作，比如更新，回滚等。交互方式比较灵活,而且通过数据库的事务机制，可以做成可靠性的数据交换。,这种方式的缺点：,1 当连接B的系统越来越多的时候，由于数据库的连接池是有限的，导致每个系统分配到的连接不会很多，当系统越来越多的时候，可能导致无可用的数据库连接,2 一般情况，来自两个不同公司的系统，不太会开放自己的数据库给对方连接，因为这样会有安全性影响,7,4,文件,FTP,方式,支持大量数据，批量数据，多媒体文件传输与分发。,通常难以校验传输的准确性，实时性要求不高。,典型场景，多媒体分发，数据源到数据仓库的批量汇总，日志文件采集汇总分发。,通常伴随文件的解析，转换等处理。,文件级别交换控制粒度,8,优缺点,这种方式的优点：,1,在数据量大的情况下，可以通过文件传输，可以闲时传输。,2,方案简单，避免了网络传输，网络协议相关的概念。,这种方式的缺点：,不太适合做实时类的业务,必须有共同的文件服务器，文件服务器这里面存在风险。因为文件可能被篡改，删除，或者存在泄密等。,必须约定文件数据的格式。约束不够严格，容易出错。校验和重传机制实施也比较困难。,9,