资源描述
,1/23/2017,#,异地多活数据流基础设施,DRC,-,双,11,支持,571,亿交易额背后的武器,自我介绍,专注于,DRC,（,data,replication,center,）,目前负责产品规划和架构设计,在数据库，高可用，分布式经验比较丰富,A,g,e,nd,a,DRC,介绍,DRC,在异地多活,DRC,在更多数据架构,DRC,在云端,如果你是阿里云用户？,场景,1,：跨域同步,RDS,美国,RDS,杭州,RDS,replication,场景,2,：接入异构数据,迭代、迭代、迭代,场景,3,：订阅增量数据,APP,可扩展性 一致性,稳定性 实时性,备份、通知,数据流基础设施,DRC,D,R,C,是什么,原生复制,卡夫卡,标准消息,同步 异构,高可用,实时,分发,D,ata,R,eplication,C,enter,数据管道层,Master,DB,Slave,DB,Master,DB,Slave,DB,DRC,Store,（抓取）,DRC,Congo,（同步）,DRC,SDK,（订阅）,data,高可用层,D,R,C,架构,DRC distributed,data,集群管理层,DRC cluster,manager,统一接入层,DRC region,manager,DRC slave,store,DRC,Store,数据流基础设施,D,R,C,覆盖阿里所有核心业务,服务于,淘宝新一代架构,的核心组件,异地多活的武器DRC,淘宝新一代架构,机房,1,城市,1,机房,2,【同城多机房】只能堆机器,【跨城多机房】冷备贵且不靠谱， 多写跨城调用延迟大，流量无法切换,【阿里异地多活】,热拔插应对业务峰值,流量实时切换,数据实时恢复,机房,3,城市,2,机房,4,读,/,写,读,只,/,读,写,城市,3,读,/,写,城市,4,读,/,写,淘宝异地双活,支付,买家,卖家,商品,创建 订单,中心,商品 管理,库存,优惠,物流,订单,会员,单元,物流,商品 管理,库存,优惠,创建 订单,订单,会员,一致性 实时性,单元,100%,中心,100%,同步架构,1 ,读写分离,保证实时性 保证一致性,Store,C,on,go,中心读写,单元只读,单元,100%,中心,100%,同步架构,2 ,单元封闭,避免循环复制 避免峰值压力,Store,C,on,go,Store,C,on,go,中心流量,1-N%,单元流量,N%,D,R,C,核心能力,低延迟,高可用,一致性,一致性,数据有序,数据不丢,数据不错,事务一致,Binlog,commit,Store,C,on,go,跨城秒级延迟挑战,5100ms,15ms,0.2ms,150ms,低延迟,跨城延迟大,事务相关、,DDL,影响并发,读历史会影响写实时,热点数据阻塞非热点数据,Binlog,commit,Store,C,on,go,高可用,源和目的主备切换,任务高可用,数据高可用,下游隔离,核心隔离,监控,Store,C,on,go,Zookeeper,Cluster,Manager,D,istribut,ed data,Slave,Store,DRC,reloader,DRC,monitor,StoreC,on,go,014,年双十一处理规模,2000+,个实例实时增量 抓取了约,100TB,的数据量,峰值,每秒,处理了,30+GB,的数据量,数据同步：除了交易,限流,，核心库均,无超过秒级延时,增量订阅：,17000+,个实时下游,2014,年双十一实时性,D,R,C,DRC,经历,2,次,双,11,成功支撑,571,亿交易,最大延迟 不超过,1,秒,同步距离 最长,10000,公里,申请,10,项 专利,DRC支持更多数据架构,Region2,Region1,Zone1,高可用分布式数据库,Zone2,Paxos/DRC,Zone3,DRC,StoreStore,Congo,Congo,Congo,Congo,Region2,Region1,数据分发中心,Store,Store,Store,离线分析,搜索,实时计算,增量中心,消息队列,Store,Slave store,Store,Slave store,Store,Slave store,DRC在云端,迁移上云,覆盖,2014,年,50%,RDS,新增实例,全量,+,增量，无缝迁移,升级版,-,DTS,MySQL,mysqldump,mysqlimport,Oracle,25-page,document,导入,/,导出,SQL,Loader,SQL,Server,7-page,document,Import/Export,向导,Bulk Copy,Program,PostgreSQL,10-page,document,pg_dump,3-page,document,某全球知名云计算服务商,阿里云,Data Transformation,Service,一键入云,无缝迁移,兼容异构,一致校验,跨域同步,杭州,RDS,美国,RDS,10%,RDS,replication,不支持,跨域,DRC,支持跨域,RDS,同步或者容灾，对,RDS,无入侵,限量公测,杭美,RDS,实例之间实现,7*24,小时实时同步,DRC,RDS,DRDS,增量订阅,支持,RDS,和,DRDS,通过,SDK,订阅,单机版,集群版,内部客户：,Open,search,CDP,DRDS,同步，小表广播,网聚宝等数据搜索,限量公测,DRC,store,DRC,SDK,OCS,DRDS,RDS,KVStore,OSS,ODPSADS,CDP,Open,search,ONS,MQS,OTS,打通数据和地域,云上数据流基础服务,易于使用,DRC,SDK,理想,ECS,APP,DRC,
展开阅读全文