阿里数据库架构变迁与展望

阿里数据库架构变迁与展望2015中国数据库技术大会DATABASE TECHNOLOGY CONFERENCE CHINA 201 5大数据技术探索和价值发现 ChinaUmxSTUBS!阿里数据库体系的四个时代用ys 房应M 机个机4n- 4H-异地双活 单元化 AliSQL异地多活云化自研 OceanBase同城多机房 垂直拆分 商业IOE无冕之王新机遇新挑战辉煌丽弋曲JO3 - 2 必 淘宝初创淘宝初创U JLEfl - H 堡古岛-ML - SfcNAAuctionMemberSearch复制ApacheMoMod_php4PMySQL SlaveMySQL SlaveMySQLMaster复制问题：单机MySQL数据库迅速达到瓶颈解法： MySQL迁移到Oracle ,并逐步升级硬件，到小型机, 高端存储，最终形成IOE架构效果：支撑了淘宝2004到2009发展高峰辉煌时代TO EOf：疗矫 UMtSEMirx/iirx*7问题：扩展性、可用性垂直扩展走到了极限集中式，稳定性的挑战掌控力闭源的Oracle封闭的小机/存储回首往事-从10E架构走向AliSQL分布式架构第一次推动中国数据库产业变革获得无限掌控力 数据库限流-第一次自己的命运自己掌握 热点更新优化-定制优化热点商品减库存业务场景 线程池特性优化-定制优化高连接数并发场景 专场7数据库调优，阿里巴巴章颖强无限可能，尽在掌握无冕之王一AliSQL12年历程回顾淘宝网创建1应用Java化改造垂直拆分完成支付宝完成去IE硬件不断升级A去IOE启动200320042005200620072008200920102011201220132014商品库完成IOE_引入小型机 引入Oracle一水平拆分完成开始尝试MySQL淘宝全网完成去IOE支付宝交易完成OB改造新挑战新机遇全网架构资源限制,一个城市已经不能满足需求单元化容灾,单地域机房风险AliSQL分表数量庞大 OceanBase集群拆分接近极限A业务开发复杂度路由，关联，聚合，订正新挑战新机遇-单元化cdnN按用户分流单元1单元2单元N中心-接入层I同步调用中心服务层I异步消息接入层接入层接入层服务层服务层服务层单元化新挑战新机遇-单元化 对应用挑战的及解法单元内封闭A延迟同步调用的影响 ,同一机房0.2 ms 同一城市l5ms 跨城市5ms 100 ms 几百次调用吞吐量下降 数据复制延迟问题新挑战新机遇-单元化对数据库的挑战及解法中心及各个单元间数据拆分原则数据买家维度拆分数据质量保障_ 数据多点写入风险 单元间D RC数据复制 数据复制一致性，正确性保障 专场13阿里巴巴钱在晨单元化效益稳定性变更范围故障恢复时间伸缩能力摆脱机房限制 伸缩规模再次增强新挑战新机遇横跨三年的项目探索项目启动II2013-08 I2013-05同城两单元-单元化攻坚收尾多地域，更远距离异地双活双11洗礼新挑战新机遇全网架构资源限制,一个城市已经不能满足需求单元化容灾,单地域机房风险AliSQL分表数量庞大 OceanBase集群拆分接近极限A业务开发复杂度路由，关联，聚合，订正新挑战新机遇OceanBaseData（固态盘）数据存储：多机磁盘修改增量：单机内存增删改Query修改增量 （内存）=基线数据中SQL IJ SQL | SQL SQL SQL SQL SQL SQLaorgerv、r Qr kServeMergeServerChunkserverRootServerUpdateServerMergeServerChunkserver修改增量基线数据MergeServerChunkserverIV erjc!?erverChunkJerver应用接口MergeServerChunkserver基于Paxos的高可用方案以不可靠部件提供可靠服小于半数的分区容忍性 较高的可用性（最大35s不可用） 强一致性RootServer宕机/程序异常退出35S/不可用UpdateServer宕机/程序异常退出25s左右/不nJ用MergeServer宕机/程序异常退出1分钟/少量读超时ChunkServer宕机/程序异常退出1分钟/少量读超时主集群不可用如出现机房断网情况35s/不nJ用角色异常描述时间/影响OceanBase wrf riSpat r0 20142(v0.5)201020112012 s I01320140152016017Vl.x全面覆盖