数据库架构和数据库即服务

Click to edit Master title style,Click to edit Master text styles,#,2012,年,5,月,U-Cloud,MySQL,使用,参考架构,-oracle,建议,2,参考架构,-oracle,建议,3,SID,数据库,ADB,数据库,数据库架构建议,4,HA,SID,：采用,Hamaster-slave,架构，数据表采用表分区技术,ADB,：多个分片，每个分片采用,masterslave,方式或是,master HA,或是,mysql cluster,方式,master,多,slave,应用,数据,库即服务,对于,SID,，采用,master-,多,slave,方式，应对大量读操作；由于分片含义不清晰，所以不采用分片，为了应对大表需求，可以采用表分区技术；,对于,ADB,，采用分片架构多数据库存储数据，每个分片可以采用,mysql-,多,slave,结构或采用,master HA,结构,cluster,OR,SID,数据库,ADB,数据库,数据库即服务实现建议,5,HA,HA,HA,master,多,slave,应用,数据,库即服务服务器端,（数据库逻辑集群管理,数据库分片管理 数据对象访问接口 监控,）,数据库即服务客户端,（连接池本地管理 元数据访问 访问接口）,数据访问（,jdbc,）,元数据访问,/,数据对象访问,（针对,SID,提供）,数据访问（,jdbc,）、数据库管理和监控,数据库即服务分成客户端和服务器端，客户端提供本地接口供应用使用，完成连接池管理、元数据库访问、数据访问等功能；服务器端完成数据库分片管理、集群管理、数据的,对,象转换以及数据库监控功能,数,据,库即服务对应用提供两种接口：原始,jdbc,接口和对象访问接口，前者适用于,SID,和,ADB,，后者仅针对,SID,提供,财务管理渗透于业务活动,信息系统支撑流程化管理,李福申,中国联通 集团副总裁,2011,年,4,月,27,日,谢谢！,1.1 U-Cloud,环境的高可用挑战,7,当,前环境,应用,分散,-,应用分布在各省,，,本地接入为,主,资,源独立,烟,囱,式,部,署的部署方式导致,资源,仅供,单一应用使用,数据私,有,数据,存储在,独立,的,应,用数据库,中,，难以数据共享,目标环境,应用集中,化,-,应用,部署在集中,大,数据中,心,内，供多区域访问,资源弹性,化,依据,应用资源需求，,弹,性供给资,源,数据海量,化,实现,数据统,一建模、管理和共,享,U-Cloud,需解决的问题,数据中心发生灾难可能导致应用不可用，同时需考虑新建数据中心的应用部署的平滑过渡,当,资源停服会导致多个应用或服务不可用，,故障,还可能,影响其它功能模块，,导致,风险分散,，影响业务无法正常运转,数据规模,的,急剧,增,长以及高并发量的数据操作可能导致数据可靠性下降,在,应用的集中部署、资源共享和海量数据的新环境下，数据中心灾难、故障影响扩散以及数据处理能力不稳定等风险将会导致业务系统的可用性问题，为此，,U-Cloud,将采用高可用、故障隔离和平滑迁移等技术,确保,系统的持续运行,1.2,高,可,用,设计原,则和关键要素,8,用户,运,维人员,U-Cloud,平台管理,多,层次分析,消除单点故障,负载均衡,故障转移,高可用,保证,平台对应用的稳定支撑,基础设施是平台和应用持续运转的基石,管控实现对各层面的高可用有效保障,确保应用的持续服务能力,电子运维,资源管理,资产管理,应用,/,服务管理,资源管理,资源监控与调度,平台可用性,应,用可用性,设,计原则,业,务应用,应,用部署,服,务,数据,应,用服务器,数据库,服务总线,管,理平台,基,础设施可用性,服务器,存储,网络,可用性管控,监控,调度,1.3,高可用的基础设施层,SAN,共享存储,数据中心,2,数据中心,1,数据中心,3,公共服务群,数据库群,业务应用群,光纤,交换机,特点：,1.,独立的业务网络：管理网络、存储网络、数据库同步网络，双路网络，保证网络的高速与冗余；,2.X86,服务器资源池：应用层服务器池、平台层服务器池和数据库服务器池统一管理；集群管理，解决单点故障。,3.,分层分片式集群池：应用层分布式集群、数据库层分布式集群；保证应用集群和数据库集群解耦,监控,调度,管理平台,故障发现、事件驱动、快速调度基础设施资源,9,1.4,高可用的平台承载环,境,平,台双机热备保证高可用,平台可用性,存,储冗,余,分布式存储和集中式存储并用，,并使用,RAID,实,现,IO,分散和底层数据冗余,网,络冗余,-,网络关键点（外联交换机、端口、网卡）均采,用冗余设计，保证网,络连通的高,可用,服,务,器池化,业务应,用群、公共服务群、数据库群和管理平台群,数据,库池化,跨数据中心的分布式数据冗余，避免单数据库宕机对应用的影响,SOA,服务总,线,分布,式群集保障服务总线高可用,管理平台,采,用双机系统保证管理平台的持续运转,业务服务器池,应,用服务器组,按需弹性供应运行环境,SOA,服务总线群集,应用,部署包,数据库,池,心跳检测,/,资,源调度,平台,数,据库,池,管,理平台服务器池,管理平台,监控,调度,心跳检测,/,资,源调度,心跳检测,主服务器,备,服务器,故障发现、事件驱动、快速调度平台资源,关键节点冗余设计保证网络高可用,基础资源池化保证整体高可用,10,服务层,1.5,高可用的应用运行环境,使用,者,路由,/,缓存,访问应用,1,服务总线,群集,访问应用,N,负载均衡,1,2,集成调用,3,技术服务,日志服务群集,日志服务,1,日志服务,N,通知服务群集,通知服务,1,通知服务,N,数据服,务,数据服务群集,数据服务,1,数据服务,N,业务服,务,业务服务群集,业务服务,1,业务服务,N,ESB,服务总线,服务总线,电子运维群集,应用,容器,1,界面,接口,日志,服务,通知,服务,数据,服务,业务,服务,管理,应用,容器,N,界面,接口,日志,服务,通知,服务,数据,服务,业务,服务,管理,负载均衡,资源管理群集,应用,容器,1,界面,接口,日志,服务,通知,服务,数据,服务,业务,服务,管理,应用,容器,N,界面,接口,日志,服务,通知,服务,数据,服务,业务,服务,管理,负载均衡,1,高可用实现要点：,每一个应用容器都是无状态的，用户访问时的会话信息将保存在共享的数据库,缓存中，因此当一个应用环境发生故障后，用户会迅速连接到一个新的可用的应用环境中，最多只可能影响正提交的事务；,所有服务都注册到服务总线上，所有的容器都是群集部署，每一个应用环境都是通过服务总线进行动态组装。,运行时的高可用,：,通过应用容器群集实现用户访问的负载均衡；,通过服务总线访问技术服务、业务服务和数据服务；群集方式保证服务总线的可用性；,结合服务总线和服务的群集化，实现当一个服务不可用时，能够快速切换到其他空闲服务,.,1,2,3,1.6,有效隔离，控制故障影响范围,避,免应用模块网状交叉调用。,将应用通用逻辑抽离形成服务，减少服务间耦合度，设置服务的访问权限。,应用环境根据业务特征划分成不同的资源池，配置不同的隔离级别。,当应用模块、服务故障时，自动将访问路由到冗余节点。,在调度,资源,时，,资源充,足,情况下可随机选择任一空置应用环境，否则，由仲裁机制选择，原则是不影响该应用环境下的其他应用的可用性和性能。,规,划阶段,运行阶段,维护阶段,分析故障原因，由应用自身原因导致的故障通过规划建议进行完善。,如,果由高负载导致，则为应用模块和服务增加相应资源。,将故障影响控,制在有,限范,围,服务,服务,服务,服务,界面,逻辑,接口,服务总线,规范,设计,合理,调度,持,续优化,12,2,.1,海,量数,据带来的挑战和应对,U-Cloud,下的企业,IT,架构，原先分散在各个应用系统独立数据库的数据，转变为全部统一建模，管理，在带来数据共享程度高、全局视角易实现等好处的同时，也要应对海量数据支撑的挑战。,数据存储,数据访问,数据管理,数据规模的急遽扩大，服务器单点能力和存储,IO,的限制，导致数据不便实现物理上的集中存储，必须考虑数据物理分布的实现。,集中存储数据，数据规模的增长，会带来对应存储成本超比例增长,关系数据库中，数据表内存放海量数据，导致每次数据插入都会重建索引，效率低下，同样过大的表进行查询也无法保证效率。,业务的增长带来数据访问操作的增长，长期解决访问压力增长需要有效的水平扩展机制,企,业,IT,系统集中化和访问互联网化，要求数据可以就近访问,数据量的巨大，也给数据本身的安全性、可靠性的保障带来了困难，数据的隔离、备份、恢复、容灾都不易实现,有效切分,，均衡分布,，适当冗余,，自然容灾,2,.2,从应用出发，有效切分，均衡分布,大量数据表间关联度过高，集中存放导致整体性海量数据问题,单张表的海量数据问题,根据查询的关联度，进行数据表的存放重组，均衡单库数据量。,进,行数据水平切片，均衡单表数据量,DB,DB,DB,垂直切分,水平切分,问题,数据存储,数据访问,DB,DB,DB,优化模型，降低关联度,确定,切分,key,和算法,通,过表级的数据路由，,引,导访问,DB,DB,DB,化整为零，合并子查询结果,？,应用,2,.3,多种手段并用，保证整体的高效率和高可用,DB,RDB,WDB1,W,DB2,W,DB3,WDB,RDB1,RDB2,RDB3,单,个物理数据库采用数据库集群保证单点可靠性,统一写,数据,库，读数据库水平切分,便,于实现读数据库的分布扩展,写数据库垂直切分，读数据库数据整合,便于实,现数据的关联查询和整体视图,WDB,RDB,RDB,RDB,.,写数据,库向读数据库异步同步更新数据，数据自然备份,异常,时反向同步恢复数据,高可用,高效率,单,点可靠,整体可用,数据切分和读写分离结合,新读节点加入，重新分布保证数据分布均匀,2,.4,与,应,用建模结合，形成数据的立体分布,SID,ADB1,ADB2,ODS,ADBN,.,外部系,统同步来的静态数据，如来自,CRM,的产品数据,应用数,据模型全局优化，形成高内聚，低耦合的多个应用数据域，最,小化,应用数据域间的数据交换，同时识别大数据表,本平台内系统的全局数据，指定单一属主，保证管理简单性,RDB,W,DB1,W,DB3,W,DB,R,DB1,RDB3,高内,聚、低耦合的应用数据域,大数据单表水平切分,W,DB,R,DB1,RDB3,大数据单表水平切分,RDB,WRDB,逻辑视图,物理视图,数据建模,.,2.5,数,据访,问的智能化，提高使用效率,数据路由服务,WDB,RDB1,RDB2,RDB3,RDB,W,DB1,W,DB2,W,DB3,RDB,W,DB1,W,DB2,W,DB3,WDB,RDB1,RDB2,RDB3,水平切分数据域,垂直切分数据域,WDB,RDB1,RDB2,RDB3,SID,数据域,WRDB,数据,表群,1,数据,表群,N,大数据表,1,大数据表,N,平台内全局数据,外部系统全局数据,访,问优化服务,数据访问接口,访问分解聚合,将访问与全局数据对象的物理分布关联起来,根据物理分布进行任务分解，结果聚合,形成访问路径的记录分析，模型物理分布优化,单表,ORM,SQL,受限接口,1.,显式指明具体访问逻辑对象,2.,限制水平切分域的数据进入关联查询,SQL,1.,提供缓存服务，优化单表,ORM,结果的聚合,数据,库即服务,并发子访问,路由优化访问,2.6 U-Cloud,应,用,数据建模分析参考,基本是在线交易型应用，数据分析需求有限，应用间交易以人工处理为主，数据实时一致要求不高，但存在违规异常,用户基本是内部员工，总用户数可预期，数据访问的时间分布相对固定,总体,并发访问量较大，以局部数据的操作和查询为主,用户,群可分,为地市用户,、省分,用户和集团公司用,户，业务操作主要在区域内，跨区域的数据操作比例不大,部分应用数据的读操作明