支付宝技术介绍V2(0119)课件

13-1-19,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2020/9/14,#,支付宝技术介绍,2013,年,1,月,大纲,支付系统处理情况,支付系统总体架构,高可用大容量系统架构,业务连续性保障体系,业务连续性保障案例,1,支付系统处理情况,中国最多人选用的第三方网上支付,平台,与超过,170,个金融机构包括全国性银行、各大地区性银,行合作,支持使用支付宝交易服务,的商家已经超过,46,万家，涵盖了网上零售、虚拟游戏、数码通讯、商业服务、机票、公用事业,等行业,截至,2012,年,6,月，支付宝注册账户数突破,7,亿,在,2012,年,11,月,11,日，支付宝完成了,1.058,亿笔交易，创下了单日交易量的,新高,现有平台处理能力,2012,年全年系统可用率,99.992%,系统具备处理每天,1.5,亿,+,支付处理,能力,交易处理能力：,1.5,万,/,秒,支付处理能力：,8000/,秒,(,支付宝账户,),、,2400/,秒,(,银行,),2013,年计划建设,3,亿,+,支付处理,能力,当天：,核心数据库集群：完成,41,亿数据库事务，执行,285,亿次的,SqL,，生成,15TB,日志，访问,1931,亿次内存数据块,应用系统集群：完成,1000,亿,+,服务调用，由,600+,个应用协同完成,对比国际同行：,Paypal,：,2012,年,Q4,处理,6.91,亿笔，日均,750,万笔左右,(,来源,：,Ebay,财报,),Amazon,：,2012,年,高峰（,11,月,26,日），,2650,万,商品,/,天,(,来源：,Amazon,官方数据,),1.058,亿,19.5,亿,1280,万,2010,年,2012,年,191,亿,54,亿,3360,万,2011,年,交易额,（,仅淘宝）,交易笔数,付款峰值笔数,6.3,万,/,分钟,2,万,/,分钟,20.5,万,/,分钟,3833/,秒,支付能力增长与对比,2,支付系统总体,架构,架构目标,海量,千万级,-,亿级,-,十亿级,同城,-,异地,-,全球,P,级数据深度应用,稳定,99.99%,以上,核心业务做到,0,停机维护,自动化运维与弹性处理,数据与应用级灾备,安全,速度,开发更简单,质量更可控,持续交付,成本,降低单笔处理成本,无厂商依赖,基于互联网与云计算技术的架构解决方案,业务平台,(SAAS),数据平台,(DAAS),技术平台,(PAAS),运维平台,(IAAS),1.,基,础资源伸缩,性,2.,组,件扩展,性,3.,系,统平台稳定性,1.,可伸缩、高可用的分布式事务处理与服务计算能力,2.,弹性资,源分配与,访问管,控,1.,海量数据处理与计算能力,2.,“适时”的数据处理与流转能力,随时随地可用的支付服务,安全、易用的开放,支付应用开发平台,网购,航旅,水电煤,还款,充值,加油,理财,酒店,送礼,互联网,移动互联网,新型终端,支付宝整体系统,架构,运营体系,商户业务平台,个人业务平台,风险控制平台,会员营销平台,运营支撑平台,商业智能平台,终端,云钱包核心,应用,支付清算平台,客户平台,金融网络平台,数据平台,应用中间件平台,数据与通信平台,前端技术平台,基础设施平台,安全技术平台,技术平台,网站平台,运维管理平台,监控分析平台,研发交付平台,开放平台,终端平台,支付处理功能架构,(1),统一支付处理,支付工具处理,账务处理,支付处理功能架构,(2),统一支付平台,统一支付服务门面,事务处理,统一会,计核,算,内部支,付工,具,外部资金渠道,统一机构接入网关,金融交换中心,余额,红包,主,账务,对账中心,内部账户中心,会计中心,清算中心,收银台,PC,收银台,无线收银台,个性化收银台,规则处理,(,支付路由,/,额度控制,),支付业务,/,支付应用,微账务,积分,金融机构服务抽象,支付业务服务抽象,支付处理系统架构,业务,PC,类业务,无线业务,非交易类业务,风险,盗用,欺诈,销赃,盗卡,钓鱼,风险识别,规则体系,模型体系,身份认,证,体系,处罚,案件,核查,安全决策,统一决策,支付风险控制,合规,央行规范,安全等保,PCI,ISO,27001,业务安全,应用安全,数据,安全,系统,安全,客户端安全,安全服务中心,认证中心,决策中心,风控中心,身份认证能力,PKI,OTP,应用攻防能力,验证码,人机识别,可信环境,数据分析能力,规则,模型,数,据运算,开放安全服务,OpenID,OpenAuth,日,志审计分析,安全域划分,链路冗余,系统冗余,数据冗余,安全控件,安全套件,安全客户端,无线客户端安全,信息安全,SDL,信息安全服务,信息隐藏,接口安全,内容管理,统一加解密,密钥管理,加密解密,卡信息加密,数,据分级,通信加密,安全攻防,系统攻防中心,Web,应用,防火墙,CC,防御,安全扫描,安全运营,数据库,审计,操作与,运营安全,数据传播控制,权限管理,操作审计,接入安全,总体安全策略,安全组织,安全机制,整体安全体系,机房架构,青岛异地灾备机房,联通火炬路机房,同城灾备,电信兴议机房,杭州同城双机房（各,100%,能力），青岛备份及容灾机房,机房要求,四,星级以上电信级,机房,双路供电，满负荷油机配置,N,+1,空调制冷保障,基础设施架构,IaaS,PaaS,弹性管理,应用运行时,交付,管理,zP,a a,S API,网络,负载,均衡,存储,OS/,虚拟机,数据库,IDC,基础服务,开发语言,（,Java,）,Framework,（,SOFA,）,运行环境支持,（,CE/Jboss,）,开发工具支持,监控,弹性,调度,资源,操作适,配层,消息,通知,服务,调度,服务,cron,数据,服务,协调,服务,环境交付,配置及其构建,应用发布,应用,元数据,基础服务管理,应用中间件平台,数据存储与引擎,统一数据访问,层,数据路由,数据源,ORM/DAO,oracle,数据一致性,数,据抓取,数据管控,数,据控制台,分布事务,mysql,实时分析引擎,KV,引擎,海量文件,存储,搜索引擎,数据缓存,(,本地,),数据流控,数,据转换,数,据分发,数,据加载,数据技术平台,跨机房,应用通信,App,1,App2,App3,消息中心,软负载均衡,WS,高性能,RPC,http,App,1,App2,App2,机房,A,Pub/sub,一对多，可靠、异步、事务的通信。,App,1,App2,点对点通信,消息队列,支付平,台,统一网关,消息队列,业务系统,请求支付,查询回执,高性能异步通讯，高效蓄洪,机房,B,机房,C,App,1,App2,App3,跨机房,应用通信,跨机房,应用通信,通信技术平台,4,高可用大容量系统架构,支付宝高可用可伸缩架构基本原则,分布式、,无单点,服务器,网络,数据库,机房,松耦合,自主运行的服务,定义并管控的,SLA,最小化服务依赖,弹性,快速监控,资源调,度,自动化,快速恢复,服务的自恢复能力,变更控制与回滚,开关与降级能力,消除数据库单点,DB1,主,DB1,备,DB1,主,DB2,主,DBn,主,DB1,备,DB2,备,DBn,备,小机,+,高端,SAN,存储,PC+,本地存储,+,低端,SAN,日志存储,failoverDB,恢复能力：单库,1,分钟，,整机房,DB,15,分钟,交易数据库架构示例,数据复制中心,1,2,n1,核心交易数据,(,分表,/,分库,/failover),主交易系统,交易处理服务,(,写场景,),交易记录查询系统,用户交易记录查询服务,(,读场景,1),1,2,n2,商户查询系统,交易记录数据,(,分表并分库,),商户查询与对账,(,读场景,2),1,2,n3,商户,/,平台商交易数据,(,分表并分库,),分布数据访问层,主,备,无网络与,IDC,单点的系统架构,IDC1,交易系统,账户系统,交易数据库,账户数据库,交易数据库,服务注册中心集群,交易应用,集群,支付应用,集群,IDC2,交易系统,账户系统,交易数据库,账户数据库,交易数据库,服务注册中心集群,交易,应用,集群,支付应用,集群,支付数据库,支付数据库,GSLB,全局,数据,全局,数据,复制,交易系统,交易引擎,流程引擎,规则引擎,资金处理,产品账接入,商户通知,数据持久,收费接入,统一事件,扩展支付工具,业务,核查,收费系统,商户通知,消费记录,沟通,商户查询,营,销,核心账务,风险核查,消息,系统,超时处理,业务系统,业务系统,担保交易,即时到账交易,货到付款交易,异步交易事件处理,产品账,扩展支付工具,扩展支付工具,可靠,可靠,可靠,可靠,可靠,可靠,可靠,非可靠,非可靠,强依赖,弱依赖,本地消息,failover,弱依赖开关,松耦合的服务架构（示例）,SLA,控制,Log,Log,Log,Log,HDFS,Data,Data,Data,Data,HBase/NoSQL,MapReduce,Real Time Compute,Parser,Layer,Parser,Layer,Parser,Layer,Parser,Layer,Compute,Layer,Compute,Layer,Compute,Layer,Compute,Layer,Mile(NoSQL),zAgent,zAgent,zAgent,zAgent,秒级监控能力建设,支付宝监控系统能够在,5,-10,秒内发现故障，并且做出监控报警,监控的计算,任务被动态的分配到各计算,节点，可以快速做出响应,可以通过统一的监控模型，快速进行监控点配置,统一资源管理,app,master,salver,salver,应用集群,缓存,/vip,列表,订阅关系中心,SLA,控制中心,SLA,控制数据中心,服务注册,SLA,管,控平台,confreg,SLA,控制中心,SLA,控制中心,管控信息发布,管控信息存储,管控信息注册,SLA,管控组件,app,SLA,管控组件,管控信息,管控信息,服务注册,弹性调度案例,29,统一资源管理,运维管理,发布部署,环境交付,编译构建,监控,监控数据查询,应用运行时,数据源,应用内部开关,容器资源,SLA,流量管理,服务组件操作,消息,调度,缓存,底层资源,网络,负载均衡,虚拟机,应用运行数据的收集,监控系统的数据建模和计算,弹性平台的分析,产生控制命令,指令执行,银行渠道数据采集,银行渠道数据监控,分析发现某银行,A,渠道异常,根据模型产生调拨指令,切换到某银行的,B,渠道,主业务服务,从业务服务,A,从业务服务,B,数据库,数据库,数据库,tryX,1.tryX,成功,业务活动,管理器,活动日志,启动业务活动,登记业务操作,提交,/,回滚业务活动,confirmX,cancelX,tryY,confirmY,cancelY,2.tryY,成功,3.confirmX,成功,4.confirmY,成功,严格、高效、可伸缩的分布事务处理保证零差错,外部业务系统,(,商户等,),内,部业务系统,(,交易等,),内部资金系统,(,支付处理平台,),外部资金系统,(,银行,),可靠业务通知服务,对账数据查询服务,实时逐笔检查中心,分布事务,控制中心,可靠消息,掉单查询与恢复,批量业务核算中心,资金核算中心,会计中心,关系数据库,ACID,事务,分布式锁,支付业务处理系统,业务核算体系,技术支撑,海量数据处理平台,复杂事件处理平台,全面的资金与业务核算能力,5,业务连续性保障体系,可用率,度量,度量指标,运维不可用率时长（运维可用率）,因故障引发,10,分钟,及以上，创建,or,支付笔数与基线相比,下跌超,20%,，则,计入运维不可用时长。,技术团队可控的 技术团队无法控制的,服务不可用时长,=,运维不可用,+,计划内停机维护,+,第三方原因不可用,关键数字：运维可用率 服务可用率（用户端感受）,（运维不可用时长）（服务不可用时长）,检验,运维能力,检验,系统架构,运维管理体系,运维,管