微众银行网络架构演进及运维实践课件

GOP,S,全球运维大,会,2019,上海,站,微众银行网络架构演进及运维实践,GOP,S,全球运维大,会,2019,上海,站,杨俊杰网络运维室经理,微众银行网络架构演进及运维实践GOP S 全球运维大会 20,1,目录,银行网络运维的,日,常,1,W,e,B,an,k,生产,网,构,建,思路,2,7,*,24,银行,服,务,下,的,网,络,运,维,3,Netdevops,的一,些,思考,4,GOP,S,全球运维大,会,2019,上海,站,目录银行网络运维的日常1WeBank生产网构建思路27*24,2,银行网络运维的日常,机柜扩容,I,D,C,建设,GOP,S,全球运维大,会,2019,上海,站,出品链路带宽扩容，运营商核查资源、新,增合作伙伴专线接入,业务需求，扩容服务器，配套扩容接入层，涉,及连接关系梳理、实施方案，变更方案，,I,P,地 址分配，路由发布入网，监控系统录入，切换 演练。,专线建设、带宽扩容,业务系统故障、网络设备故障、网络质量异常。,出口容量监控、上联带宽容量监控，网络架构 整体容量扩容计划,故障处理、容量管理,全网季度巡检、以天为单核心设备自动巡检,配置基线、实施规范制定修订 网络设备,OS,生命周期管理,网络设备巡检、制度规范修订、,O,S,管理,NA,T,地址分配，合作方接入后专线冗余切,换，接入个性化需求支持。,合作方接入联调,网络架构调整的优化变更，主动发现网络,架构隐患触发的架构变更,网络架构优化变更,基础网络建设,日常运营,网络变更,银行网络运维的日常机柜扩容IDC建设GOP S 全球运维大,3,银行网络运维的日常,银行标准网络架构与互联网O,TT,架构相比较，略有复杂，需要重点考虑,安全隔离、监管要求,，网络运营难度高，两 地三中心、多地多中心演进，网络架构复杂度上升,灵活跨,DC,流量调度,需要了解基础架构层面各个组件的高可靠实现，掌 握,IDC,相关的基本知识，可以更好帮助设计网络的 底层架构，了解上层组件需求，更好的适配业务系 统所需要的网络环境,由原来的两地三中心，演变成多地多中心，,DC,的流,量如何调度，是一个基本能力。流量的可视化，针,对网络设备,buffer,、管道通信质量的细颗粒度监控，,成为网络运营关注的重点,GOP,S,全球运维大,会,2019,上海,站,银行网络运维的日常银行标准网络架构与互联网OTT架构相比较，,4,银行网络运维,7*24,应急响应,U,I,O,C,重大故障现场抗压能力,快速决策升级汇报机制,应急预案快速执行,E,C,C,技术栈,TCP/IP协议栈,OSPFBGPSTPLACPMPLS,VPN,数据包分析能力,Liunx,系统操作能力,Pythonshell脚本语言编程能力,银行业务系统理解,网络架构设计监管要求,变更、故障处理规范要求,审计风险评估能力,操作规范、管理规范。等,合规制度,GOP,S,全球运维大,会,2019,上海,站,银行网络运维7*24应急响应ECC技术栈网络架构设计监管要求,5,目录,银行网络运维的,日,常,1,W,e,B,an,k,生产,网,构,建,思路,2,7,*,24,银行,服,务,下,的,网,络,运,维,3,Netdevops,的一,些,思考,4,GOP,S,全球运维大,会,2019,上海,站,目录银行网络运维的日常1WeBank生产网构建思路27*24,6,W,e,B,a,n,k,分布式架构,GOP,S,全球运维大,会,2019,上海,站,全分布式架构支持业务快速发展,交易笔数峰值,3.2,亿,/,天,消息峰值,24,万,/,秒,子系统,1000,个,物理服务器,8000,台,注：“交易”是指交易请求从进入银行前置到处理完成并返回的整个过程，是对端到端的交易笔数统计。“消息”是指系统间调用的消息，是对系统间相互调用次数的统计。,数据截至,2018,.,12,WeBank分布式架构GOP S 全球运维大会 2019,7,W,e,B,a,n,k,分布式架构,微众 架构,互联网,传统金融,海量用户,海量交易,海量数据,安全,稳定,影响可控,高性能,亿级客户量,亿级日交易量,高弹性,容量扩展性,性能扩展性,低成本,开源技术,低端服务器资源,高可用,快速恢复,高冗余,低风险,故障影响隔离,影响范围小,高标准,自动化运维,规模化管理,安全可控的全分布式架构,GOP,S,全球运维大,会,2019,上海,站,WeBank分布式架构微众 架构互联网传统金融海量用户安全,8,7,*,24,不停服,-,网络服务能力挑战,实时金融交易,-,网络稳,定可,靠,连接合作伙伴 能力,智慧运维,网络架构稳定，变更、故 障流量切换对业务无感知,。,连接金融机构、连接合作 伙伴，具备开放、便捷，灵活、安全的接入能力。,海量用户服务能力，互联网接 入流量需要弹性灵活跨地域,B,G,P,切换，避免运营商网络故 障对用户接入影响,实时的网络监控告警、东西向 流,f,l,ow,采集分析、容量监控预 警，故障一键隔离自动化,连接用户,GOP,S,全球运维大,会,2019,上海,站,7*24不停服-网络服务能力挑战实时金融交易连接合作伙伴 能,9,W,e,B,a,n,k,生产网架构构建思路,可扩 展性,流量可 调度,可切 换,低延时,可视 化,标准 化,GOP,S,全球运维大,会,2019,上海,站,网络转发必须是低时延,出口流量可跨,DC,间进行调度,DC,间网络可平行扩展,架构设计必须标准化、模块化,管道流量可采集可回溯,Farbic,节点故障可快速倒换,WeBank生产网架构构建思路可扩 展性流量可 调度可切 换,10,W,e,B,a,n,k,生产网架构构建思路,DCN,架构应该如何来搭建,BGP,还是,OSPF？,容器的网络方案如何适配？,承载,Hadoop,大数据业务能力,RDMA,场景网络支撑能力,东西向,F,l,o,w,采集分析展示能力,GOP,S,全球运维大,会,2019,上海,站,WeBank生产网架构构建思路DCN架构应该如何来搭建GOP,11,W,e,B,a,n,k,生产网架构构建思路,CSW,CSW,CSW,C,S,W,AGG,AGG,AGG,AGG,LC,LC,LC,LC,T,O,R,T,O,R,T,O,R,T,O,R,T,O,R,T,O,R,T,O,R,T,O,R,D隔,C离,N带,外,D,管,联,M,理,区,Z,区,BD,BD,城域内网,W,C,WC,LC,LC,S,R,V,S,R,V,T,O,R,T,O,R,LB,LB,FW,FW,WC,WC,W,C,WC,L,C,L,C,L,C,L,C,L,C,LC,S,R,V,S,R,V,S,R,V,S,R,V,S,R,V,S,R,V,T,O,R,T,O,R,T,O,R,T,O,R,T,O,R,T,O,R,L,B,L,B,L,B,L,B,L,B,LB,F,W,F,W,F,W,F,W,F,W,FW,城域外网,D,C,隔,离,N带,外,联,管,理,D M,区,Z,区,数据中心网络架构,GOP,S,全球运维大,会,2019,上海,站,WeBank生产网架构构建思路CSWCSWCSWCSWAGG,12,连接合作伙伴,AR,AR,AR,AR,AR,WeBank,DCI,C,P,E,上海,S,D,N,-,W,A,N,运营商,公有云平台,S,D,-,WAN,公有云平台,S,D,-,WAN,运营商传输网,公众互联网,EXP,EXP,LD,LD,LD,AR,AS,LD,AR,AS,城市1,EXP,EXP,LD,LD,LD,AR,AS,LD,AR,AS,城市2,C,P,E,北京,C,P,E,成都,运营商传输网,I,D,C,外联接入区,运营商传输网,I,D,C,外联接入区,FW,FW,FW,AR,D,C,I,专线与,S,D,-,W,A,N,运营商对接,用户,可以通过三种方式灵活接入,WeBank,网络,，VPN/,运营商专线,/SD-WAN,链路,复杂多样的接入场景：,1,、不同业务场景对网络质量要求不一样，高频或低频,2,、接入条件限制，如何快速接入？,3,、实时性高、要求,HA,GOP,S,全球运维大,会,2019,上海,站,连接合作伙伴ARARARARARWeBank DCICPE上,13,数据 中心,DCI,连接公众用户,-,互联网出口流量切换,多活系统的设计，需要考虑多个层次的组件实现负载分担与故障自愈，不仅仅是网络层，但网络是 实现多活的第一道入口,网络接入层,负载均衡,防火墙,APP,服务器,DB,网络接入层,负载均衡,防火墙,APP,服务器,DB,使用,D,N,S,切,A,记录，运营商缓存记录怎么办？,负载均衡心跳同步如何解决，配置如何统一,?,防火墙心跳同步是否需要跨机房，策略如同 步，防火墙路由模式部署还是透明部署,？,GOP,S,全球运维大,会,2019,上海,站,数据 中心 DCI连接公众用户-互联网出口流量切换多活系统,14,连接公众用户,-,互联网出口流量切换,EX,P,EX,P,EXP,EX,P,EX,EX,TOR,TOR,LB,LB,SRV,SRV,FW,FW,LC,LC,EX,EX,TOR,TOR,LB,LB,SRV,SRV,FW,FW,LC,LC,EX,EX,TOR,TOR,LB,LB,SRV,SRV,FW,FW,LC,LC,D,C,内网,D,C,内网,公众互联网,CR,CR,CR,CR,DC,内网,BD,BD,BD,BD,BD,BD,主路由,备路由,主路由,备路由,W,e,B,a,n,k,D,C,I,网络,AR,异地,D,M,Z,接入,专,区,关键点：,GOP,S,全球运维大,会,2019,上海,站,不依赖于,D,N,S,更改,A,记录等方式实现流量切换，,7,*,24,实时 金融业务要求入口流量快速切换，通过,BGP,路由优先级方 式实现导流，在秒级范围内完成切换,防火墙切换时，需关闭,T,C,P,-,s,y,n,包检查，仅做状态检测防 火墙，流量平稳后，恢复TCP-SYN检测，不做跨机房配 置同步，由运维平台自动化对比配置一致性检查,LB,发布VIP时，与交换机联动发布,32,位路由，打上,c,omm,un,i,t,y,属性，可按单条路由进行精细化调度。,L,B,间 不做跨,DC,心跳同步，配置同步由自动化工具实现,连接公众用户-互联网出口流量切换EXPEXPEXPEXPEX,15,架构设计最重要的是什么?,规划时需尽可能预想可能出现的运营风险,听取意见，多轮架构测试，输出轮证数据,考虑建设后的可扩展伸缩性,依据业务需求来综合设计，一定要满足业务诉求,稳定与灵活上做好平衡，没有,100,%,完美的设计,符合业务需求，按业,务,需,求,适,配,架,构,，,可,持,续,为,业,务,提,供,服,务,才,最,重,要,GOP,S,全球运维大,会,2019,上海,站,架构设计最重要的是什么?规划时需尽可能预想可能出现的运营风险,16,关于,S,D,N,架构,GOP,S,全球运维大,会,2019,上海,站,金融同业也在逐步设计云架构、行业云、公有云。归根结底还是业务需求驱动,生产上一定是最需要云化的场景，做,SDN,架构适配,混合云解决大部份弹性伸缩问题,大部份,SDN,架构考虑网络自动化运维，网络资源编排，资源调度等问题,转发面是否需软化，需要结合网络规模与业务硬性需求看，具体问题具体分析,关于SDN架构GOP S 全球运维大会 2019 上海站,17,目录,银行网络架构的,模,样,1,W,e,B,an,k,生产,网,构,建,思路,2,7,*,24,银行,服,务,下,的,网,络,运,维,3,Netdevops,的一,些,思考,4,GOP,S,全球运维大,会,2019,上海,站,目录银行网络架构的模样1WeBank生产网构建思路27*24,18,网络故障几个场景,A,P,P,已经提示 网络出问题,程序已经抛出异常，,s,o,c,k,e,t 超时，请网络同学排,查,一下,应用耗时增加时与该,曲,线,毛,刺 时间点匹配,网络有,问题,GOP,S,全球运维大,会,2019,上