互联网企业网络架构优化实践

,Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,37,互联网企业网络架构优化实践,从应用交付到云计算,迷土,F5 Networks,Agenda,应用交付网络架构设计,从应用交付到云计算,案例分析,应用交付网络架构设计,基于应用交付平台的动态数据中心架构,4,应用服务层,统一应用交付层,运维高可用,站点高可用,性能高可用,服务高可用,网络卸载,服务器卸载,应用卸载,主动安全,被动安全,协议层安全,网络层安全,应用级管理,开放管理,配置模板,Finance,SaaS,E-Commerce,Cloud Computing,Portal,BI,CRM,MBO,UC,ERP,N,etwork,应用监控系统,自动化资源配置管理,大型网站的高可用应用交付平台建设,服务高可用,性能高可用,站点高可用,运维高可用,通过基于应用层面的健康检查，判断服务的工作状态，避免通过进程检查方式无法准确判断真实服务状态的问题,通过对提供同样应用的服务实例进行负载均衡处理，实现对外统一服务，对内将请求分发到多个应用实例上，提高系统的处理能力，减小应用响应时间,通过站点间动态客户调度系统，实现多数据中心灾备模式、多主模式的运行，实现站点高可用,通过本地负载均衡和广域网负载均衡处理，屏蔽用户端对真实服务的感知，使系统运维可以实时、在线进行,负载均衡系统是高可用的根本,BIGIP LTM,对外提供一个虚拟的应用服务器，接收所有的客户端请求,BIGIP LTM,通过负载均衡算法处理，将客户端请求转发到后台的多个应用实例,BIGIP LTM,内置可编程控制接口，可以对流量进行编程控制处理,BIGIP LTM,通过应用健康检查，准确的判断应用程序的工作和服务状态，一旦发现应用不能提供服务，则将其从负载均衡组中摘除,V,irtual Server,N,etwork,Application,Application,负载均衡处理,可编程控制,应用健康检查,BIG-IP LTM,Domain,Server 1,Server 2,负载均衡中的,URL Switching,这么多功能都在一台,/,组服务器上无法支撑,/products/,/platform/,/service-training/,/customers/,URL,Switching,iRule,Cache/Web Servers,负载均衡中的可编程控制,集中交易保证,:,正向错误处理,rule,redirect_error_code, when HTTP_REQUEST set my_uri HTTP:uri when HTTP_RESPONSE if HTTP:status = 500 HTTP:redirect $my_uri ,when HTTP_REQUEST ,# - domain = A.com, company = A,regexp .(w+).com HTTP:host domain company,If ne $company ,# look for the second string in the data group,set mapping findclass $company $:valid_company_mappings ,if ne $mapping ,HTTP:redirect $mapping,Host,到,URI,对应,:,通过重定向快速存取数据,rule,protect_content,when,HTTP_RESPONSE_DATA,set payload HTTP:payload HTTP:payload length,#,#,Find and replace SSN numbers,.,#,regsub -all d3-d2-d4 $payload xxx-xx-xxxx new_response,#,# Replace only if necessary.,#,if $new_response != 0 ,HTTP:payload replace 0 HTTP:payload length $new_response,集中数据保护,:,重写，删除，阻止或者,Log,关键内容,统一应用交付平台下的数据中心,Data Center &Link Pool Virtualization,Web Server Pool Virtualization,Application Server Pool Virtualization,Pool Virtualization,Mobile,Remote,Office,Data,Center #1,Data,Center #2,Cloud,Provider,Web Servers,Web Servers,Web Servers,App Servers,App Servers,App Servers,Windows File,Storage,NetApp,EMC,大型网站应用优化设计,应用层卸载,服务器卸载,网络层卸载,通过动态,Cache,减小应用服务器和数据库计算压力，通过,Muti Connect,提高浏览器并行处理能力，,通过静态,Cache,减小服务器数据输出压力，连接聚合减小服务器对,TCP,连接建立和撤销的压力，带宽控制和链接数限制防止服务器过载，硬件,SSL,和压缩卸载使服务器更加关注于应用逻辑处理,通过,HTTP,压缩对明文数据进行压缩处理，减小带宽占用,HTTP,压缩实现网络层卸载,压缩数据：,&%&,YghgThkjdf*&,明文数据：,2234234234234234234234James,2342342342342356567983738627,客户端,Web Server,F5 BIG-IP LTM,采用业界标准,gzip,、,deflate,压缩算法,高端平台内置有硬件压缩芯片，可达到上,Gbps,的实时数据压缩处理,通常情况下对文本型内容可实现,80%,以上的压缩率,通过即可快速检查您的站点首页压缩比,Response:100,KB,Response:20,KB,RamCache,实现服务器卸载,HTTP,内存高速缓存,/images/a.gif,客户端,客户端,TMOS,服务器,Get /images/a.gif,HTTP 200 a.gif,客户端,Get /images/a.gif,HTTP 200 a.gif,Get /images/a.gif,HTTP 200 a.gif,Get /images/a.gif,HTTP 200 a.gif,BIG-IP LTM,内置,RamCache,功能，可以将,BIG-IP,的内存使用为高速缓存空间,RamCache,特别针对诸如首页元素之类的大访问量请求,当,Web Container,合,EJB Container,采用同一台物理服务器的时候特别有效,使服务器更加专注于处理应用逻辑和客户端展现,客户端,Get /images/a.gif,HTTP 200 a.gif,连接聚合,降低服务器压力,HTTP 1.1,客户端,客户端,客户端,客户端,HTTP 1.1,HTTP 1.1,HTTP 1.1,HTTP 1.1,Application,Server,BIG-IP LTM,F5 BIG-IP LTM,强大的应用层交换引擎，可以对多个客户端的,TCP,连接进行合并，通过少量的长连接与后台应用通讯,适合于大并发量的系统使用，尤其对于基于,JVM,的应用系统，可以有效的降低系统在频繁建立和关闭,TCP,连接时所带来的巨大开销,完全兼容,HTTP 1.1,标准协议，对后台应用透明,大型网游系统中的服务器,SSL,卸载,N,etwork,Application,Application,BIG-IP LTM,Domain,Server 1,Server 2,CRLDP,Auth,OCSP,Auth,SSL,加密通道提供高级别安全加密,支持百万级客户端同时接入,完善的,SSL,证书验证体系支持,卸载服务器,SSL,处理性能问题,大型网站系统的应用安全设计,网络层安全,防范基本的网络层攻击,协议层安全,完整的协议符合性检查,被动安全模式,通过可动态更新的特征判断,主动安全模式,定义数据流程的允许访问策略,防止,Syn,、,ACK,、,RST,等网络层,DDOS,攻击模式,对,HTTP,、,SMTP,、,FTP,等协议在协议层面上进行严格检查，对于不符合协议规范的请求一律拒绝访问。通过速率限制防止应用层,DDOS,攻击,内置动态可更新的攻击特征代码，对请求内容进行分析，防止通用型攻击手段,通过应用访问流程制定、用户提交信息分析等策略，只放过在安全策略定义范围内的客户端请求，对不认识的请求一律拒绝,攻击危险程度,安全防护级别,网络层安全,-,前端七层工作模式,Client,Side,TCP,Stack,Server,Side,TCP,Stack,客户端,客户端,客户端,客户端,Virtual Servers,Pools,Profiles,iRules,TMOS,服务器,服务器,服务器,服务器,传输数据,TCP,连接,TCP,连接,TCP,连接,TCP,连接,TCP,连接,TCP,连接,TCP,连接,TCP,连接,黑客,SYN F,lood,ACK F,lood,RST Flood,F,ull Proxy,模式下，绝大部分的网络层攻击无法穿越,BIG-IP LTM,协议层安全,-,强制协议规范符合,被动安全模式,-,动态更新攻击代码特征库,主动安全模式,-,基于应用流程防护,!,VIOLATION,!,VIOLATION,?,Should this be a violation?,The user may have bookmarked the page!,Unnecessarily enforcing flow can lead to false positives.,This part of the site is a financial transaction that requires authentication; we should enforce strict flow and parameter validation,From Acc.,Transfer,$ Amount,To Acc.,Password,Username,!,ALLOWED,系统运维管理,F5,的系统运维管理,监控,F5 BIG-IP LTM,收集,LTM,上的数据和配置变化,在数据达到阀值或健康检查变化,的时候提供警告,提供对数据的报表,提供远程代理程序支持数据收集,Zone,Zone,Zone,Zone,F5 iControl,Web Services,系统监控,节点,Up/Down,监控,自动资源规划,动态调配资源,门户,从应用交付网络架构到云计算,Virtualized,Services,什么是云计算,?,云计算不是革命，而是进化。（,F5,某牛人）,云计算提供了那些虚拟化服务,?,IaaS - Infrastructure as a Service (Virtualization),SaaS - Software as a Service (App Hosting),PaaS - Platform as a Service (Lifecycle),SaaS ,Storage as a Service,SaaS ,Security as a Service,AaaS Acceleration as a Service,From Wikipedia -,真实的云计算平台,云计算的核心是什么？,NAS,STORAGE,从应用交付网络架构平台到云计算,Windows,WEB SERVERS,APPLICATION SERVERS,NetApp,EMC,App Delivery Controller (ADC),Data Delivery Controller (DDC),Pool,Virtualization,Router/,Switch,Router/,Switch,Web/Application Server Pool Virtualization,DC/Link Pool Virtualization +,Secure Access,DC #2 in Building B,DC #1 in Building A,F5 BIG-IP装置的强力效能搭配云端运算的弹性功能，已有效协助Joyent自今年8月以来的年度营收大幅成长达35%。,Joyent的共同创办人兼执行官David Young,我在寻找与试用市面上所有虚拟化产品时发现，,F5 BIG-IP系统是无与伦比的最佳选择。BIG-IP区域流量控制器是唯一能够扩展处理数以千计后端系统并协助Joyent获得成功的应用交换产品，若没有它，我们将会无法持续营运。- Jason Hoffman, co-founder and CTO of Joyent.,Cloud Services,ADC and DDC -,Enable Consolidation of Storage, Server,Network and Datacenter.,从应用交付网络架构到云计算,Cloud Data Centre,Acceleration as a Service (WA/LTM),Storage as a Service (ARX),Application as a Service,(App Ready Solution),Security as a Service(ASM),Access as a Service (FP/SAM+GTM),SalesForce,Softlayer,GoGrid,Joyent,Bluelock,Microsoft,AT&T Synaptic,Amazon EC2, S3,案例分析,大型网站,DNS,系统设计,顶级域名解析,二级域名解析,大型网游系统集中认证,V,irtual Server,N,etwork,认证服务器,认证服务器,负载均衡处理,可编程控制,应用健康检查,Viprion,高速,Cache,集群,Election Hash,V,irtual Server,N,etwork,Ram Cache,RamCache,负载均衡处理,可编程控制,应用健康检查,Viprion,/abc,/cde,/efg,/hij,多数据中心并行,客户端浏览器,客户端浏览器,Internet,BIGIP LTM,WEB,WEB,WEB,BIGIP LTM,APP,APP,APP,DB,Active,主中心,Router,Router,GTM,GTM,第二中心,BIGIP LTM,WEB,WEB,WEB,请求转发,BIGIP LTM,APP,APP,APP,DB,Backup,数据同步,更多讨论在,开源软件组成的系统,LVS,HAProxy,Nginx,集中管理,监控告警,服务配置,负载分析,