阿里高可用架构设计与实践ppt课件

汇报人：汤亚男 时间：2017年11月By 游骥 阿里巴巴高级技术专家 中间件&高可用架构团队技术leader 阿里巴巴高可用体系核心缔造者 6年双11高可用保障老兵邮箱: 微信:lanxielian 阿里高可用架构设计与实践汇报人：汤亚男 时间：2017年11月By 游骥 1 1架构简图2 2浅谈WEB架构演进3 3高可用体系4 4大数据架构方案目录1架构简图2浅谈WEB架构演进3高可用体系4大数据架构方案目01架构简图阿里电商平台架构简图01阿里电商平台架构简图架构简图阿 里 电 商 平 台架构简图阿里电商平台02浅谈WEB架构演进用户模块：用户注册和管理商品模块：商品展示和管理交易模块：创建交易和管理02浅谈WEB架构演进用户模块：用户注册和管理WEB架构演进过程电 商 平 台单机单机构建网站构建网站应用应用服务器与数据库分离服务器与数据库分离应用应用服务器集群服务器集群系统演变到这里，将会出现下面四个问题系统演变到这里，将会出现下面四个问题：1.用户的请求由谁来转发到到具体的应用服务器2.有什么转发的算法3.应用服务器如何返回用户的请求4.用户如果每次访问到的服务器不一样，那么如何维护session的一致性WEB架构演进过程电商平台单机构建网站应用服务器与数据库分离用户的请求其实已经到了HTTP重定向负载均衡服务器，服务器根据算法要求用户重定向，用户收到重定向请求后，再次请求真正的集群。优点：优点：简单 缺点：缺点：性能较差在用户请求DNS服务器，获取域名对应的IP地址时，DNS服务器直接给出负载均衡后的服务器IP。优点优点：交给DNS，不用我们去维护负载均衡服务器。缺缺点点：当一个应用服务器挂了，不能及时通知DNS，而且DNS负载均衡的控制权在域名服务商那里，网站无法做更多的改善和更强大的管理。在用户的请求到达反向代理服务器时（已经到达网站机房），由反向代理服务器根据算法转发到具体的服务器。常用的apache，nginx都可以充当反向代理服务器。优点：部署简单缺点：代理服务器可能成为性能的瓶颈，特别是一次上传大文件。在请求到达负载均衡器后，负载均衡器通过修改请求的目的IP地址，从而实现请求的转发，做到负载均衡。优点：性能更好缺点：负载均衡器的宽带成为瓶颈。反 向 代 理 服 务 器D N S 域 名 解 析 负 载 均 衡I P 层 负 载 均 衡H T T P 重 定 向WEB架构演进负 载 均 衡 解 决 方 案在请求到达负载均衡器后，负载均衡器通过修改请求mac地址，从而做到负载均衡，与IP负载均衡不一样的是，当请求访问完服务器之后，直接返回客户。而无需再经过负载均衡器。数 据 链 路 层 负 载 均 衡用户的请求其实已经到了HTTP重定向负载均衡服务器，服务器根WEB架构演进负 载 均 衡 调 度 算 法1 1.rr rr 轮询调度轮询调度算法算法：顾名思义，轮询分发请求。2.wrr 2.wrr 加权调度加权调度算法算法：我们给每个服务器设置权值weight，负载均衡调度器根据权值调度服务器，服务器被调用的次数跟权值成正比。3 3.sh sh 原地址散列：原地址散列：提取用户IP，根据散列函数得出一个key，再根据静态映射表，查处对应的value，即目标服务器IP。过目标机器超负荷，则返回空。4.dh 4.dh 目标地址散列：目标地址散列：同上，只是现在提取的是目标地址的IP来做哈希。5.lc 5.lc 最少最少连接：连接：优先把请求转发给连接数少的服务器。6.wlc 6.wlc 加权最少加权最少连接：连接：在lc的基础上，为每台服务器加上权值。算法为：（活动连接数*256+非活动连接数）权重，计算出来的值小的服务器优先被选择。7.sed 7.sed 最短期望最短期望延迟：延迟：其实sed跟wlc类似，区别是不考虑非活动连接数。算法为：（活动连接数+1)*256权重，同样计算出来的值小的服务器优先被选择。8.nq 8.nq 永不永不排队：排队：改进的sed算法。我们想一下什么情况下才能“永不排队”，那就是服务器的连接数为0的时候，那么假如有服务器连接数为0，均衡器直接把请求转发给它，无需经过sed的计算。9.LBLC 9.LBLC 基于局部性的最少基于局部性的最少连接：连接：均衡器根据请求的目的IP地址，找出该IP地址最近被使用的服务器，把请求转发之，若该服务器超载，最采用最少连接数算法。10.LBLCR 10.LBLCR 带复制的基于局部性的最少带复制的基于局部性的最少连接：连接：均衡器根据请求的目的IP地址，找出该IP地址最近使用的“服务器组”，注意，并不是具体某个服务器，然后采用最少连接数从该组中挑出具体的某台服务器出来，把请求转发之。若该服务器超载，那么根据最少连接数算法，在集群的非本服务器组的服务器中，找出一台服务器出来，加入本服务器组，然后把请求转发之。Nginx目前支持的负载均衡算法有wrr、sh（支持一致性哈希）、fair（可以归结为lc）。Nginx作为均衡器的话，还可以一同作为静态资源服务器。Nginx本身并没有提供session同步的解决方案，而apache则提供了session共享的支持，也可以通过Redis方式存储共享数据。WEB架构演进负载均衡调度算法1.rr 轮询调度算法：顾名思负载均衡负载均衡数据库读写分离数据库读写分离用用缓存缓解读库的缓存缓解读库的压力压力WEB架构演进过程电 商 平 台负载均衡数据库读写分离用缓存缓解读库的压力WEB架构演进过程拆分拆分应用，应用，SOASOA模式模式WEB架构演进过程电 商 平 台引入消息中间件引入消息中间件随着业务的发展，业务越来越多，应用越来越大。我们需要考虑如何避免让应用越来越臃肿。这就需要把应用拆开，从一个应用变为俩个甚至更多。可以把用户、商品、交易拆分开。变成“用户、商品”和“用户，交易”两个子系统。随着网站的继续发展，系统中可能出现不同语言开发的子模块和部署在不同平台的子系统。此时需要一个平台来传递可靠的，与平台和语言无关的数据，并且能够把负载均衡透明化，能在调用过程中收集调用数据并分析之，推测出网站的访问增长率等等一系列需求，对于网站应该如何成长做出预测。开源消息中间件有阿里的dubbo，可以搭配Google开源的分布式程序协调服务zookeeper实现服务器的注册与发现。拆分应用，SOA模式WEB架构演进过程电商平台引入消息中间件03高可用体系监控报警，依赖治理，系统保护，容量规划，线上演练 03高可用体系监控报警，依赖治理，系统保护，容量规划，高可用体系阿 里 电 商 平 台监控报警和依赖治理是高可用体系的眼睛高可用体系阿里电商平台依赖治理阿 里 电 商 平 台对调用打点，对海量调用链进行统计，得到链路各个依赖的稳定性指标 依赖治理阿里电商平台对调用打点，对海量调用链进行统计，得到链系统保护限 流 降 级 流 量 调 度 热 点 防 护系统保护限流 降级 流量调度 热点防护系统保护限 流系统保护限流系统保护降 级固定时间间隔进行探测 系统保护降级固定时间间隔进行探测 系统保护负载保护系统保护负载保护系统保护流量调度系统保护流量调度系统保护热点保护大促难题，业务热点问题 客观存在：华为、小米、iphone、微博 黑马热点不可预计 从系统稳定性出发，保护 下游资源，不被热点击垮：Tair(缓存缓存)击穿 DB连接数过大 黑马热点不可预计 从业务链路出发，实现 热点数据共享：手工配置 各个业务热点隔离，数据不能自动共享 系统保护热点保护大促难题，业务热点问题 客观存在：华为、小系统保护容量规划系统保护容量规划系统保护线上压测获取单机能力系统保护线上压测获取单机能力系统保护全链路压测系统保护全链路压测04大数据架构方案阿里云平台大数据架构方案，大数据业务需求场景运营从粗放a精细化，高效、合理的数据架构是关键04大数据架构方案阿里云平台大数据架构方案，大数据业务需求大数据业务需求场景运 营 从 粗 放 精 细 化，高 效、合 理 的 数 据 架 构 是 关 键 大数据业务需求场景运营从粗放精细化，高效、合理的数据架构业务功能分层架构阿 里 云 平 台业务功能分层架构 阿里云平台数据运营平台基础数据框架【实时、离线】阿 里 云 平 台数据运营平台基础数据框架【实时、离线】阿里云平台THANKYOUTHANK YOU