Erlang零成本实现云计算

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,Erlang零成本实现云计算,余锋 （褚霸）,淘宝网技术专家,中国软件技术大会 北京 2010,1,议题,1. Erlang天生适合云计算,2 .Erlang并行计算的效率,3. Erlang云计算基础构件,4. Erlang集群管理和维护,5. 讨论,2,Erlang是什么?,通用的语言和运行环境,内置并发,集群,容错机制,电信和互联网行业大规模部署应用,经过时间验证的成熟商业系统,3,Erlang的历史,很老的FP语言,始于80年代末,爱立信投资10亿美金主导开发,EPL版权方式开源,需要记住的几个年份,1987,The first experiments with Erlang.,1993,Distribution is added to Erlang.,2006,SMP support is added to Erlang.,4,云计算定义,云计算就是应用公共网络设施对逻辑的组建，像水和电一样融入大家的生活，为用户提供海量一站式的服务.,-,腾讯首席执行官马化腾,Cloud = CPU + Storage + Queues + Management,-,The Amazon Web Services says essentially,5,Erlang的进程, 天上的云,Erlang was built from the ground up for concurrency. Not just in a single machine, but in clusters of machines. Lots of machines. Lost of machines running many processes. Sounds like a cloud, right?,-Colin Clark,6,语言和虚拟机天生可伸缩,函数式语言，方便排错,轻量级进程,异步消息机制,软实时,代码热升级,最COOL的语言特性:,7,内置集群和分布的基础设施和库,进程分布和名称同步管理,进程和节点容错管理,rpc,gen_server,mnesia数据库,8,稳定性,In 1998, the Ericsson AXD301 switch was announced, containing over a million lines of Erlang, and reported to achieve a reliability of nine 9s.,-Joe Armstrong,9,Erlang零成本云计算适用的领域,互联网应用服务器,消息推送系统,网关代理服务器,软实时的服务,集群管理,10,Erlang社区快速壮大, 见证云计算的增长,11,小结,Erlang天生适合特定领域的云计算,12,议题,1. Erlang天生适合云计算,2 .Erlang并行计算的效率,3. Erlang云计算基础构件,4. Erlang集群管理和维护,5. 讨论,13,Erlang语言运行和开发效率,纯Erlang的运行效率大概是C的1/5， 编码效率是C的7倍，在脚本语言中属于中等水平.但是云计算不仅仅是纯计算,任务调度和集群管理是Erlang的强项,从而拉升系统的整体表现.,第三方独立评测网站 TheComputerLanguage BenchmarksGame,摩托罗拉C/Erlang开发效率比较,14,Erlang对SMP的支持,从,2006,年发布的R11B开始.,SMP开发人员的信条:,SMP should be transparent to programers in much the way as erlang distribution.,-Ulf Wiger, Ericsson AB,15,Erlang进程调度及策略,调度器看起来很像,操作系统,，实际上Erlang的第一个进程名字叫做otp_ring,Full load or not,多个运行队列，动态迁移进程,16,Erlang调度器的伸缩性,小消息，大计算原则,17,架构设计方面的考虑,不共享,没有显式的同步,并发导向的编程,进程是低廉的,和现实世界对象1:1模型,所有无依赖的任务,都抽象为进程并发执行,终止的进程,一切都是垃圾,资源集中回收,简洁为王,18,Erlang技术发展路线图,虚拟机的运行期持续改进计划涵盖了对,众核,和,NUMA,体系结构的支持，保证了它在未来新的硬件体系结构下能持续获得更好的性能。,19,小结,Erlang并行计算效率高,20,议题,1. Erlang天生适合云计算,2 .Erlang并行计算的效率,3. Erlang云计算基础构件,4. Erlang集群管理和维护,5. 小结,21,从Vmware收购谈起.,Vmware,计算虚拟化,Redis,存储,RabbitMQ,消息交换系统,我们可以清楚的看到云计算的三个基础设施!,22,存储系统(noSQL),CouchDB,Riak,Membase,23,消息交换系统,RabbitMQ,Ejabberd,24,WEB服务器,Mochiweb,Erlyweb,25,Map/Reduce系统,Disco,26,小结,Erlang基础设施齐全,开发成本低,27,议题,1. Erlang天生适合云计算,2 .Erlang并行计算的效率,3. Erlang云计算基础构件,4. Erlang集群管理和维护,5. 讨论,28,集群特点及规模,集群全连通或者分区连通,访问授权: nothing or all策略,节点规模可强力伸缩,节点热插拔,规模可达上千台,典型系统的集群进程组织图,29,异构性,不同的平台,Windows（smp支持的有待改进）,*nix,不同的体系结构,无需关心endianess问题,工业级协议的支持（asn.1, snmp等）,30,强大的交互性, 与其他遗留系统整合,NIF,C节点（ei),Java (jinterface),Cobra,TCP/HTTP,内置RPC,31,部署,Standalone发布，无需单独安装Erlang运行期,不停机维护,在线升级，系统同时运行新旧代码,发现问题在线降级,工具化, 一切自动化,32,代码安全,代码可远程从网络加载, Diskless减少维护的成本,代码可加密, 强加密防止反编译,33,远程维护,强大的内置shell,ssh/sftp,可集中管理的日志系统,34,监控功能,OS mon,SNMP,HTTP,35,小结,Erlang集群管理成本低,36,议题,1. Erlang天生适合云计算,2 .Erlang并行计算的效率,3. Erlang云计算基础构件,4. Erlang集群管理和维护,5. 讨论,37,典型成功案例,国内：,校内网,腾讯,华为,游戏公司 (如4399),.,国外：,Facebook,Github,.,38,应用障碍,FP语言, 开发人员少, 招聘成本高,独特的并发和错误处理哲学,开发社区偏小，知识积累不够,应用库偏少,39,谢谢大家！,Any questions?,40,