阿里云虚拟化技术自研之路课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,二级,三级,四级,五级,2015/5/22,#,张献涛、沈益斌,阿里云虚拟,化技术自研之路,议程,阿里云弹性计算效劳ECS介绍,ECS虚拟化架构及关键技术,ECS虚拟化架构,虚拟机热迁移技术,Hypervisor 热补丁技术,ECS实战案例分享,阿里云ECS下一代虚拟化架构设计,未来展望,2,议程,阿里云弹性计算效劳ECS介绍,ECS虚拟化架构及关键技术,ECS虚拟化架构,虚拟机热迁移技术,Hypervisor 热补丁技术,ECS实战案例分享,阿里云ECS下一代虚拟化架构设计,未来展望,3,ECS,产品定位,应用程序的根底运行环境,ECS(云效劳器)是阿里云产品体系中，最根底的计算效劳，通常用作应用程序的运行环境，其最重要的特点是弹性。,每个ECS实例上都运行着用户选择的操作系统，一般是某个Linux或Windows的发行版。用户的应用程序运行在实例的操作系统之上。,弹性的伸缩能力,ECS的最重要的特点是弹性，支持垂直和水平扩展两种能力。垂直扩展，可以根据业务需要即时的升级或降级ECS实例的CPU、内存和带宽； 水平扩展，可以根据业务需要即时创立数百个ECS实例.,4,ECS,在阿里云,中的,位置,Linux,集群,资源管理,（伏羲）,安全管理,（钟馗）,远程过程调用（夸父）,分布协同服务（女娲）,（大禹）,集群布署,（神农）集群监控,分布式文件系统（盘古）,任务调度（伏羲）,云服务,引擎,ACE,弹性,计算服务,ECS,关系型数,据库服务,RDS,开放数据,处理服务,ODPS,议程,阿里云弹性计算效劳ECS介绍,ECS虚拟化架构及关键技术,ECS虚拟化架构,虚拟机热迁移技术,Hypervisor 热补丁技术,ECS实战案例分享,阿里云ECS下一代虚拟化架构设计,未来展望,6,ECS,软件架构,Hypervisor 虚拟层(Including Xen , Xen Tools, Xend等),基于成熟的开源软件Xen,基于KVM的其它Hypervisor方案,为优化性能和稳定性，Xen核心代码改动数百项,Dom0 内核,基于ali kernel+ pv_ops 内核分支，独立研发,涉及数百个内核改动,高性能前后端通讯技术PV Driver),基于开源的PV Driver进行研发优化,优化后的高性能Driver提供更稳定高性能效劳，优化项达几十个,ECS,虚拟化关键技术,硬件虚拟化技术,CPU采用硬件虚拟化技术VT-x， 内存采用EPT方式,热迁移技术,底层基于Xen热迁移研发，改动超过20+项,独立研发热迁移控制系统,优化后的热迁移到达业界领先水平,Hotfix技术,独立研发Dom0 kernel Hotfix技术,独立研发Hypervisor Hotfix技术，独具创新型,独立研发用户态进程Hotfix技术,正在研发VM内核的Hotfix技术,议程,阿里云弹性计算效劳ECS介绍,ECS虚拟化架构及关键技术,ECS虚拟化架构,虚拟机热迁移技术,Hypervisor 热补丁技术,ECS实战案例分享,阿里云ECS下一代虚拟化架构设计,未来展望,11,议程,阿里云弹性计算效劳ECS介绍,ECS虚拟化架构及关键技术,ECS虚拟化架构,虚拟机热迁移技术,Hypervisor 热补丁技术,ECS实战案例分享,阿里云ECS下一代虚拟化架构设计,未来展望,12,虚拟机热迁移技术,13,HW,VMM,HW,VMM,OS,App,1,OS,App,2,OS,App,3,OS,App,4,CPU Usage,30%,CPU Usage,90%,CPU Usage,CPU Usage,HW,VMM,HW,VMM,OS,App,OS,App,动态的热点均衡场景,灾难恢复,虚拟机热迁移技术,热迁移定义,在不同物理机之间在线迁移虚拟机实例,做到VM内的业务根本无感知,热迁移技术应用场景,线上系统Hotfix,机器硬件故障修复,过保机器替换,集群内的负载均衡,绿色计算,主动运维,14,热迁移面临的挑战,线上运维标准极高,要求VM Downtime控制在毫秒级,网络链接无中断,存储无感知,线上系统的复杂性,镜像多样，机器型号复杂,无法在线升级hypervisor, dom0,历史遗留问题较多,虚拟化层热迁移不成熟,虚拟化层Bug较多,Tool stack层热迁移算法和流程问题较多,Qemu问题也较多,Guest内核及PV driver支持缺乏,Debian, ubuntu等内核问题较多,15,议程,阿里云弹性计算效劳ECS介绍,ECS虚拟化架构及关键技术,ECS虚拟化架构,虚拟机热迁移技术,Hotfix 技术,ECS实战案例分享,阿里云ECS下一代虚拟化架构设计,未来展望,16,ECS Hotfix,技术,系统,Hotfix,对业务运维的意义,软件系统存在,Bug,在所难免,宕机修复引起业务中断,在,云环境中，物理机重启影响面更广,用户无感知修复，一切尽在不言中,无需宕机，增强系统的可用性,ECS Hotfix,技术分类,Xen Dom0,内核,Hotfix,技术,Xen Hypervisor Hotfix,技术,用户,态进程,Hotfix,技术,客户机内核的,Hotfix,技术,17,Hotfix,技术是规模化业务运维立命之本,Xen Dom0,内核,Hotfix,技术,业界较成熟的Hotfix方案,Ksplice by Oracle,Kgraft by Novell,Kpatch by Redhat,采用自主研发的AliHotfix技术,修复Dom0内核Bug,修复PV 驱动Bug,修复系统平安漏洞,18,Xen Dom0,内核,Hotfix,技术,AliHotfix技术原理,基于函数动态替换技术,新函数会以模块内函数的形式链接入内核,旧函数的第一个指令改成强制跳转指令指向新函数,在替换过程中需要暂停所有CPU，切到一个内核线程并关闭本地中断。,刷新指令缓存，重新让CPU恢复执行,Hotfix过程中需要注意的点,修复NMI处理函数是不平安的,修复的函数正在内核栈上，修复过程是不平安的,新函数绝对不能调用旧函数，否那么无穷递归,Inline函数不能被直接修复，需要修复调用者,19,Xen Hypervisor Hotfix,Hypervisor Hotfix需求,Xen 平安漏洞: /,Xen功能性Bug,Hypervisor hotfix挑战极大,Xen Hypervisor 逻辑复杂,Xen 是type-1 Hypervisor, 不允许Dom0访问Hypervisor内存,线上系统无法新增Hotfix接口,Hypervisor hotfix 是创新性工作,仅理论上可行的一种方法，无成功先例,如何解决从Dom0 访问 Hypervisor内存,如何精确定位Hypervisor function 物理地址,如何精确替换有问题的代码段和数据段,20,Xen Hypervisor 平安架构,Dom0,内存,Xen,内存,DomU,内存,CPU,设备,Dom0,i,ommu=off,D,om0,无法通过,CPU,访问,Xen hypervisor,内存,Dom0,可通过设备,DMA,方式访问,Xen hypervisor,内存,Xen Hypervisor,Dom0,HVM Domain,Kernel,Kernel,Guest Mode,Host Mode,系统内存,如何解决,Hypervisor,内存访问,如何通过设备,DMA,访问,Hypervisor,内存,如何构造DMA请求,不能随意构造不存在的DMA请求,需要截获一个正常DMA请求，修改DMA的目的地址，以及要写入的数据,选取哪个硬件设备， 网卡 ？硬盘？其它？,截获DMA请求的方法,DMA请求的内存管理来自于两个函数,swiotlb_map_sg_attrs/swiotlb_unmap_sg_attrs,利用Alihotfix 替换内核的这两个函数,在新的map_sg/unmap_sg中参加过滤逻辑,筛选出特定的DMA请求，修改DMA目的地址,22,利用硬盘,DMA,请求,Hotfix Hypervisor,内存,议程,阿里云弹性计算效劳ECS介绍,ECS虚拟化架构及关键技术,ECS虚拟化架构,虚拟机热迁移技术,Hypervisor 热补丁技术,ECS实战案例分享,阿里云ECS下一代虚拟化架构设计,未来展望,23,实战案例一,24,酷炫的热,迁移,热迁移面临的挑战续,存储层面,Pangu分布式存储系统,锁争抢,cache刷新,网络层面,线上网络环境比较复杂,各种型号交换机,Mac, ARP, SLB，VPC等,25,热,迁移增强,修复虚拟化层面的一系列问题,C,entos,中断风暴,问题,Windows,双鼠标光点问题,ubuntu1204 2059,年时间漂移问题,ubuntu1204 3500,次迁移失败一次,问题,VNC,端口绑死,问题,RDTSC,模拟引起的性能问题,解除,Downtime,和,VM,内存大小的绑定,修复网络层面的多个问题,解决了,i350,网卡问题,解决了,mac,漂移导致的交换机封端口问题,解决了某型交换机在迁移场景下的,bug,解决了,vm,迁移后,fake arp,网络不通,问题,解除网络,Breaktime,和,VM,内存大小的绑定,存储层面,解决了锁争抢问题,: chunksweep, snapshot,解决热迁移,vm downtime,过长的,问题,26,27,实战案例二,XSA-108,事件,亚马逊,EC2,重,启公告,/,Today Ive received a few questions about a maintenance update were performing late this week through early next week, so I thought it would be useful to provide an update.,Yesterday we started notifying some of our customers of a timely security and operational update we need to perform on a small percentage (less than 10%) of our EC2 fleet globally.,AWS customers know that security and operational excellence are our top two priorities. These updates must be completed by October 1stbefore the issue is made public as part of an upcoming Xen Security Announcement (XSA). Following security best practices, the details of this update are embargoed until then. The issue in that notice affects many Xen environments, and is not specific to AWS.,As we explained in emails to the small percentage of our customers who are affected and on our forums, the instances that need the update require a system restart of the underlying hardware and will be unavailable for a few minutes while the patches are being applied and the host is being rebooted.,While most software updates are applied without a reboot, certain limited types of updates require a restart. Instances requiring a reboot will be staggered so that no two regions or availability zones are impacted at the same time and they will restart with all saved data and all automated configuration intact. Most customers should experience no significant issues with the reboots. We understand that for a small subset of customers the reboot will be more inconvenient; we wouldnt inconvenience our customers if it wasnt important and time-critical to apply this update.,Customers who arent sure if they are impacted should go to the “Events“ page on the EC2 console, which will list any pending instance reboots for their AWS account.,As always, we are here to help walk customers through this or to answer questions after the maintenance update completes. Just open a support case.,P.S. Note that this update is not in any way associated with what is being called the “Bash Bug in the news today. For information on that issue, see this securitybulletinon the AWS security center.,28,XSA-108,近年来最为严重的平安漏洞， 造成的损失不可估量,由于漏洞存在于VMM中，比心脏滴血以及bashshock更为严重,严重影响基于Xen的公有云平安,导致客户机可以访问大量的Hypervisor内存页,拥有读写权限,泄露大量的内存页面，包含关键信息,最严重会导致Xen Crash,一个字母引起的血案,0x3ff -0xff,Local APIC MSR连续编址到 业内存放器稀疏编址映射,存在于及以后的所有版本,攻击本钱极低,只需要用rdmsr/wrmsr指令在客户机内核读写即可,29,问题根源,KVM 引入了客户机x2apic 支持,增强APIC访问的效率,Patch来自KVM maintainer,MSR存放器组的边界计算错误,KVM代码进行了出错处理，因此幸免,Xen 移植了KVM Patch到,Xen无相关的错误处理，造成平安漏洞,每个vCPU就造成4个页面泄露,黑客可以通过重复启动VM，获得几乎所有的hypervisor内存,30,TPR,.,.,0xfee00000,xapic:0xfee00080,x,2apic:MSR(0x808,),PA=0xfee00000+ (MSR_index -0x800) *0x10,Registers in APIC page,造成了虚拟机逃逸事件,如何,修复,？,方法,1,：打补丁后重启机器,亚马逊，,Rackspace,，,Softlayer,等。,方法,2,：,Hypervisor Hotfix,阿里云研发的,Hypervisor Hotfix,方案,31,议程,阿里云弹性计算效劳ECS介绍,ECS虚拟化架构及关键技术,ECS虚拟化架构,虚拟机热迁移技术,Hypervisor 热补丁技术,ECS实战案例分享,阿里云ECS下一代虚拟化架构设计,未来展望,32,基于,KVM,Hypervisor,架构实现,设计特点,所有组件都支持热升级，升级过程用户无感知,实现非常具有挑战性,KVM,Hypervisor,，,Qemu,，,vhost-net,，前后端驱动，盘古客户端,网络提供基于,SRIOV,的技术的,Qos,功能,计算、存储网络流量隔离，消除系统性能抖动,高速,热迁移支持,VM Downtime,降至毫秒级,利用内存实时压缩算法，降低迁移时间,网络无响应时间缩短到,1s,以内,33,研发迭代速度快，对Bug和平安漏洞彻底免疫,议程,阿里云弹性计算效劳ECS介绍,ECS虚拟化架构及关键技术,ECS虚拟化架构,虚拟机热迁移技术,Hypervisor 热补丁技术,ECS实战案例分享,阿里云ECS下一代虚拟化架构设计,未来展望,34,未来工作展望,ECS虚拟化核心技术研发方向,持续优化热点迁移技术,GPU虚拟化支持,LXC/cgroup/Docker支持,CPU 热插拔技术,内存热插拔技术,VM fork 技术,全部组件的热升级技术,优化NUMA支持，获得更好的系统性能,提供更加富有弹性的计算效劳,结合ESS效劳，提供计算资源的动态伸缩,我们一直在奋斗。,35,Q&A,