4.OpenStack实践及优化-李来水 袁进坤

单击此处编辑母版标题样式,单击此处编辑母版文本样式,二级,三级,四级,五级, ZTE Corporation. All rights reserved.,#,OpenStack,实践及优化,2015,年,3,月,28,日,中兴通讯 中心研究院 李来水 袁进坤,目录,TECS,项目（,O,penStack,）简介,OpenStack,安装与升级,Ceilometer,优化,支持,SR-IOV,Evacuate,优化,中兴通讯,TECS,项目（,OpenStack,）简介,2010,，启动虚拟化、云计算技术预研,2011,，正式启动,TECS,项目,2012,年，发布第一个正式版本,部署内部开发云，完成,300,台虚拟机交付,支持,NFV,测试,2013,年立项,OpenStack,相关的预研,下半年正式启动基于,OpenStack,的,TECS,版本研发,2014,年发布基于,OpenStack Icehouse,的发行版,实现在政务云、企业,IT,云以及电信,NFV,云的商用或试商用,2015,年发布基于,OpenStack Kilo,版本的发行版,NFV,架构,VIM,（,OpenStack,）,硬件资源,Hypervisor,VM,VM,VNFM,NFVO,OSS/BSS,VNF,VNF,C7,C5,C6,C1,C3,C8/10,EMS,EMS,C2,易维护,高可用,高性能,目录,TECS,项目（,OpenStack,）简介,OpenStack,安装与升级,Ceilometer,优化,支持,SR-IOV,Evacuate,优化,OpenStack,安装升级的需求,一键自动化安装,一键自动化升级,平滑、无损升级,虚拟机中的业务不会中断,OpenStack,对外提供的服务不会中断,平滑扩容，即插即用,作为计算节点的服务器自动上电安装,适应各种部署组网场景,OpenStack,的部署场景和机制,通过配置文件进行安装部署的配置控制，灵活应对各种部署场景,支持多种典型应用场景的模板化配置。例如，左图为两对控制节点的部署场景,OpenStack,的安装部署的步骤和手段,开始裸机安装第一个节点，同时准备安装环境,准备好后续扩容环境，新增节点可以做到即插即用,通过网络安装其它所有节点的,OS,按照模板配置进行系统的初始部署，完成所有节点的自动化安装及配置,OpenStack,的控制节点双机,控制节点采用,HA,软件，以双机主备方式进行组网。,一对双机主备采用两个服务器，主用服务器上运行,OpenStack,的部分控制组件。主用服务器出现故障时（网络、文件系统或者应用程序不能正常运行等），进行主备切换。,除了,OpenStack,组件受到,HA,的管理外，,OpenStack,使用的浮动,ip,、网口和文件系统也受,HA,的管理。,OpenStack,的控制节点升级,1,升级备节点,2,主备倒换,3,升级原主节点,stop HA,：如为主，触发主动倒换,stop TECS,TECS,及,HA,程序,升级,TECS,数据库升级,start HA,OpenStack,的计算节点升级,对实时性要求不高的,VM,，可以先把,VM,迁移到其它服务器，然后再升级空闲节点的控制软件,升级前，,OpenStack,通过,VNFM,通知业务，迁走业务负载，然后把,VM,迁移出待升级节点，然后开始升级空闲节点的控制软件,https:/wiki.opnfv.org/requirements_projects/escalator,目录,TECS,项目（,OpenStack,）简介,OpenStack,安装与升级,Ceilometer,优化,支持,SR-IOV,Evacuate,优化,Ceilometer,的增强,Ceilometer,项目开始于,2012,年，最初用于一个简单目标：收集,OpenStack,项目的信息，计费系统使用该数据源生成费用账单，称之为“计量”。,随后，,Ceilometer,收集的指标越来越多，社区开始给,Ceilometer,增加第二个目标：成为一个标准的采集指标机制，而不管指标的用途。,最近，随着,Heat,项目的诞生，,OpenStack,项目需要一个工具来观察关键变量，并触发不同的响应。因为,Ceilometer,已经收集了大量的指标，该工作顺理成章的成为了,Ceilometer,的扩展，称之为“告警”。,Ceilometer,的增强,Ceilometer,的增强,Ceilometer,的增强,agent-notification,负责收集各个组件推送的消息,agent-central,是通过各个组件,API,方式收集有用的信息,agent-compute,只负责收集计算节点信息,agent-*,服务负责采集信息，采集的信息可以通过三种方式发布：,RPC,UDP,File,Ceilometer,的增强,故障的检测和上报非常重要，尤其是针对电信领域，可用性要求更高,除了检查虚拟机状态，还需要覆盖物理机、,Hypervisor,、存储和网络等非,meter,类型的监控指标。,支持故障状态的实时检测和上报,告警聚合,告警存储,北向接口标准化,实时上报,主动查询,Ceilometer,的增强,Ceilometer,的增强,Alarm Agent,运行在每个节点，接收告警源上报告警,/,恢复,告警状态同步,Message Queue,消息队列，用于,Alarm Agent,和,Alarm Manager,通信,可选,QPID,或,RabbitMQ,Alarm Manager,运行在管理节点，汇总系统告警信息，记录在,Data Store,告警聚合,Data Store,告警持久化存储，使用,MySQL,API,SNMP,接口,支持告警主动上报和后台查询, Passthrough,技术，极大提升了,I/O,效率,VF,Embedded switch,PF,VF,VM 1,VM 2,SR-IOV PCI Passthrough,支持,SR-IOV,VF,Embedded switch,PF,macvtap,VF,macvtap,VM 1,VM 2,SR-IOV MACVTAP Passthrough,SR-IOV,无法进行,live migration,SR-IOV,的,VF,数量有限,支持,SR-IOV,VF,Embedded switch,PF,macvtap0,PF,Embedded switch,VF,macvtap1,VF,Embedded switch,PF,macvtap0,PF,Embedded switch,VF,macvtap1,Shut down the virtual link intentionally,VM,VM,SR-IOV/MACVTAP,无法感知物理网卡的故障,支持,SR-IOV,VF 0,VF 1,VF 2,VF n-1,VF n,available,allocated,allocated,available,available,nova-scheduler,Total available VF number: 126,1: VM request 2 ports, compare,with total available VF number,nova-compute,2: Allocate 2 VFs for VM(uuid-2) from,the VF pool in the chosen node,null,vm-uuid1,vm-uuid1,null,null,收集,SR-IOV,资源信息记录到数据中并记录其分配状态,Nova,在调度资源时选择有,SR-IOV,空闲资源的节点,选择对应的资源后，更新数据库中对应的状态,支持,SR-IOV,VF 0,VF 1,VF 2,VF n-1,VF n,available,available,available,allocated,allocated,Total available VF number: 124,null,vm-uuid1,vm-uuid1,vm-uuid2,vm-uuid2,虚拟机部署完成之后，,VF,资源池的状态；以及生成的虚拟机,libvirt,配置文件中网口相关的描述（以,macvtap passthrough,为例）,支持,SR-IOV,目录,TECS,项目（,OpenStack,）简介,OpenStack,安装与升级,Ceilometer,优化,支持,SR-IOV,Evacuate,优化,非虚拟化节点,虚拟化后的可靠性下降,引入虚拟化层，单节点可靠性下降,为节省成本，使用的硬件服务器可靠性也有所下降,App,OS,Server,OS,Hypervisor,Server,App,虚拟化节点,可靠性提升方式,Rebirth:,OpenStack,管理节点会定时检测,VM,状态，当,VM,状态出现异常时，会强行在本地重生虚拟机，以保证虚拟机状态正常。,采用高质量软硬件,增加故障快速检测与恢复机制,增加冗余备份机制,可靠性提升方式,host1,master,host2,slave,互斥,host1,VM1,host2,VM1,重生,down,Schedule policy,：,部署,VM,时支持对,VM,的,anti-affinity,部署，,anti-affinity,的,VM,会部署在不同主机，当某个物理机故障时，在另外主机的,VM,还会正常运行，保证业务的可靠性。,Evacuate,：,当物理机出现异常已经无法工作时，系统会检测到并触发在其他物理机上重建相关虚拟机，重建的虚拟机的所有属性不会发生变化。,Evacuate,优化,Evacuate,目前只能是管理员手动发起,Evacuate,没有考虑,VM,的部署属性，导致资源调度策略失效,通过带外通道发现物理主机故障,DOWN,机，则自动触发,evacuate,流程,在发起,evacuate,流程时，带上,VM,的调度属性，比如,anti-affinity,属性，保证,evacuate,后仍然能够保证,VM,的相应属性。,谢谢,