联想水冷技术介绍课件

2015 Lenovo Internal. All rights reserved.,#,联想水冷解决方案,2016 Lenovo. All rights reserved.,Lenovo,HPC Summit,北京,七月一日,.,联想水冷解决方案2016 Lenovo. All right,2016 Lenovo. All rights reserved.,日程,基础架构制冷,基础架构管理,1,2016 Lenovo. All rights reserv,面向选择宽泛的客户,面向严苛的能源效率、高密设计要求的客户,面向既考虑制冷效率又关心配置灵活性的客户,水冷技术的选择,PUE = 1.5,PUE = 1.2,PUE = 1.1,节点内直接水冷技术,空气制冷,节点风冷，背板水冷热交换,内置风扇控制气流,适合任何数据中心,最大的灵活性,配件选择宽泛,支持节点直接扩展,(Storage NeX, PCI NeX,),节点风冷,用水冷北门补充制冷,用,18,度存储制冷,扩展受背,门限,节点内通过铜盘管直接水冷，没有风扇，静音效果良好,提高分摊到每度电上的性能增加,温水水冷,能源再利用,高密度设计,优化能源消费和数据中心布局,支持更高性能的,处理器,多数情况下，三种制冷方式可以并存,(,混合制冷数据中心,),面向选择宽泛的客户面向严苛的能源效率、高密设计要求的客户面向,iDataplex dx360M4 (2010-2013),在,42U,空间里面，配置,i84,台,i,Dataplex dx360M4,服务器,dx360 M4,节点, 2xCPUs (130W, 115W), 16xDIMMS (4GB/8GB), 1HDD/2SSD, network card.,85%,热量可回收，,水温,18C-45C, 0.5,升每节点分钟,.,iDataplex,机架,dx360M4,服务器,iDataplex dx360M4 (2010-2013)在,2,016 Lenovo. All rights reserved.,NextScale nx360M5 WCT (2013-2015),机柜配置,NextScale,机箱,NextScale,机箱,6U,高，支持,12,节点,.,nx360M5,WCT 2xCPUs (up to 165W), 16xDIMMS (8GB/16GB/32GB), 1HDD/2SSD, 1 ML2 or PCIe Network Card.,85%,热量可回收，,水温,18C-45C, 0.5,升每节点分钟,2 Nodes of nx-360M5 WCT in a Tray,nx360M5 with 2 SSDs,Scalable Manifold,NextScale,机箱,2016 Lenovo. All rights reserv,NextScale nx360M5 WCT (2016),NextScale,机箱,6U,高，支持,12,节点,.,nx360M5,WCT 2xCPUs (up to 165W), 16xDIMMS (8GB/16GB/32GB), 1HDD/2SSD, 1 ML2 or PCIe Network Card.,85,%,热量可回收,水温,18C-45C, 0.5,升每节点分钟,.,现存的铜盘管,通过聚乙烯盘管,降低成本,(,Fluorinated Ethylene Propylene),2 Nodes of nx-360M5 WCT in a Tray,nx360M5 with 2 SSDs,NextScale nx360M5 WCT (2016)Ne,如何测试,PUE,Energy,Reuse Effectiveness,度量数据中心是如何重复利用计算机散发出的能量,ERE,是计算消耗的电力和,计算机所消耗的电力与被重复利用的电力差的比值,.,理想的,ERE,等于,0,.,如果没有电力回收利用方案, ERE = PUE,PUE =,Total Facility Power,IT Equipment Power,(,IT power + VR + PSU + Fan),IT Power,ITUE =,ERE =,Total Facility Power T,reuse,IT Equipment Power,PUE,Power usage effectiveness,(,PUE,),是一个衡量数据中心电力利用效率的数值,;,PUE,是数据中心所需所有电力和利用在计算机上的电力的比值,.,理想数值是,1.0,该值并不能表现是如何优化耗电结构的,ITUE,IT,power effectiveness,( ITUE),度量节点是如何优化耗电结构的,理想值是,1.0,ERE,7,如何测试PUEEnergy Reuse Effectiven,面向选择宽泛的客户,面向严苛的能源效率、高密设计要求的客户,面向既考虑制冷效率又关心配置灵活性的客户,PUE = ,1.5 /,ERE 2 1.5,PUE = 1.2 /,ERE, 1.5 ,1.2,PUE =,1.1 /,ERE, 1 with hot,water,节点内直接水冷技术,空气制冷,节点风冷，背板水冷热交换,内置风扇控制气流,适合任何数据中心,最大的灵活性,配件选择宽泛,支持节点直接扩展,(Storage NeX, PCI NeX,),节点风冷,用水冷北门补充制冷,用,18,度存储制冷,扩展受背,门限,节点内通过铜盘管直接水冷，没有风扇，静音效果良好,提高分摊到每度电上的性能增加,温水水冷,能源再利用,高密度设计,优化能源消费和数据中心布局,支持更高性能的,处理器,多数情况下，三种制冷方式可以并存,(,混合制冷数据中心,),水冷技术的选择,面向选择宽泛的客户面向严苛的能源效率、高密设计要求的客户面向,莱布尼兹系统,SuperMUC,:,一期和二期,PUE,1.1,五年内电力节省, 37%,，资金销售从,from 27.6 M,降到,17.4 M,3096,台,nx360m5,计算节点,(,Haswell EP CPUs),HPL = 2.8,PetaFLOP/s,直接水冷,EAS,Infinib,and,FDR,10,台,GSS26, 7.,5 PB,容量, 100 GB/,s IO,带宽,一期,二期,排名,28,和,29,，,Top500 2016,.6,性能一览,2012,年,6,月欧洲,Top500,排名第一的系统,9324,节点配置,2,颗,Intel Sandy Bridge EP CPUs,HPL = 2.9 PetaFLOP/s,Infiniband FDR10,网络,适合各种用途的巨大存储空间,利用,IBM GPFS,实现,10P,容量和,200GB/s,的,IO,带宽,能源利用效率方面的创新,温水水冷,Energy Aware Scheduling(EAS,技术,),最优制冷效果的,HPC,系统,9,莱布尼兹系统SuperMUC :一期和二期PUE,废热再利用,废热夏天干什么,?,SuperMUCs,的废热，为,40.000 m,2,的办公室供暖,德国的新的建筑标准，隔热性能指标很好,:,标准的热量需求只有,50 W/m,2,废热再利用废热夏天干什么?SuperMUCs 的废热，为40,CooLMUC-2:,废热重复利用用来生产冷却水,制冷机的制冷能力,CooLMUC-2: 废热重复利用用来生产冷却水制冷机的制冷,CooLMUC-2: ERE = 0.3,CooLMUC-2,电力消耗,CooLMUC-2,热量通过设循环水被带走,制冷机的制冷能力,(COP 0,5 0,6),12,ERE,=,Total Facility Power T,reuse,IT Equipment Power,=,120 87,104,CooLMUC-2: ERE = 0.3 CooLMUC-2,进口,水温为,50 C,全季节美欧压缩机的制冷,384,计算节点,466 TFlop/s,峰值计算能力,基于,氟化物涂层和金属纤维的热交换技术,比基于当前基于硅胶制冷技术有三个优点,COP = 60%,总体省电,50+%,CooLMUC-2,ERE =,Total Facility Power T,reuse,IT Equipment Power,联想,NeXtScale Water Cool (WCT),系统技术,SorTech,的吸收式制冷机组,366 TFlop/s HPL Performance Rank 262 (November 2015,Energy Reuse Effectiveness ( ERE),度量数据中心是如何重复利用计算机散发出的能量,r,ERE=0.3,进口水温为50 C基于氟化物涂层和金属纤维的热交换技术Co,DWC,降低处理温度（,Xeon 2697 v4,）,19,结论,:,直接,水冷降低,5%,的,CPU,耗电并且支持更高主频,DWC 降低处理温度（Xeon 2697 v4）19结论:,空冷和水冷比较,（,Xeon 2697 v4,）,结论,:,关闭,Turbo,情况下,直接水冷节省,5%,电力，,and,打开,Turbo,情况下,提高,3%,的性能，仍然省电,1%,15,空冷和水冷比较 （Xeon 2697 v4）结论:关闭 Tu,直接水冷带给联想的价值,采用,50C,水制冷,通过向建筑物提供能源，节省,30%,的能源,服务器电力消耗,降低,CPU,耗电,( 5%),节点不需要风扇,( 4%),制冷电力消耗,采用,45C,水制冷,可以估算一年节省, 20%,的制冷电力,制冷设备节省,热力再利用,总共,节省,=,50,+%,直接水冷带给联想的价值采用 50C水制冷,通过向建筑物提供,如何管理电力,节省,闲置节点的电力消耗,节省工作节点的电力消耗,报告,每节点、每机箱的温度和电力,每个作业的电力消耗,优化,如何管理电力节省闲置节点的电力消耗报告每节点、每机箱的温度和,Antilles:,开放的系统管理,WEB,控制台,Lenovo components,Open Source/3rd party,Lenovo Hardware,xCAT/Confluent,Torque/MAUI,Ganglia,WEB CONSOLE GUI,OpenMPI, MVAPICH,MPICH, Intel Parallel studio,CentOS/RHEL,Lustre,OFED,Server,Storage,Network,Gui,里面罗列的主要,HPC,组件是,OpenHPC,项目的一部分,新功能,制冷,基于机柜和服务器的热力图,CDU,的水流状况,可预知的能源利用,独立的调度,器,WEB CONSOLE,GUI,Admin guide / scripts,Installation guide / scripts,Ganglia,Torque/MAUI,OpenMPI, MVAPICH,MPICH, Intel Parallel studio,xCAT/Confluent,CentOS/RHEL,Lustre,OFED,Server,Storage,Network,Lenovo,components,Open Source/3rd party,Lenovo Hardware,Antilles: 开放的系统管理WEB控制台Lenovo,Confluent,: HeatMap,19,Confluent : HeatMap 19,Confluent: HeatMap,20,Confluent: HeatMap 20,结论,管理系统和基础架构,降低总体拥有成本,切合开源解决方案,联想拥有端到端的解决,方案,21,结论管理系统和基础架构降低总体拥有成本切合开源解决方案联想拥,联想水冷技术介绍课件,