数据中心机房提高装机容量

数据中心机房提高装机容量和降低空调能耗的研究 中国电信上海公司 彭 伟 杜 秋 钟志鲲 丁 涛简述 数据中心占地面积大，能耗大，运营商往往迫于市场压力就大手大脚，不计成本。其实数据中心挖潜的余地很大，在有限的机房里使装机容量最大化和使空调能耗最小化就是重要的研究方向。一、一、 提高机房装机容量的研究1、机房最佳布局的推算为了进行一般的讨论，我们设定机架及其内部设备都是前后两面可维护，这样建立的模型即可满足所有设备在机房布局时的通用性。设：D为机架宽度，H为机架深度， A为一排机架的架数，B为机架排数，P为走道宽度，N为机架总数，L为机房长度，Z为机房宽度。此时则有： N=A*B (1) 图1 一般机房机架排列图图1表示这种尺寸设备的等效布局图。对于给定的机房，机架的总数N和过道宽度P一般是常数。数值P应根据过道标准来选择，它不应小于对应设备（服务器）维护的尺寸。这样房间宽度Z=(A*D+2P)，而长度 L=B*(H+P)+P。其乘积就是房间的面积，即：S=L*Z= B*(H+P)+P *(A*D+2P) (2)在不同的机房中，由于A和B不是常数，而且其决定于机架尺寸和房间的大小（空调安装空间和所占面积除外），所以房间的面积S是数值A和B的比例函数：如果按B对方程（3）进行微分并使其等于0，则函数S可达到最小：由此可推出：如果将所得的方程代人方程(2)并对它进行换算，则可以获得安装N台设备所需的最小面积：我们也可以将方程(7)化算成(8)，这一公式表明：当机架尺寸和过道大小给定时，某区域的机架数量N与机房最小面积的关系符合：从上述方程可以得出，用于IDC的机房房间尺寸，其最佳的长度L应是其宽度Z的2倍，而且它们的比例与设备的尺寸、数量和其过道的大小无关。结合目前通用的机房专用空调的送风特性在最大风量和标准余压下，其最佳的送风距离一般不超过1516m，考虑空调机组的厚度1m和2P的过道，可推算出机房最佳的宽度约为18m，最佳的长度则为36m。由此我们可推算出最佳的机房单元应为：18m*36m=648m2。其配套的UPS等电力系统区域约为机房区域的1/2，故IDC机房的最佳建设单元面积约为1000m2。我们可以通过如下的数据实例证明上述结论的正确性：假设IDC区域总面积约为650 m2、H=1m、D=0.6m、P=1.2m、空调厚度为1m的条件下，在不同的长和宽的条件下其可容机架的数量为：（1） 当S=18m*36m=648m2：A=25、B=16、N=400；（2） 当S=26m*26m=676m2：A=34、B=11、N=374；（3） 当S=14m*46m=644m2：A=17、B=20、N=340；2、排机架数A与排数B的最佳比例q 的研究在机房中，设定q=A/B。为方便研究机房的容积率，我们把设备所占面积设为Ss，房间总面积设为Sz，其比值设定为k，即：k=Ss/Sz。现在我们研究q、k对S最佳的影响与关系：对上式，我们将A和B以其最佳值代入，从而可得K最大：对于目前常规的IDC机房来说，其机架尺寸基本确定，即：D=0.6m、H=1.0m，P=1.11.2m。则有：Sz=（A*D+2P）*B*(H+P)+PSz =(0.6A+2.2)*(2.1B+1.1) (11)；根据所引用的q=A/B的关系和已知A*B=N的关系可得出：将A与B代入(11)式中可得：Sz =0.6*(N*q)1/2+2.2*2.1*(N/q) 1/2+1.1 (12)；如果把给定值D、H和P代入（10）式中来探讨相关的方案，我们选择从1500个机架在不同布局方式下的Sz与q的数据表（表1），可得其曲线图解关系式（图2），从曲线图可以看出，q的最佳值同设备台数N与面积Sz无关。图2：机架数N与最佳占地面积m2及对应q的关系曲线表1：机架数N与最佳占地面积m2及对应q的关系数据表机架数105080100150200250300350400450500500S最佳(m2)q=1/3062 173 239 280 378 470 558 645 729 812 893 974 974 q=125 89 133 162 232 302 371 439 507 574 641 708 708 q=2047 148 212 252 350 443 534 622 710 796 881 966 966 在实际中，如果利用B最佳和A最佳的公式并以通用式求出q最佳，而该值并不决定于所安装的设备数量N，而取决于设备的尺寸和通道的大小。另外，在IDC机房中根据目前19标准服务器的实际安装需求，我们通常将机架宽度H设定为标准值D=0.6m，而根据不同服务器需求的维护面积和通风量的差异，一般选H=1.01.1m，而为保障机架的方便进出，选走道宽度PH+0.1m，由此可得出如下曲线图3，它证明了随着P值的增大，所需的机房最小面积也随之明显增大。图3：过道尺寸P不同时机房最小面积与机架数量N之间的关系曲线 因此，在工程中走道P值要合理，不能随意放宽，机房机架成排设置和扩容， 这样所占用的走道最少，而且专用空调无论上下送风对着走道方向输送冷风，气流组织可达到最佳状态。3、最大填充系数k的研究根据式（9）、（10）所示，我们现研究填充系数K的变化规律。此处取常规参数H=0.6m、D=1.0m、P则分别取1.1m、1.2m、1.4m、1.6m、1.8m、2.0m等不同数值见下表（表2），对应的K最大值的变化规律曲线见图4。图4：当P为不同时，其机架数量与Kmax值的特性曲线表2 不同走道宽度下的K值机架数N102030405060708090100Kmax P=1.10.230.280.300.320.330.340.350.360.360.37Kmax P=1.20.210.260.280.300.310.320.330.330.340.35Kmax P=1.40.180.220.250.260.270.280.290.300.300.31Kmax P=1.60.160.190.220.230.240.250.260.270.270.28Kmax P=1.80.140.170.190.210.220.230.230.240.250.25Kmax P=2.00.120.150.170.190.200.210.210.220.220.23机架数N150200250300350400450500550600Kmax P=1.10.380.390.400.410.410.420.420.420.420.43Kmax P=1.20.360.370.380.390.390.390.400.400.400.40Kmax P=1.40.320.330.340.350.350.360.360.360.360.37Kmax P=1.60.290.300.310.320.320.320.330.330.330.33Kmax P=1.80.270.280.280.290.290.300.300.300.300.31Kmax P=2.00.240.250.260.260.270.270.280.280.280.28从图4曲线特性可知，在N=1，K最小和N，K最大条件下，所有方案的K最大是按直线规律改变的，并具有一个与某些机架的数量相适应的急剧上升段。图4中P=1.1m、1.2m的方案时最合理，其合理性随着P的增大而变差，特别是在机架面积填充系数较小的情况下。4、 结论：(1) 新建机房时，选择长度是宽度2倍的房间，做IDC可达到最佳布局的房间形式，考虑维护需求长36m和宽18m的房间是建设IDC机房的最佳单元；其配套的UPS等电力系统区域约为机房区域的1/2，故IDC机房的最佳建设单元面积约为1000m2。(2) 沿垂直房间长边方向成排布置机架，是最合理的；空调向架间走道方向组织冷风通道是最佳路由。(3) 每行机架数与行数的最佳比例只决定于机架尺寸(D和H)和过道大小P值。最小占地面积和最佳比例式分别遵守公式（8）和(13)；(4) 当房间的尺寸不合适时，必须按下式进行面积的最佳计算，即：S=(A*D+2P)B(H+P)+P，此时所需的面积可以大于最小值。二、 降低机房空调能耗的研究在实际应用中，满足每个机架所需的空调风量和冷量是我们研究的目标。下面我们先来研究机房的气流结构，机架的气流分布及其特性，从中找到降低机房空调能耗的对策：1、地板下气流分布时风口的定性分析对于采用架空地板的下送风系统来说，任何一个有风口的地板断面，其能量在地板起点（空调出风口）和终点（地板出风处）的平衡方程为：Pn=P0+(/2g)*(v12-vn2)-P (14)式中：Pn、P0地板的终点和起点的静压；V1、Vn气流在地板空间中不同段断面上的速度；、 g 气流的比重和重力加速度；P由于气体动力阻力，压力在地板长度1、2、3n段上的总消耗；我们将方程（16）演变为下式：Pn=(P1-P) +(/2g)*(v12-vn2) (15)方程（15）表明了，加在地板终端断面上的静压：一方面由于速度的降低（即，动能变成势能）而增大，另一方面又因部分气流能量消耗在克服阻力上而减小。因此，气流在地板下整个长度上的分布决定于静压的改变，即静压因气流流速(/2g)*(v12-vn2)的降低而引起增高，同时还包含阻力P的大小变化。分析上述数值的比例关系可知，决定气流分布的有三种可能情况：第一种情况：(/2g)*(v12-vn2) =P (16)式(16)的特点是静压梯度（因气流流速的降低）与因空气动力阻力造成的总损耗相等。即：静压是恒定的且完全消耗在克服阻力上。因而，空气在地板整个长度上的分布也是一个常数（如图5，实线1）；第二种情况：(/2g)*(v12-vn2)P (17)式(17)表明的特点是静压因气流流速的降低而引起的增值超过了因空气动力阻力造成的总损耗。因而，静压和空气的分布在地板终端前增大（如图5，实线2）。由于他们的比例关系，地板的几何尺寸和阻力大小，在地板的起点可能形成负压，它导致空气不是经过地板起点的风口排出，而是吸入（如图5，虚线2）。这样，当地板长度较短和气流分布阻力较小时，位于气流流程上的前若干个机柜将得不到冷却；第三种情况：(/2g)*(v12-vn2)P (18)式(18)表明的特点是：因气流流速的降低而引起的静压增值小于因空气动力阻力而造成的总损耗。此种情况中，在地板整个长度上的静压降低到某最小值之后，在地板终端处又增大（如图5，曲线3）。造成这些变化的原因是，由于长地板终端处的气流速度的急剧降低而使阻力减小，从而导致静压的某些恢复，在地板的起点产生与此相反的现象。这一方案只有在地板很长和气体阻力很大时才有可能实现。在实践中，这些数值的不正确，将可能使最后一些机柜的静压恢复不够和冷量不足。图5：压力在整个地板长度上静压的可能变化曲线（1气流在活动地板上的均匀分布；2、3决定于风道终端静压的增大和减小而定的气流在活动地板整个长度上的分布；）从上述分析可知，对于气体动力的计算，在于确定通过各台机架的风口的几何尺寸和地板开口尺寸，以保证提高（或恢复）每个风口处的静压，满足设备分配所需的冷风量。在对任何一种情况进行计算时，送入整个机房地板空间的风量、通过机架底部或旁边风口的风量、气流分布的固定截面尺寸和机柜的空气动力阻力都是给定的。2、机架的气流组织气流组织对数据机房是非常重要的，能合理组织气流，不仅能利用空调将环境控制在最佳状态，还能使空调处在最合理的运行工况，对节能也很有益处。(1)、约束气流和自由气流空气的流动有2种基本形式，一种是约束流，即在有限空间内被强制按照人为规定的路径流动，例如风管内的气流，机架内的风道；另一种是自由气流，例如上送风系统中的射流。在计算中心机房中，约束流的计算方便，气流利用率高（不容易形成呆滞区），在冷却设备时应首先考虑此种方式。自由气流在对环境冷却中可以应用，由于其有较好的弥漫性，对控制环境温、湿度有很好的作用。约束流计算：主要是计算气流需求量G和通流截面积S。 G = Q/h （19）其中：Q为设备热量（kw）；h为冷却空气的焓差（kJ/kg） S = G/v （20） 其中：G为空气需求量（m3/h）；v为控制风速（m/s）(2)、同程气流和异程气流图6 同程气流和异程气流的区别 同程系统是指每股气流流经的距离都基本相等，异程系统是指气流流经的距离不同。对于同程气流，由于流过的距离相同，所以阻力基本平衡，这样可以保证每股气流的均匀分布。异程系统由于各股气流的阻力不同，如： 同一机架内有刀片服务器和其它各类服务器，所以气流分布也是混乱的。其分布特点非常象电路，阻力大的气流小，阻力小的气流多，即气流也喜欢选择阻力小的通路。(3)、气流短路和送风扩散气流短路主要是存在短路路径，例如空调出风口和回风口太近且无物理阻隔，就会造成空调机气流短路，又如在机架中，进风的前腔和排风的后腔的水平空间中没有隔板，也会造成冷气不经过服务器而直接短路到排风。气流短路还可能发生在前后没有良好隔绝的服务器排风和进风口。短路的气流是有害的，没有按照规定的路径带走热量，只是空循环。另外，在实践中，我们对送风扩散做过测试，选择前面板开孔的机架，测量进风速度、排风速度和机架内参考点温度，然后将面板封闭，在其他工况完全的情况下，数据有明显差异。实验条件前风口风速后风口风速参考点温度面板封闭情况下3.5-4m/s面板开孔情况下上表说明，在面板开孔情况下，由于送风无效扩散到环境中，没有用于冷却服务器，相当于冷风短路，冷却效果下降。(4)、机架内风阻力计算和布局 机架内布局一般是前部设进风腔体，后部设排风腔体。由于服务器的深度一般为5070cm，机架深度一般为110cm，所以前腔体建议深度为1520cm，后腔体深度为30cm以上。以前腔体的通风截面为20cm*60cm，可视为风管，则通风面积为0.12m2，以2.2kw的机架负荷，需要的风量可以通过公式（19）计算，大约为1800m3/h，折合0.5 m3/s，即风速4.2m/s，查比摩阻数据得单位长度摩擦阻力为2Pa/m，以2.2m长度计算，沿程阻力为4.4Pa，流经服务器本应有局部阻力，但由于其内部风扇存在，可以认为风阻为0 Pa。如果风量增加，机架内的阻力将会大幅增加，如风速达到8m/s时，沿程阻力将上升到9.9 Pa，此时能耗上升。 由于前腔体的压力大于环境，所以要求前面板必须封闭，以防止气流从孔洞逃到环境中，而不是流经服务器。前腔体的压力也大于后腔体，所以不安装服务器的U位上也应安装假面板，以防止气流直接从前腔体流到后腔体。 对于后腔体，有2种处理方法：一是后面板开孔，使服务器排出的热气很容易排放到走廊里（热通道）。二是后面板完全封闭，在机架顶部开排风口并安装顶风扇，风扇的风量应大于机架的计算风量，经验为计算风量的1.5倍左右。(5)、机架内气流分布结构及热交换的计算一般情况下，一台常规的服务器设备在自身风机作用下，吸入足量的空调冷风，排除含有设备所散的热能，其温差约为11。IDC机房平均下进风温度约18、湿度在标准内，忽略相关影响因素的情况下，其设备的出风温度约为29，为此，合理的设计风口位置及其尺寸、气流量和气流压力，来保证机房气流能够在各个区域内均匀足量分布，这便是我们机房气流组织设计的目标。现以机架为对象，研究其热交换参数需求，设定各参数如下：Q：机架容积为1.32m3；C：空气的密度1.29kg/m3；J：空气的比热1.4 kJ/kg；P:机架功耗（KW）；T1：平均机架下进风温度18；T2：机架出风口温度29；n：机架热交换次数（次/h）；：热交换系数取0.7；S架：机架截面积0.6m2；S入：每机架的有效进风口面积（m2）；：电热转换效率取0.8；V1：机架进风口气流速率（m/min）；V2：机架内气流速率（m/min，不计重力和摩擦，自架底而顶设其流速恒定）；由热交换平衡公式：nQCJ(T2- T1)=P860kcal4.2kJ/kcal；则有： n=157*P （21）由nQ60=V1S入= V2S架可建立机架功耗P、机架进风口面积S入、进风口气流流速V1、机架内气流流速V2等参数关系式：S入V1=0.6 V2 =3.46P 或 V2=5.76P （22）从（22）式可知，对于特定的机架而言，其所需的进风口面积与气流流速的乘积仅与该机架的能耗有关，当负载恒定时，其为定值，相应关系符合曲线图（图7）：图7 机架功耗P、出风口截面、气流速率的函数曲线图对于一个特定的下送风结构的IDC机房来说，其专用空调系统的额定冷量和风量为定值，其机外余压（即送风速率，和机外余压呈线性关系）与其有效出风量的乘积接近一定的反函数特性曲线（见图8）。图8 某专用空调风量与余压关系一般情况下，在满足最大风量的前提下，结合上述分析过程，我们可在保证最大风量需求的基础上，根据机架的出风开口面积与风量需求设定合适的出风压力（即气流的静压流速）。(6)、不同类型机架在机房中的布局方式在实际应用中，根据上图（图7）的曲线特性，我们可以按机架的不同功耗密度将其有效的热交换形式分成三种情况：第一种情况：低功率密度（P4KW/架）的气流循环可采用下送风纯机架内循环的方式，此方式下要求机架底部的有效出风口面积不小于机架截面的20%（约0.12m2），假地板高度0.5m时，机架顶需加风机, P=2KW/架左右时可不加风机详见图9所示；图9 低功率机架布局立面示意图第二种情况：中功率密度（4KWP10KW/架）的气流循环可采用下送风+冷池的机架内外综合循环方式，此方式的目的是随着机架负载的升高，在一定的气体流速限制下，由于其机架底部出风口的最大开口面积（约0.6m*0.25m=0.15 m2）无法满足其热交换的所需冷风量，需要冷池来弥补冷风（即通过机架内外综合循环方式来增大其有效送风面积），见图10所示。小型机、刀片式服务器等可以用这种气流循环方式。图10 中功率机架布局立面示意图第三种情况种：高功率密度（10KWP30KW/架)的气流循环可下送风+冷池+EC风机+吊顶回风静压箱的综合循环方式，其原理与中功率密度的气流循环相似，目的均在于增大冷风送风面积和风量。其区别在于更进一步提高循环的热交换效率，见图11所示。由于该方式需增设吊顶回风静压箱与现有机房基础设施的差异较大，且需要修改目前各运营商执行的建设规范, 亦可以在机架顶增设回风管介决图11 高功率机架布局立面示意图冷池为机架走道顶部透明封顶，两边为机架面板以及走道假地板组成的区域。冷池主要用于增大用于冷却设备的风量，如要进一步增大冷量可采用活化地板，即格栅地板下加EC风机，与空调主机电气联动，增大风量但不改变地板下静压。在实际应用中，上述三种情况可在同一机房不同区域内实施。