1、 基于统一资源管理的超级计算机系统节能方案摘 要:从系统级节能角度出发,结合天河一号超级计算机系统硬件架构特点,通过将计算、通信、冷却、供电等各种系统资源有机结合在一起,制订统一的资源管理架构,应用最近最少使用(lru)等多种管理策略对系统资源进行集中管理,有效降低系统能耗。关键词:超级计算机;系统级节能;硬件架构;资源管理power saving scheme for supercomputing system based on unified resource managementtian bao hua* , jiang ju ping, li bao feng, zhang xiao
2、ming, qu wan xia(school of computer, national university of defense technology, changsha hunan 410073, china) abstract:this paper presented a sophisticated power saving scheme based on system level resource management for th 1a supercomputer system. the scheme introduced a uniform framework for cent
3、ralized management of various power consuming resources, i.e. computing elements, communication components, power supply and cooling devices. and many efficient management policies such as lru etc. were applied within the framework.key words:supercomputer; system level power saving; hardware framewo
4、rk; resource management0 引言 面向科学计算的超级计算机性能已经跨越百万亿次向千万亿次发展。随着超级计算机系统性能规模的不断扩大,整个系统能耗随之呈指数趋势飞速增长。在 2011 年 6 月 top500 排名中,有 29 台超级计算机系统的能耗超过 1 000 kw, 性能排名第一的“京”能耗更是达到了惊人的 9 898.56 kw 1 。 据统计,2009 年,我国数据中心总耗电量约 3.6410 10 kw, 占当年全国总电耗的 1。未来几年,我国数据中心仍将快速发展,如果维持当前的低能效水平,到 2015 年,仅全国的数据中心就将消耗掉三峡电站 1 年的发电量
5、2 。巨大的功耗导致惊人的运行开销,同时还带来严重的环境污染,据美国环保署统计,2006 年美国数据中心造成的环境破坏相当于 800 万辆汽车的尾气排放 3。因此,降低系统能耗、对系统进行节能设计已经成为超级计算机系统研制需要重点解决的问题。 目前国内对超级计算机系统的节能设计已进行了相应的研究4-9 , 从芯片级的处理器功耗优化设计,到系统软件级的功耗管理,都有效降低了整个系统的能耗。如文献5利用作业排队调度系统调控机群,并采用脚本控制的方法实现计算节点的开关机,达到计算任务和节能的动态平衡;文献7基于广泛应用的启发式算法 min min 提出了一种考虑节能的新调度算法,在性能和能耗间获得很
6、好的平衡;文献8通过对空闲节点的关机或休眠,设计并实现了基于资源调度的集群节能系统,能够有效地降低集群系统空闲时的能耗;文献9在分析高性能计算系统的负载及能耗特征的基础上提出一种通过控制节点的分配和功耗状态来降低系统功耗的管理算法。 虽然上述方法都是从系统级节能的角度出发进行设计,通过调节处于活动状态的服务器节点数量,关闭系统中部分空闲节点,来达到降耗节能的目的,这在集群系统中也是最有效的降低能耗的方法,但是针对超级计算机系统来说,这种方法就具有一定的局限性。超级计算机特别是千万亿次超级计算机系统,规模庞大,节能设计是一个综合的系统工程,需要从系统整体考虑,在芯片、插件、系统、架构等不同层次上
7、进行低功耗设计,将计算、通信、冷却、供电等各种资源有机结合在一起,统一管理,才能形成一个有效的节能计算机系统。 本文从系统级节能设计层次出发,设计并实现了基于统一资源管理的超级计算机节能系统。该系统结合天河一号（th 1a ）超级计算机系统基础硬件架构特点以及各个层次的低功耗设计技术,不仅对计算节点进行功耗的控制和优化,同时对通信、冷却、供电等其他资源也进行功耗管理,通过制订统一的资源管理架构,以机柜为最小管理单元,应用多种管理策略对系统资源进行集中管理,有效地降低了系统能耗。 1 系统设计 不同的超级计算机系统,只有根据自身基础硬件架构特点,采取相应的节能策略和实现技术,才能最大限度地降低功
8、耗。天河一号超级计算机系统由上百个机柜组成,每个机柜都有独立的列式冷却单元和供电模块。系统管理控制器(system management controller, smc)是整个机柜的控制枢纽,负责对机柜内刀片插件、通信模块、列式冷却单元、供电模块等资源进行统一的管理和控制,并与系统级管理控制单元(management controller unit, mcu)通信,上报机柜内各种资源的工作状态,同时接收来自 mcu 的各种系统控制命令。系统采用的这种硬件架构设计非常有利于将各种资源紧密结合在一起,进行模块化控制,为本文设计提供了科学的基础硬件架构。 1.1 设计思想 系统能耗是指整个系统中各种
9、用能设备消耗的能源总和,不仅包括计算、通信、存储等主设备的能耗,还包括冷却、供电等辅助系统的能耗。因此,将计算、通信、存储、冷却、供电等各种资源结合在一起综合考虑,统一进行功耗管理,才能够最大限度地降低系统总能耗。根据系统硬件架构特点,本文应用如下的设计思想和策略: 1)资源管理的对象包括计算、通信、冷却、供电等各种系统资源。通常意义的资源管理仅仅是针对计算资源的,对于其他的硬件资源并没有考虑进去。本文从系统级节能设计角度出发,将一切硬件资源都包括在内,统一管理,这也是与其他基于资源管理进行节能设计的最大区别。 2)计算资源的分配以机柜为单元进行。根据系统硬件架构特点,在对计算资源进行分配时,
10、以机柜为最小单元进行分配。如果以节点为单元分配,则会出现一个机柜内只有部分节点运行,其他节点空闲的情况。即使机柜内只有一个节点运行,机柜级冷却单元也必须工作以保证这个节点的冷却需求,这就造成了大量冷却电能的浪费。因此,以机柜为最小单元分配,能够有效降低冷却系统的耗能量,提高冷却效率。 3)设置节点补充机柜,作为对以机柜为单元分配资源的一个补充。每个计算机柜含有 64 个计算节点,但是任务需求往往并不是 64 的整数倍,在以机柜为单元分配资源时,总会缺少或剩余部分计算资源。为此,在系统中设置以计算节点为分配单元的补充机柜,用于以机柜为单元分配时计算资源不足的补充。 4)计算机柜设置有切电、休眠、
11、空闲、运行、低功耗运行等 5种状态,如图 1 所示。切电状态中,除 smc 外,机柜内所有刀片插件全部处于切电状态,机柜冷却单元也处于关闭状态,仅仅只有待机(standby)供电模块给 smc 供电,保证 smc 的正常运行,其他的供电模块也处于关闭状态。机柜处于休眠状态时,不关闭冷却单元,仅仅调整冷却参数,降低风机转速,同时部分开启供电模块,保证电源转换效率始终处在最有效的负载点。低功耗运行状态时,cpu 以低压低频运行,互连模块降级通信,冷却单元降低冷却功率,整个机柜处于最低性能、最低功耗的运行状态。 5)节能状态的转换采用最近最少使用(least recently used, lru)策
12、略,最近最少使用的资源优先由当前状态转换到更节能的状态。机柜由空闲状态转换到休眠状态,或者由休眠状态转换到切电状态时,采用 lru 策略,最近最少使用的机柜优先转换。采用这样的策略能够有效避免机柜状态短时间内的频繁转换,从而降低了机柜在状态转换过程中造成的大量能量损耗。 6)资源分配同样采用 lru 策略,但是与节能状态转换不同,最近最少使用的资源最后分配。因为最近最少使用的资源优先转换到了节能状态,因此,将这部分资源最后分配,同样避免了机柜状态短时间内的频繁转换,从策略上达到节能的目的。 系统资源层包括计算、通信、冷却、供电等各种系统资源。 资源控制层包括资源控制和信息采集两个功能模块,硬件
13、上由smc 实现,是 smc 的基本功能。资源控制模块接收来自资源管理模块的各种资源状态管理命令,并根据资源信息采集模块采集到的机柜资源状态信息,通过带外管理接口和系统接口对所辖资源进行统一控制。信息采集模块负责采集机柜内各种资源的当前状态信息,如刀片温度、实时功耗、工作状态、冷却单元状态、供电模块状态等,并将这些信息发送给管理层的资源维护模块以及本层的资源控制模块。 资源管理层在硬件上由 mcu 实现,主要的功能就是对整个系统资源进行节能状态的管理和实现,包括资源管理和资源维护两个功能模块。资源管理模块根据系统资源分配以及当前资源状态维护需求,向资源控制层发送控制命令,并向资源分配模块返回资
14、源分配结果。资源维护模块对整个系统资源的状态进行记录;根据系统节能策略和临时措施决定各种状态转换的时间阈值;在相关资源达到状态转换的时间阈值需要进行状态转换时,通知资源管理模块;资源状态改变时及时根据当前资源状态更新资源状态记录。 系统决策层由系统管理员、预定的任务运行计划、资源分配、基于资源管理的系统节能策略、基于电力的临时节能措施等共同组成。系统管理员是核心,负责任务运行计划的制订、作业优先级的调整、系统节能策略的设计、基于电力的临时节能措施的执行等系统决策管理工作。资源分配模块设计有两个功能,一是根据系统管理员制订的任务运行计划以及资源需求量,结合当前系统资源状态情况,合理分配资源,优化
15、系统能耗;二是提前对任务所需资源进行预分配,当正在运行的任务将近结束时,提前对下一个任务所需资源进行预分配,并进行基本的可用性测试,避免出现作业等待资源的情况。 节能策略模块提供系统通用能耗管理策略和用户定制能耗管理策略的配置和调节功能,提高系统能耗管理的灵活性。管理员可以通过策略模块提供的策略定制接口,制订系统资源状态管理的各种策略,并将之结合到状态维护模块中。基于电力的临时节能措施则将系统在某个时间段内置于低功耗运行状态,严格来说这个措施并不会降低整个系统的总功耗,但可以降低超算中心的运营成本。例如,下面的两种情况可以应用基于电力的临时节能措施: 1)白天电价高,电力紧张;晚上电价低,电力
16、充足。就可以在白天将系统转换为低功耗运行状态（降低性能、降低功耗） ，晚上再恢复高功耗高性能运行。 2)部分冷却机组或者部分供电回路发生故障,不能满足整个系统的正常运行,但系统中运行的部分作业又不能中断时,则可以将系统转换为低功耗状态,继续运行直到故障排除。 2 关键实现技术 2.1 资源分配算法 在系统运行过程中,如果资源分配调度不合理,既不能确保空闲资源最大可能地处于节能状态,又会造成资源状态的频繁转换,不利于节能目标的实现和系统的稳定性运行。例如频繁的加/切电可能会导致硬件故障,从而影响系统的稳定性和可靠性。同时硬件故障的出现是随机的、不确定的,无法对选定节点进行精确的故障预测。因此,资
17、源分配算法成为节能系统设计的关键点之一。本文设计了基于资源状态的多尺度资源分配算法,算法根据任务运行模式以及当前系统资源状态,计算不同时间尺度如周、日下的系统预计功耗,功耗预计的判断依据为节能状态维持时间以及资源状态转换次数,在满足公平性限制的前提下确保空闲资源尽可能处于节能状态,同时保持资源状态切换的低频率。该算法主要包括如下步骤:1)如果有新的任务加入,则按照任务运行模式重新计算所有可行的任务调度顺序; 2)查询当前系统资源状态; 3)基于当前资源状态计算每种任务调度顺序在不同时间尺度下的资源预计功耗; 4)根据系统预定的任务调度策略(如执行时间最短)选择功耗最优的调度顺序; 5)资源预分
18、配,在适当的时机向资源管理模块申请资源。 在资源预分配时,预先分配比任务资源需求多的资源并进行基本的可用性测试,剔除部分故障点,确保系统的稳定运行;同时资源lru 分配策略,使得最近最少使用的资源最后分配,而优先分配使用率较高的资源,实际的系统应用也表明这部分资源出现故障的概率较低,从而保证了系统的可靠性。 2.2 资源状态维护 如何做到资源状态的统一管理和维护,是本文设计的关键。如图1 所示,资源具有的 5 个能耗状态,每种状态之间转换的时机、条件都不相同;而且状态维护还要与节能系统设计的基本策略以及管理员制订的功耗管理策略相结合。为此,本文在资源状态维护功能中设计有状态更新、状态查询、状态
19、控制、策略融合等功能模块,如图 3 所示,实现对系统资源状态的统一管理和维护。 状态更新模块接收资源控制层发送过来的资源最新信息,并与状态记录数据相比较,更新记录数据;状态查询模块负责接收资源管理模块发送过来的状态查询请求,并返回查询结果。策略融合模块将节能系统固有的 lru 资源管理策略、系统通用调度策略、管理员制订的能耗管理策略相融合,确定资源状态转换的模式和时机,并将相关信息反馈到状态控制模块;状态控制模块实时监控状态记录内容,并根据资源管理策略判定是否有资源需要进行状态转换。如果有资源需要状态转换,则将转换信息发送给资源管理模块。 资源状态的统一管理和维护,避免了不同节能措施从不同节能
20、层次对硬件能耗状态采取不一致甚至冲突的设置。 2.3 冷却系统控制 冷却系统能耗占整个系统能耗的 15左右,而在冷却系统的能耗构成中,风机能耗就占了 50。为了使机柜内插件具有理想的冷却环境,smc 根据机柜不同的能耗状态和采集到的插件温度、机柜环境温度,应用系统预设策略,控制冷却单元开关或者调节各种冷却参数,如液冷温度、流速、风机转速等,实现精确制冷。 在控制过程中,如何根据插件温度控制风机转速是设计的关键点之一。为了获得风机转速对插件温度以及功耗的影响,本文在天河一号系统上做了实际测试,图 4 给出了一个计算机柜风机的测试结果。从测试数据可看出,风机转速从 100降低到 50,节点最高温度
21、由 38上升到 64,而功耗从 2 880 w 降低到 1 943 w,减少 32.5%。长期的测试结果表明,即使是满负载运行的情况下,70的风机转速基本满足所有插件的冷却要求,此时冷却单元风机功耗降低了 22.6%。 在根据插件温度调整风机转速的过程中,有随着插件温度波动反复调整转速的情况,原因在于调整风机转速影响所有插件,而每个插件由于位置不同温度也有差异造成的。为了避免这种情况出现以及降低控制的复杂度,本文采取根据状态设定转速与根据插件温度个别调整转速相结合的方法实现冷却系统的智能控制。具体做法就是,首先根据大量转速温度测试数据,制订每种机柜状态下风机转速的合理值,并随着状态转换设置风机
22、转速;同时,在设定的风机转速下,机柜内个别插件温度过高时,再由 smc 针对过温的插件应用风机转速调整公式适当调整对应的风机转速。风机转速调整公式如下: f x=f s+(t x-t s)f h-f st h-t s 其中:t s 为资源当前状态下允许的插件最高温度,f s 为资源当前状态下风机转速设定值,t h 为插件允许的最高温度,f h 为风机最高转速值,t x 为当前插件温度,f x 为需要设定的风机转速值。 2.4 动态供电调整 供电模块的工作效率与负载率密切相关。图 5 是供电模块的效率曲线图,轻载时效率偏低,4080负载率时效率最高,满载时效率并不是最高。为达到最高的电源转换效率,smc 根据机柜工作状态以及插件实际负载情况动态调整供电模块。当机柜处在低功耗状态,对供电需求较少时,关闭部分供电模块,使其他供电模块工作在最高效率范围内;当机柜状态转换,对电源需求增加时,及时启动关闭的供电模块,使之满足机柜供电需求。这样可以确保供电模块总是保持在最高效的工作状态,最大限度地减少了供电模块的工作能耗。
