1、一种电力云数据中心的任务调度策略 王德文 刘杨 华北电力大学控制与计算机工程学院 摘 要： 随着智能变电站一体化监控平台及通信信息平台的建设与发展,电力数据呈现爆炸式的增长,而现有电力数据中心在处理海量数据时效率不高,无法满足电力用户多服务质量(QoS)需求。通过对电力云数据中心设计方案的分析,研究了云数据中心的任务调度策略。结合电力数据中心自身的特点,定义了一种电力用户多QoS 评价模型,给出一种基于负载均衡的贪心算法,并以 QoS 总体效应值为目标进行任务调度。最后,以变电设备状态评估实验中心为例,对其故障诊断、状态评估、检修维护等任务进行模拟调度,并使用 CloudSim 平台进行仿真测
2、试。结果表明,该算法能最大限度地满足电力用户多 QoS 需求,有效提高电力数据中心运行的效率,达到更加优越的负载均衡效果。关键词： 云计算; 电力数据中心; 任务调度; 服务质量; 分布式存储; 作者简介：王德文(1973),男,博士,副教授,主要研究方向:电力系统自动化和计算机网络。E-mail:作者简介：刘杨(1989),男,通信作者,硕士研究生,主要研究方向:云计算。E-mail:收稿日期：2013-06-20基金：国家自然科学基金资助项目(61074078)A Task Scheduling Strategy of Cloud Data Center in Electric Power
3、 CorporationWANG Dewen LIU Yang School of Control and Computer Engineering,North China Electric Power University; Abstract： With the construction and development of the integrated monitoring platform of intelligent substation and communication and information platform,the electric power data appears
4、 to show an explosive growth.But the existing data centers in electric power corporations suffer low efficiency and are unable to meet the requirements of multi-quality of service(QoS)of electric power users.A multi-QoS evaluation model for electric power users is defined by referring to the charact
5、eristics of the data center in an electric power corporation.And based on an analysis of the design scheme for the cloud data center in an electric power corporation and the research on task scheduling strategies of the cloud data center,a load balancing based greedy algorithm is put forward with th
6、e target of QoS utility value.Finally,with the substation device condition assessment experiment center as an example,simulation scheduling is made for its tasks of fault diagnosis,condition assessment and repair and maintenance prior to test on the CloudSim platform.The result shows that the algori
7、thm proposed can best satisfy the multi-QoS requirements of electric power users,improve the operating efficiency of data center in electric power corporation,and achieve a better load balancing effect.Keyword： cloud computing; data center in electric power corporation; task scheduling; quality of s
8、ervice(QoS); distributed storage; Received： 2013-06-200 引言信息平台是支撑智能电网建设的公共平台和重要手段,为智能电网提供更为灵活、安全、高效、可靠的信息化基础设施,包括坚强、灵活的信息网络,适应智能电网海量信息处理、实时数据交换、软硬件资源集约化配置的数据中心等。电力数据中心是信息平台的基础,准确、可靠的数据信息是电网应用分析的基础保障,随着数据量与任务量的激增,对电力数据中心的性能提出了更严峻的挑战。现有电力数据中心面临着越来越多的问题和瓶颈。例如:硬件水平普遍很高,但是资源利用率相对较低;各个网省公司与直属单位都是按照自身需求与特点
9、来建设自己的数据中心,业务系统差异性较大;部署的应用相对分散,数据安全与集群系统管理维护困难;电力、制冷、网络、机房空间等需求不断扩大。这些问题因素均不符合电力企业和谐、绿色发展的理念,也无法满足未来智能电网所需的海量数据信息处理等需求。云计算是未来信息技术发展的趋势,具有高可靠性、海量数据处理、扩展性强以及设备利用率高等优点,已经成为信息领域的研究热点。而且云计算可以满足下一代数据中心对数据计算与存储的需求,并有强大的应用服务作为支持,数据中心在云计算中已经占有重要地位。对电力数据中心来说,电网运行类数据量巨大,其实时性与可靠性是电力用户主要考虑的因素。当有大规模的任务同时访问系统时,可能在
10、很短的时间内,电力数据中心的任务请求就会快速增长,使得电力用户的服务质量(QoS)降低,并可能导致电力数据中心的不稳定。因此,为了满足高负载下电力用户的 QoS 特性,提高电力数据中心的整体性能,充分利用云数据中心的数据信息资源,需要制定一个科学、合理的调度策略。任务调度是云计算技术的一个核心研究课题。云计算任务调度的基本要求是使用户提交的任务能够实现最优的调度,并最大限度地提高云环境的吞吐量。传统的以最小化任务执行时间为目的的批任务调度启发式算法包括贪心算法、A 算法、Min-min 算法、Max-min 算法和遗传算法等。文献13提出一种基于反馈的动态负载平衡调度算法,通过统计任务完成节点
11、的负载情况,将执行结果反馈给控制节点,以修改目前的任务调度算法,从而达到较好的运行效果。文献14提出一种基于多维 QoS 的资源调度算法,构建多维 QoS 模型,并利用蚁群算法完成资源调度。文献15提出一种考虑时间和成本约束的基于蚁群算法的负载均衡策略,但在最初状态下缺乏信息素,使得算法搜索时间长,易于停滞以及资源节点的负载失衡。文献16提出一种基于改进遗传算法的双适应度遗传算法,不仅考虑了任务的最大完成时间,还考虑了任务的平均完成时间,有效提高了实时可靠性与用户的满意度,但对系统中的信息反馈不够,求解效率不高。上述调度算法均采用启发式算法对云环境中的资源进行任务调度,基本上只考虑完成时间这一
12、单一需求,忽略了电力用户对不同任务的多 QoS 属性需求以及系统的负载均衡。本文在研究现有云计算任务调度策略及 QoS 模型的基础上,分析了电力云数据中心的设计方案,结合电力数据中心自身的一些特点,提出了一种电力用户多 QoS 评价模型,并给出一种基于负载均衡策略的贪心算法,以 QoS 总体效用值为优化目标进行任务调度。1 电力云数据中心设计方案信息孤岛是电力企业普遍存在的问题,电力数据中心的出现,有效地缓解了这一问题,并提高了电力企业信息系统的统一性。在电力数据中心,电网运行类数据量最大,包括电力设备在线监测数据以及离线数据等,这就要求电力数据中心在运行数据时具有较高的安全性与可靠性。实现大
13、数据的存储与计算、高可用性、自动化管理以及节能环保是智能电网与云数据中心的目标,而现有的电力数据中心并没有达到这一水平。因此引入了云计算技术,以改进现有电力数据中心,建立面向智能电网的新一代电力数据中心,其云计算平台如图 1 所示。图 1 电力数据中心云计算平台 Fig.1 Cloud computing platform of data center in electric power corporation 下载原图在基础设施层,采用廉价的服务器集群,借助虚拟机实现资源的虚拟化,以此消除各个网省公司和直属单位硬件资源带来的差异性,并且可以提高资源的利用率。但考虑廉价服务器集群的机器故障率大
14、,采用分布式存储系统来保障数据的可靠性。云计算平台层包括任务调度、资源管理等内容,是电力数据中心的核心部分。任务调度采用插件的形式调用第三方开发实现的各种算法,资源管理实现基于MapReduce 并行模型的任务管理、调度和监控系统。MapReduce 并行模型针对海量信息处理,将任务分解,动态分配给集群中的节点并行执行。业务应用层主要集中状态监测、状态评估、负荷预测、潮流分析、电力营销等应用。这些应用组件功能的实现依靠海量的数据信息,需要平台层对其提供强大的支持。2 电力云数据中心的任务调度策略2.1 电力云数据中心任务调度流程目前电力系统中要处理的数据和任务大幅度增长,在实际应用中,任务完成
15、时间有时可能会比事先预定的时间长,这不仅降低了电力数据中心的吞吐率,而且无法满足电力用户的 QoS 需求。因此,需要制定一个科学合理的调度策略,其调度管理的一般流程如图 2 所示。图 2 电力云数据中心调度管理流程 Fig.2 Scheduling management flow chart of cloud data center in electric power corporation 下载原图由图 2 可知,电力用户在提交任务后,管理节点首先根据用户提交任务的多 QoS属性进行任务调度,然后交于任务管理器,将任务分配到计算节点,计算节点通过节点状态监控来调整计算节点的负载情况。在计算节
16、点执行完任务后,通过任务管理器将执行结果反馈给用户。2.2 电力云数据中心多 QoS 评价模型电力数据中心数据量庞大,各个网省公司与直属单位时刻都会传送大量的数据,如电力设备在线监测数据、电能计量数据等。在面对如此多的电力用户大规模访问的情况下,只考虑电力数据中心的整体性能已无法满足用户的多 QoS 需求。因此,在电力云数据中心,需要制定一个能适应用户多种需求的调度机制,不仅注重资源的利用率以及系统性能的提高,而且重视保证电力用户的多 QoS 需求,让用户有针对性地选择云环境中的资源,以实现用户与资源的最优效用。本文针对电力数据中心的特点,并参考其他研究人员在异构环境下对 QoS 的研究,使之
17、应用于电力云数据中心。选取时间、可靠性、安全性和优先级作为其约束条件,使用效用函数将 QoS 转换为效用值,以衡量调度目标的实现程度。1)时间:在电力数据中心,一些电力数据的处理,需要在设定的时间期限内完成并及时将执行结果反馈给用户,以此保证电力设备的正常运行。因此,本文考虑时间期限,为每个任务设定一个期望运行时间。每个任务 T 的执行期限 t 计算式为:式中:t 为任务 T 的期望运行时间;t 为任务 T 的提交时间。因此,设定其效用函数为:2)可靠性:云环境采用的是廉价的服务器集群,若集群中的机器(即资源节点)长时间运行,可能会出现失效(如死机、重启等)的情况。当资源节点失效时,就要重新运
18、行该节点上的任务,这就可能会降低云计算的性能,甚至影响到电力设备数据信息的可靠性。因此,需给每台机器设定一个可靠性系数,以此来判定其稳定性,并将可靠性要求高的任务尽量分配到高可靠性的节点上执行,使任务的失败率降到最低。每个资源节点的可靠性系数设定为 r =0.9+0.1r ,其中 r 为均匀分布在0,1)区间的随机数。设定其效用函数为:式中:n 为任务数;n 为虚拟机数。3)安全性:安全性中的一致性和真实性对于电力数据来说很重要,这些数据是考察电力设备状态信息以及电力系统日常操作的数据,一些细小的误差都可能导致电力设备的不稳定。因此,为了符合用户对不同任务的安全性需求,需给机器设定安全等级,确
19、保数据信息运行环境的安全性。将资源节点的安全性划分为 4 个等级 s =1,2,3,4,每台机器随机分配一个安全等级,设定其效用函数为:4)优先级:云环境中的资源有限、任务众多,当有多个任务竞争计算资源时,应当优先满足更重要任务的 QoS 需求。因此,需给任务设定不同的优先级,以用于表示每个任务的重要程度。通过对电力数据中心的研究,其数据可分为 3 类:1 时间采样类,用于反映电力系统连续变动过程的一系列数据,其最大的特点就是时间性;2 动作记录类,实质上就是对电网设备的操作,以及处理电网设备的动作,用于反映电力系统运行的非连续过程;3 设备台账及综合信息类,用于描述电力设备固有属性以及电网综
20、合信息的数据。将 3 类数据设定不同的优先级,即 p =1,2,3。同时,为了体现用户对不同 QoS 约束的偏好程度,设定一个权重集合 :式中: , , , 分别表示时间、可靠性、安全性和优先级的权重,用户可以根据任务不同方面的 QoS 请求,调整其权重值。根据以上 QoS 效用函数,采用综合效用函数作为评价标准来评判电力用户的满意度。任务 T 的总体效用函数定义如下:式中:p 为任务 T 的优先级,当有多个任务竞争同一个资源时,优先考虑高优先级的任务,因此将其作为乘法因子; 为任务 T 的第 k 维 QoS 参数对应的权重;U (q )为任务 T 对应第 k 维 QoS 的效用值。因此,任务
21、调度的目标是最大化任务的总效用,即 的值最大。2.3 基于多 QoS 评价模型的贪心算法按照上文基于云计算的调度管理流程以及多 QoS 评价模型,给出一种基于多 QoS的贪心算法进行任务调度。贪心算法的调度策略是每次任务都尝试分配给使当前结果最优的虚拟机,虽然缩短了任务的运行时间,但并没有考虑到用户的多 QoS 需求以及系统资源节点的负载均衡。因此,本文以用户的 QoS 总体效应值为优化目标,采用贪心算法,在保证用户多 QoS 需求的情况下,尽可能使任务的执行时间最短。其算法流程如图 3 所示。图中 MIPS 表示计算机每秒执行的百万指令数。图 3 基于多 QoS 的贪心算法流程 Fig.3
22、Flow chart of greedy algorithm based on multi-QoS 下载原图在电力云数据中心的任务队列中,每个电力用户都希望自己的任务能够在预期的时间内完成,因此,引入任务的最长等待时间 t ,用来满足电力用户的 QoS 需求。令 T 表示任务 T 的集合,R 表示资源 R 的集合,Q 表示任务 T 的大小,Y 表示任务集合 T 所需要的最小计算能力预估值,数据中心代理 DatacenterBroker 按照Y 的大小从电力云资源中选取相应的计算资源(资源集的计算能力要不小于 Y)。因此,通过式(7)预估任务集合 T 需要的云计算资源:由此可知,Datacent
23、erBroker 在电力云资源池申请的资源集合 R 应满足:式中:Y 为资源集合 R 所需的总计算资源;n 为从电力云资源池中获取的资源数量;Y 为资源 R 所需的计算资源。资源预估之后,创建虚拟机。 定义一个矩阵 E=(t ),表示任务 T 在虚拟机 M上的运行时间,显然 t =Q /Y 。在初始化矩阵 E 之前,将任务按照优先级降序排序(优先级相同的按照任务大小进行排序),将虚拟机按照 MIPS 大小升序排列。初始化后,矩阵 E 的每一行、每一列的元素值都是降序排列的,然后对矩阵 E 采用贪心算法求解。在用贪心算法进行任务调度时,除了考虑总体的 QoS 效用值之外,考虑到算法的收敛速度,总
24、任务的完成时间也不能忽略。因此,定义如下两个约束函数:式中:U (q )为任务 T 的总体效用值;t 为任务 T 在资源 R 上运行的时间;n 为分配到资源 R 的任务数量。因此,总体效用值最大及总运行时间最短为本算法的最终目标。由此选用的贪心策略为:从矩阵中行号为 0 的任务开始,每次都尝试分配给最后一列对应的虚拟机,如果该选择对应的结果相对于其他选择是最优的,就完成分配,否则将任务分配给使当前结果最优的虚拟机。负载均衡旨在解决用户需求不一致与资源规格不一致造成的系统负载不均衡所引起的性能等相关问题。资源节点负载过轻或过重都会影响到系统的整体功能。本文实现了一种动态的负载均衡,即当有多种分配
25、策略都能使当前效用值最大时,则将此任务提交给目前负载最小的虚拟机节点。3 实验结果与分析3.1 变电设备状态评估中心变电设备状态评估中心是电力数据中心的一个重要组成部分,承担的主要任务是实现数据的管理与维护,定期进行设备评估,制定检修策略与计划,实现设备状态检修的专业化管理。变电设备状态评估中心功能结构如图 4 所示。图 4 变电设备状态评估中心功能结构 Fig.4 Functional structure of substation device condition assessment center 下载原图从图 4 可以看出,变电设备状态评估中心具备状态诊断、预测评估、状态评价、风险评估
26、、检修策略、检修维护等功能,其数据来源为在线监测数据、故障诊断数据、设备缺陷数据和设备台账数据等。3.2 仿真环境本文在实验室模拟了一个变电设备状态评估中心实验平台,并以其任务调度为例进行仿真测试。根据从相关文献和电力公司有关资料收集到的数据,对变电设备状态评估中心的任务进行模拟调度,并采用 CloudSim 仿真测试平台进行仿真实验。在仿真实验中,采用 100 个虚拟机节点组成的云计算环境,研究变电设备状态评估中心的 1 000 到 10 000 个故障诊断、状态评估、检修维护任务的调度情况。针对电力数据的特点,侧重时间和可靠性这两方面的 QoS 需求,将任务的 QoS 权重设置为 =0.3
27、,0.3,0.2,0.2。3.3 仿真结果与分析将基于多 QoS 评价模型的贪心算法与普通的贪心算法进行比较,从效应值、完成时间及负载均衡度等方面对上述调度算法进行综合评价。1)效用值是本文的主要评价指标,根据式(2)得出的效用值比较如图 5 所示。图 5 不同任务数下的效用值比较 Fig.5 Utility comparison with different task numbers 下载原图从图 5 可以看出,随着任务数的增加,总体 QoS 的效用值呈上升趋势,但基于多QoS 的贪心算法的效用值比普通的贪心算法要高,这是因为在为任务选择虚拟机分配的过程中,每次都是选择效用值相对较高的节点进
28、行分配。2)任务的完成时间是衡量电力云数据中心吞吐率的指标,同时也是大部分调度算法所考虑的一个重要指标,通过仿真实验得到的完成时间如图 6 所示。图 6 不同任务数下的完成时间比较 Fig.6 Completion time comparison with different task numbers 下载原图从图 6 可以看出,随着任务数的增加,完成时间逐渐增加,但基于多 QoS 评价模型的贪心算法用时较短。这是因为本文算法在任务调度过程中考虑了时间因素,在确保效用值最优的情况下尽可能缩短了任务完成时间。3)负载均衡离差 可衡量虚拟机负载的均衡程度,反映了资源节点根据自身能力而实现的公平利用
29、率,其值可以通过下式获得:式中:n 为虚拟节点的数量;L 为虚拟节点 v 的负载;L 为虚拟节点的平均负载。负载均衡离差越小,表示系统负载越均衡。通过仿真实验得到的负载均衡离差如图 7 所示。图 7 不同任务数下的负载均衡离差比较 Fig.7 Load balancing deviation comparison with different task numbers 下载原图从图 7 可以看出,随着任务数的增加,负载均衡离差呈现增加趋势,但采用负载均衡策略后,系统的负载均衡离差明显要小,并且变化不是很大,不会造成虚拟机节点的负载失衡,从而影响系统的整体性能。由上述测试综合可得,在云环境条件下,基于多 QoS 评价模型的贪心算法在效用值、完成时间以及负载均衡度方面均比普通的贪心算法性能更优,能够满足大部分电力用户的 QoS 需求。4 结语本文针对电力云数据中心任务调度负载不均衡,未考虑用户多 QoS 需求的问题,给出一种基于多 QoS 评价模型的贪心算法,实现了系统的负载均衡。对变电设备状态评估中心实验平台的任务调度进行了模拟,仿真测试表明,该算法能够取得较好的效果。在下一步的工作中,将考虑任务的动态性,进一步完善该调度机制,并将其应用于电力云数据中心,为电力数据中心的进一步建设提供一个新的参考方案。
