1、智能电网大数据的特点、应用场景与分析平台 刘广一 朱文东 陈金祥 张逸 全球能源互联网美国研究院 国网福建省电力公司电力科学研究院 摘 要： 为了使现代电网更加智能,在电网中广泛安装了多种数据采集装置与信息管理系统,例如智能电表、远程测控终端和同步测量装置,配电管理系统、能量管理系统、用户管理系统和电厂管理系统等。这些装置和系统产生了大量数据,构成了智能电网大数据的主要来源。研究先进的数据分析技术以使这些数据能够为电网的运行控制提供科学的决策,改善电网运行的灵活性、安全性、可靠性和有效性,已经成为智能电网发展的迫切需求。首先分析了智能电网大数据产生的原因和数据分析的重要性,讨论了大数据技术的发
2、展趋势,然后重点分析了智能电网大数据的来源和类型,进而总结出智能电网大数据的特点,分析了智能电网大数据的应用场景,介绍了正在研发的智能电网大数据分析系统的分析平台以及主要功能。关键词： 智能电网; 大数据; 数据分析; 数据存储; 数据集成; 大数据平台; 作者简介：刘广一(1963),男,高级工程师(教授级),博士,国家“千人计划”专家,国家 863 项目“主动配电网关键技术研究及示范”首席专家,全球能源互联网美国研究院技术总监,研究方向为电力系统经济调度、网络分析、EMS/DMS、主动配电网、电力大数据和电力市场,;作者简介：朱文东(1969),男,高级工程师,研究方向为分布式计算、关系型
3、及非关系型数据库、基于内存的集群计算及其在电力系统中的应用、大数据分析、智能电网;作者简介：陈金祥(1973),男,高级工程师,入选福建省百千万人才工程,研究方向为主动配电网、电网设备状态检修及新技术应用。收稿日期：2016-04-01基金：国家电网公司科技项目(DZB51201403772)Characteristics,Application Scenarios and Analysis Platform of Smart Grid Big DataLIU Guangyi ZHU Wendong CHEN Jinxiang ZHANG Yi GEIRI North America; Ele
4、ctric Power Research Institute of State Grid Fujian Electric Power Company; Abstract： In order to make the modern power system smarter,variable data acquisition devices and information management systems such as smart meters,remote terminal unit( RTU),phasor measurement unit( PM U),and distribution
5、management system( DMS),energy managemt system( EMS),customer management system( CMS),generation management system( GMS) have been widely installed. These systems create huge amounts of data,which are the main sources of smart grid big data. It is imperative for the development of smart grid to stud
6、y the advanced data analysis technology,which can make optimal decision for power grid control and operation,and also can improve the flexibility,security,reliability,and efficiency of the electricity system. In this paper,the causes of smart grid big data and the importance of data analysis are ana
7、lyzed,the development trend of big data technology is discussed. Smart grid big data sources and types are selectively analyzed,and then the characteristics of smart grid big data are summarized,the various application scenarios are given,and the smart grid big data analysis platform and function un
8、der development are introduced.Keyword： smart grid; big data; data analysis; data storage; data integration; big data platform; Received： 2016-04-010 引言智能电网是电力工业发展的方向和趋势。智能电网是以物理电网为基础,将先进的信息通讯技术(information另一类是智能电网内部数据。外部数据包括来自气象部门的气象系统数据,来自政府的社会发展数据、城市规划数据,来自社交网络的互联网数据,来自公共服务部门的移动通信数据、交通数据、自来水数据、煤气
9、数据等。智能电网内部数据可以按照时变性分成动态数据和静态数据。动态数据分为电网运行数据和电网营销数据两大类。电网运行数据分为来自 SCADA 和广域测量系统WAMS 的遥测数据,来自各类设备监测系统的录波数据,来自电表管理系统的用电数据,来自由电网事件或运行操作引发的非同步事件数据或报警数据,来自检修队的设备操作记录和由检修管理系统下达的操作命令数据,来自用户服务系统的音频数据,来自变电站监控系统和直升机输电线路巡检的照片和视频数据等。这些数据与电网运行密切相关,故称为电网运行数据。还有一类是与电网运营有关的数据,例如交易电价、用电合同、交易计划等数据,称为电网营销数据。静态数据则主要包括相对
10、来讲变化不频繁的有关电网资产属性、电网设备连接关系和用户资料等数据,这些数据分别来自电网的地理信息管理系统 GIS,资产管理系统和用户管理系统等,这些静态数据又称元数据4;其他数据为动态变化数据,也称数据源。图 4 列出了智能电网的数据源和元数据,其中的横轴是时间,纵轴是每年产生的数据量。图 4 智能电网数据源和元数据 Fig.4 Data sources and mega data of smart grid 下载原图电网运行数据量大、类型多、变化快,对实时处理的要求高。电网运行数据和元数据的特点在此处作详细讨论。遥测数据分为来自传统 SCADA 系统的 RTU/FTU 数据和来自 WAM
11、S 系统中同步测量装置的 PM U 数据。SCADA 数据一般采用召唤方式获得,采样周期大约为 4 s,趋势是进一步缩短。目前电力调度自动化系统中,SCADA 采样还是主要的监测数据源,线路潮流、发电机组出力、变压器潮流与抽头位置、母线电压等实时量测量均来自 SCA-DA 系统,因而数据量特别大。对于一个遥测点数为 100 000 的电网,按采样间隔为 4 s 计算,每年将产生 1.03 TB 数据(1.03 TB=12 B/帧0.3帧/s100 000 遥测点86 400 s/天365 天);PM U 数据由于带有时标,可以对数据进行同步分析,日益受到重视。PMU 的采样频率为 60120
12、次/s,因而 PM U 采集的数据量巨大,对于同样的 100 000 个遥测点,采样间隔降为 0.01 s,每年产生的数据量将高达 495 TB。录波数据主要是电流和电压的波形数据,通常来自电网监测设备,例如故障录波仪、电能质量检测装置或者谐波分析仪,一般保存在电网监测设备中,通常由电网中发生的事件或故障触发,根据需要上传,用于进行各种后续分析。对于某些电网监测装置,也可以对监测波形进行连续采样,在当地装置中进行分析,提取特征值供当地分析与控制使用,也可以生成报表发送到控制中心。波形数据的采样频率一般比较高,像电能质量监测,一般每秒采样高达 512 次。这类数据对于分析电网的暂态过程,研究电网
13、运行的动态行为,分析故障发生原因非常重要。用电数据来自智能电表。采样数据一般包括电流、电压、有功功率、电度累计量和功率因数。居民用户采样间隔一般是 1 h,工商用户是 15 min,保存在当地的数据采集器中,每天集中向电表数据管理中心传送。国内一般每天集中传送 1次,国外有的电力公司一天传送 3 次。智能电表采集的数据规模巨大,例如美国太平洋煤气电力公司每个月从 900 万块智能电表中采集的数据高达 3 TB。对于分布式发电,智能电表数据也是对其进行监视计费的主要手段。但目前智能电表的数据主要被用于进行电量计费,向用户发放账单。智能电表作为智能电网中最底层的电网数据采集装置,其量测数据中蕴涵大
14、量可用于描述电网运行状态的信息,如果能够获得充分利用,将产生巨大的运行效益和商业效益。实际上,智能电网大数据的多个应用就是针对智能电表数据价值的充分挖掘展开的。非同步事件数据是由电网故障或者对电网设备进行的操作而产生的,最常见的是报警数据。当这类事件发生时,安装在电网中的各种监测装置会集中产生大量数据,在第一时间集中送往系统控制中心。由于电网中安装的众多监测设备会对同一电网事件做出反应,因而会产生大量报警数据,如何从众多报警数据中发现电网事件发生的根本原因是处理非同步事件数据的关键技术。电网公司每天有大量的检修或抢修操作。通常,这些操作需要由检修管理系统制定检修或抢修计划,一般称为操作票;操作
15、完成后,要填写操作日志或操作报告。这类数据称为半结构化数据。电网公司设有用户服务系统,用来接听用户的电话服务请求。这些电话通常涉及故障报修、电费争议和服务投诉等与用户切身利益密切相关的事件,是了解用户感受、为用户提供优质服务的最佳渠道。这些电话会产生大量的语音服务数据。电网公司大力建设的变电站综合自动化和输电线路直升机巡检产生了大量反映变电站和输电线路设备状态的照片和音频数据。语音服务、照片和音频数据称为非结构化数据。2.2 智能电网大数据的特点与关键技术对智能电网的大数据进行分析,发现智能电网大数据除了具备一般大数据的 4 V特性外,还具备以下 4 个主要特点5-6。1)来源多重性:数据源系
16、统多种多样,大小系统并存。如前所述,智能电网大数据有多个来源,例如用电信息采集系统、营销系统、生产管理系统、广域监测系统、配电管理系统、用户管理系统、设备检测系统、客服管理系统等。在这些系统中,既有像用电信息采集系统和广域监测系统这样的数据规模巨大的大数据系统,也有数据量不太大的多个中小型系统。这些系统建设标准不同,数据规范不一,而且同一物理设备在不同的系统中命名规则也各不相同。因此,要对由这些数据构成的大数据系统进行分析,数据集成、数据融合就成为智能电网大数据必须要解决的第一个关键技术。2)空间分布性:智能电网中的运行数据来自分布在整个电网不同物理地点的监控装置,从分布在每个家庭的智能电表,
17、到遍及馈线、各个等级的变压器和变电站中的各类监控系统,无处不在。如何在这些装置和系统中采取分层分布技术有效地存储和处理这么大量的数据,就成为智能电网大数据的第二个关键技术。3)时间多尺度性:智能电网数据的时间跨度非常大,数据采样频度从波形数据的微秒、PMU 数据的毫秒、SCADA 数据的秒、智能电表数据的分钟到设备检测的小时,相差非常大。如何分析这些多时间尺度数据间存在的内在联系,是智能电网大数据迫切需要解决的第三个关键技术。4)实时交互性:智能电网中的运行监测数据包括智能电表数据、SCADA 数据和PMU 数据实际上都是流数据,利用这些数据可以在线地确定智能电网的实时运行状态,是调度员进行在
18、线决策的重要依据。因此,智能电网大数据的实时处理技术是第四个关键技术。3 智能电网大数据的多层应用场景分析智能电网大数据分析的商业价值,根据服务对象的不同,可以分为以下 4 类7-8。1)提高电网智能:提高电网运行可靠性,改善电网规划精度。2)提高资产智能:提高资产利用率。3)提高用户智能:了解用户用电行为,创新服务模式,为用户提供定制化服务。4)提高社会智能:为全社会节能减排提供定量化服务。如图 5 所示,智能电网大数据分析按照数据产生时间与利用时间之间的相互关系可以分为以下 4 类。1)描述性分析:对电网中产生的历史数据进行分析,一般用于分析过去实际发生了什么,一般多用于产生各种形式的报表
19、。2)诊断性分析:对电网中的实时数据进行在线分析,分析为什么会发生。3)预见性分析:对电网中的实时数据和历史数据进行分析,预测什么将会发生。4)预案性分析:对电网中的实时数据和历史数据进行分析,并对将来可能出现的场景进行预测,分析什么应该发生,如何使它发生,以及发生时应采取的最优对策。开发一个成功的大数据分析应用,一般分为以下 3 个步骤:定义、验证和交付9,其过程如图 6 所示。定义阶段分为 5 个步骤:1)确定分析需求;2)定义输出结果;3)确定数据处理和分析的控制点;4)确定所需分析的类型;5)确定自动化的程度。验证阶段也分为 5 个步骤:1)定义假设;2)确定所需要的数据集;3)确定条
20、件、标准和场景;4)原型开发和测试;5)确定是否满足设计要求。交付阶段同样也分为 5 个步骤:1)定义运营规则、要求和技术设计规范;2)定义控制和误差管理方法;3)建立测试、实现和实施的工业级解决方案;4)执行和验证分析结果;5)学习、改进和优化分析过程。图 5 智能电网大数据分析分类 Fig.5 Types of smart grid big data analysis 下载原图图 6 定义、验证与交付大数据分析应用的过程 Fig.6 Definition,verification and delivery of big data analysis 下载原图这一数据分析的研发过程无疑也适用于
21、智能电网大数据分析应用的开发过程。要想研发出适用的智能电网大数据分析应用,上述过程是不可缺少的。美国杜克能源公司正在使用该方法进行智能电网大数据的研发。到目前为止,第一步已经完成,第二步正在进行。下面结合杜克能源公司的报告(Data Modeling and Analytics Initiative)说明杜克能源公司确定智能电网分析应用的过程及结果,他们的具体做法对于我国开发智能电网大数据的分析应用具有很好的借鉴意义。首先,2013 年杜克能源构造了一个由 AMI 系统、变压器、配电网传感器、配电网设备(电容器组、重合闸)、停电管理系统、智能电网通信节点、气象站、计费系统和社会经济数据组成的数
22、据集。该数据集根据 2012 年夏季负荷高峰期一个星期的数据整理而成。这组数据包括 18 个不同的数据文件,格式分别为文本文件(CSV)或者电子表格数据(XLS),同时提供了数据元素定义和数据映射文件。这些文件提供给美国大数据领域的 28 家厂商,请这些厂商就可能的数据分析应用场景进行反馈。17 家厂商根据要求返回了调研报告。共提出 150 多个应用场景,可以分为 12 个类型,分别为10:1)电表数据分析:电表事件分析、电表采样数据错数分析、电表操作监视。2)用户分析:使用社会经济数据对电力公司需求侧响应项目的参与者进行分组,开展用户负荷模式分析,根据负荷水平和电压等级开发电价结构。3)配电
23、网分析:馈线/相负荷预测、监视和管理,对馈线上的设备辨识和管理电压波动,实时基于条件的电力走廊植被管理。4)停电分析:使用快速恢复供电减少系统平均停电次数(SAIFI)和系统平均停电时间(SAIDI),发布停电通知以及恢复供电文档处理的自动化,辨识和处理短暂的停电事件。5)收益保护:使用异常数据分析实现收益保护报警,进行电费和电价分析估计、追踪和追回由于窃电造成的损失,使用计费数据和经济信息预测非法行为。6)需求侧响应:开发需求侧响应影响评价指标,挖掘潜在的 DR 参与者,使用实时电表数据预测由于采用 DR 项目所产生的系统负荷削减量。7)资产管理分析:对于配电设备实施基于条件的资产管理,辨识和替换过载变压器,辨识和监视设备的负载和异常事件。8)负荷预报:使用当地气象信息预测用户的用电量,进行电表、变压器、分相、馈线和变电站级的负荷预报,开发以配电资产运行价值最大化为目标的优化运行策略。9)分布式发电管理:预报/估计用户分布式发电运行对配电网的影响,开发太阳能发电机组分析模型,辨识分布式发电量总是高于其用电量的用户。10)能效分析:开发/实施能效影响评价系统,使用智能电表数据和社会经济信息发现潜在的能效项目参与者,在特定的用户分组中发现新的定向能效项目。11)通信系统分析:实施智能电网通信监视和分析系统,实施移动通信和远程信息技术分析系统。
