1、重庆电力营销数据归档项目成果及发展 趋势探讨 段立 刘冲 蒲箭 国网重庆市电力公司客户服务中心 摘 要： 电力营销数据归档, 是一种为解决系统数据库的运维管理问题而进行的操作。 本 文介绍了重庆电力营销数据归档项目成果, 并围绕营销数据归档进行了一系列 的探讨, 希望本文的研究能为同行提供借鉴。 关键词： 电力公司; 数据归档; 重庆; 1 重庆电力营销业务历史数据归档工作背景 2010年, 国网重庆市电力公司 (以下简称:重庆电力) 上线了营销业务应用系 统。该系统涵盖重庆电力营销专业 19个业务类型、137个业务项以及 700多个 子项, 涉及业扩、 计量、 抄表、 核算、 收费、 用检和
2、客服等电力营销业务范围, 为 重庆电力营销人员顺利开展相关业务工作奠定了基础。 从上线以来, 营销业务应 用系统的用户数量迅猛增长, 目前已经有接近1 500万电力用户, 系统的数据量 已超过13 TB, 并且以每年 2 TB以上的数量递增, 给系统数据库的运维管理带 来了很大的压力, 重庆电力也感受到海量数据对系统稳定运行带来的压力。 随着营销系统数据量的迅速增长, 营销业务应用系统面临着多方面的问题:第一, 系统运行性能下降会让前台用户与系统进行交互时花费更多的时间, 拖慢业务 处理速度和客户服务效率;第二, 庞大的系统数据量会使系统花费更长的时间处 理相应操作, 以及要花费大量的窗口备份
3、时间;第三, 系统管理成本不断提升, 维护日益庞大的数据库所消耗的成本远高于轻负载的数据库;第四, 运维人员需 要消耗更多的时间和精力去重构数据库, 从人力资源角度来说是一种不必要的 浪费;第五, 系统宕机时间会随着数据库规模的扩大而逐渐增长。 随着电力企业的对外服务压力不断增大, 电力企业对于系统性能的需求也在不 断提升。为了有效提升系统性能, 减轻服务压力, 国网重庆市电力公司于 2017 年开展了营销业务应用系统的历史数据归档工作, 目的是最大限度减少营销业 务应用系统数据库存储数据量, 并提升系统的整体运行效率。 归档采用完全在线 方式进行, 将系统影响降至最低, 完成后系统运行情况达
4、到了预期效果。 本次营销业务应用系统采用了完全在线归档, 在归档期间, 所有业务正常运行, 在最大程度上减少了归档工作给基层单位运营带来的不便。 经过归档后, 在线系 统数据量从归档前的 13 TB降低到8 TB, 系统负载显著减少, 同时也让主机资 源消耗降低了很多, CPU占用比例从归档前的53%下降到35%, 降幅达1/3, 内存 由91%下降到 80%, 降幅为12%。营销业务应用系统经过归档后, 抄表核算、收 费账务、业务流程等模块的响应速度都有了不同层次的提升, 从1.8 秒降低至 0.8秒左右, 大大提升了系统性能, 提高了资源的利用率和系统的可用性, 从 而降低了重庆电力营销业
5、务应用系统的总投资成本, 为营销业务应用系统的良 好运行提供了技术上的保障。 2 电力行业历史数据归档的现状 2.1 电力行业各应用系统数据迅猛增长 在信息技术快速发展的今天, 电力企业的各信息系统也迈进了大数据时代。在 2007年之前, 电力行业的业务系统数据库体量超过1TB的便是大型数据库系统。 如今, 电力行业各应用系统数据迅猛增长, 以重庆电力公司为例, 10TB 数量级 仅是中型数据库系统, 超过20TB的数据库系统多达数套。业务系统累积的数量 越大, 系统运行性能就越慢, 维护成本也越高。 因此, 电力企业大量的业务系统 都有历史数据归档的迫切性。 2.2 电力行业历史数据归档的技
6、术现状 目前, 电力企业绝大多数应用系统的数据库归档, 采用的归档方式是首先将历 史数据抽取到历史数据平台, 然后再利用数据库自身的 SQL命令删除历史数据。 电力企业采用这种方式有许多不足。首先, 由于生产系统数据量太大, 每张表 (包括移除历史数据、重整数据库碎片、索引等操作) 的归档时间都很长, 而在 生产表操作的过程中, 都会给该表加上“数据库锁”;其次, “数据库锁”会使 生产业务系统性能急剧下降, 无法完成对外的业务交易。 因此, 传统的归档方法, 仅适用于数据量小的应用系统或有较多停机时间的应用系统。 3 新型数据归档方式在重庆电力的实践 传统的数据归档技术采用删除历史数据方式产
7、生的“数据库锁”, 会影响生产 系统的性能或要求生产系统停机操作, 不适合于重庆电力营销业务的发展现状。 因此, 重庆电力公司上线了营销业务应用系统。 该系统能保持营销业务应用系统 完全在线, 且所有历史数据归档操作均不对生产系统性能造成影响的新型数据 技术。 在实践中发现, 新型数据归档方式的工作流程如下。 首先, 工作人员在需要归档 的原表中建立采集触发器, 收集新发交易, 存放在交易队列表中, 此过程持续 到该表归档结束前的表名切换。其次, 工作人员使用数据库底层的 Fast Copy技术将原表数据拷贝到临时表。 再次, 工作人员利用触发器将收集的新发交易追 加到临时表中, 同样, 此过
8、程持续该表归档结束前的表名切换时。 然后, 工作人 员在将原表数据拷贝到临时表后, 触发器自动比较临时表数据与原表中的新发 交易记录是否一致, 如果不一致, 继续等待原表与临时表的同步。 最后, 工作人 员在确认数据完全一致时, 采用数据库的Online (Exchange Partition) 或者 TLock (Rename) 进行表名切换。临时表改成原表名, 原表备份成ORIG 表或者直 接删除, 这样便在线完成了一张数据库表的归档。 新型数据归档技术是基于数据库底层技术, 不会产生数据库锁, 并且可以同时 进行历史数据迁移、表及索引的碎片整理和重整。因此, 整个归档操作过程不会 对业务
9、系统的性能产生影响, 且整个归档进程完全可视可控, 极大降低了由数 据库归档带来的额外风险。 4 未来电力行业应用系统历史数据归档的发展趋势 随着信息技术的不断发展, 电力行业已经或即将进行大数据时代。 在大数据时代, 一方面, 电力企业需要对大数据进行充分挖掘, 为电力企业创造更多的有利价 值;另一方面, 针对大数据的信息生命周期管理也十分重要。本文所探讨的历史 数据归档, 实质便是针对大量历史数据的信息生命周期管理。 合理的信息生命周 期管理, 可以为电网企业节省大量的管理维护成本。 本文介绍的新型数据归档方式的优势主要体现在两个方面:一方面业务生产系统 不需要停机, 另一方面整个归档过程
10、不会对业务生产系统产生性能影响。 随着大 数据时代的到来, 电力企业在进行业务系统历史数据归档时, 除了要保持完全 在线、对生产系统无影响外, 还有两个技术点将成为未来历史数据归档的趋势。 第一, 在历史数据归档中, 压缩技术或重复数据删除技术的充分应用。 目前, 电 力企业采用的归档技术是将生产数据从高端存储介质转移至低端存储介质, 以 达到节省成本的目的。 归档至低端存储的历史数据如果能充分应用压缩技术或重 复数据删除技术, 将进一步节省电力企业对历史数据管理的投资成本。 第二, 历 史数据的自动转移技术。 目前, 针对非结构化数据的历史数据归档, 已有成熟的 技术可以根据策略配置, 自动
11、将历史数据转移到低端存储介质, 以近全自动化 的方式完成历史数据的信息生命周期管理。 而针对数据库类的结构化数据, 目前 还未出现成熟的自动化历史数据归档技术。 相信在不久的将来, 本文所探讨的结 构化类数据, 也可以实现自动化的历史数据归档, 从而大幅降低人力投资成本。 本文介绍了营销业务应用系统数据归档成果, 并通过分析电力行业的历史数据 归档技术, 探讨了未来电力行业应用系统历史数据归档的发展趋势, 希望为电 力行业历史数据归档提供一些建议和理论参考。 参考文献 1朱笛.社会化媒体环境下档案信息个性化服务模式研究D.上海:上海大学, 2015.2周涛.浅谈网络环境下如何做好档案管理工作与
12、创新服务J.劳动保障世界, 2013 (10) .3蒯治任.网络环境下科技档案信息创新服务模式构建研究 J.兰台世界, 2013 (11) .4李雯.网络环境下档案用户信息需求与档案信息 服务的探索与创新J.兰台世界, 2009 (14) .5张文丰, 黄淑敏.构建网络环 境下高校档案信息服务新模式J.科技资讯, 2007 (24) .6朱桂玲.网络环境 下档案馆用户信息需求与服务策略研究D.成都:四川大学, 2007.随着营销系 统数据量的迅速增长, 营销业务应用系统面临着多方面的问题:第一, 系统运行 性能下降会让前台用户与系统进行交互时花费更多的时间, 拖慢业务处理速度 和客户服务效率;
13、第二, 庞大的系统数据量会使系统花费更长的时间处理相应操 作, 以及要花费大量的窗口备份时间;第三, 系统管理成本不断提升, 维护日益 庞大的数据库所消耗的成本远高于轻负载的数据库;第四, 运维人员需要消耗更 多的时间和精力去重构数据库, 从人力资源角度来说是一种不必要的浪费;第五, 系统宕机时间会随着数据库规模的扩大而逐渐增长。 随着电力企业的对外服务压 力不断增大, 电力企业对于系统性能的需求也在不断提升。 为了有效提升系统性 能, 减轻服务压力, 国网重庆市电力公司于 2017年开展了营销业务应用系统的 历史数据归档工作, 目的是最大限度减少营销业务应用系统数据库存储数据量, 并提升系统
14、的整体运行效率。 归档采用完全在线方式进行, 将系统影响降至最低, 完成后系统运行情况达到了预期效果。 本次营销业务应用系统采用了完全在线归 档, 在归档期间, 所有业务正常运行, 在最大程度上减少了归档工作给基层单 位运营带来的不便。 经过归档后, 在线系统数据量从归档前的13 TB降低到8 TB, 系统负载显著减少, 同时也让主机资源消耗降低了很多, CPU占用比例从归档前 的53%下降到 35%, 降幅达1/3, 内存由91%下降到80%, 降幅为12%。营销业务 应用系统经过归档后, 抄表核算、收费账务、业务流程等模块的响应速度都有了 不同层次的提升, 从1.8秒降低至0.8秒左右,
15、大大提升了系统性能, 提高了资 源的利用率和系统的可用性, 从而降低了重庆电力营销业务应用系统的总投资 成本, 为营销业务应用系统的良好运行提供了技术上的保障。2电力行业历史数 据归档的现状2.1电力行业各应用系统数据迅猛增长在信息技术快速发展的今 天, 电力企业的各信息系统也迈进了大数据时代。在 2007年之前, 电力行业的 业务系统数据库体量超过 1TB的便是大型数据库系统。 如今, 电力行业各应用系 统数据迅猛增长, 以重庆电力公司为例, 10TB 数量级仅是中型数据库系统, 超 过20TB 的数据库系统多达数套。业务系统累积的数量越大, 系统运行性能就越 慢, 维护成本也越高。 因此,
16、 电力企业大量的业务系统都有历史数据归档的迫切 性。2.2电力行业历史数据归档的技术现状目前, 电力企业绝大多数应用系统的 数据库归档, 采用的归档方式是首先将历史数据抽取到历史数据平台, 然后再 利用数据库自身的 SQL命令删除历史数据。电力企业采用这种方式有许多不足。 首先, 由于生产系统数据量太大, 每张表 (包括移除历史数据、重整数据库碎 片、 索引等操作) 的归档时间都很长, 而在生产表操作的过程中, 都会给该表加 上“数据库锁”;其次, “数据库锁”会使生产业务系统性能急剧下降, 无法完 成对外的业务交易。 因此, 传统的归档方法, 仅适用于数据量小的应用系统或有 较多停机时间的应
17、用系统。3新型数据归档方式在重庆电力的实践传统的数据归 档技术采用删除历史数据方式产生的“数据库锁”, 会影响生产系统的性能或 要求生产系统停机操作, 不适合于重庆电力营销业务的发展现状。 因此, 重庆电 力公司上线了营销业务应用系统。 该系统能保持营销业务应用系统完全在线, 且 所有历史数据归档操作均不对生产系统性能造成影响的新型数据技术。 在实践中 发现, 新型数据归档方式的工作流程如下。 首先, 工作人员在需要归档的原表中建立采集触发器, 收集新发交易, 存放在交易队列表中, 此过程持续到该表归 档结束前的表名切换。其次, 工作人员使用数据库底层的 Fast Copy 技术将原表 数据拷
18、贝到临时表。 再次, 工作人员利用触发器将收集的新发交易追加到临时表 中, 同样, 此过程持续该表归档结束前的表名切换时。 然后, 工作人员在将原表 数据拷贝到临时表后, 触发器自动比较临时表数据与原表中的新发交易记录是 否一致, 如果不一致, 继续等待原表与临时表的同步。 最后, 工作人员在确认数 据完全一致时, 采用数据库的 Online (Exchange Partition) 或者 TLock (Rename) 进行表名切换。 临时表改成原表名, 原表备份成ORIG表或者直接删除, 这样便在线完成了一张数据库表的归档。 新型数据归档技术是基于数据库底层技 术, 不会产生数据库锁, 并且
19、可以同时进行历史数据迁移、 表及索引的碎片整理 和重整。 因此, 整个归档操作过程不会对业务系统的性能产生影响, 且整个归档 进程完全可视可控, 极大降低了由数据库归档带来的额外风险。4未来电力行业 应用系统历史数据归档的发展趋势随着信息技术的不断发展, 电力行业已经或 即将进行大数据时代。 在大数据时代, 一方面, 电力企业需要对大数据进行充分 挖掘, 为电力企业创造更多的有利价值;另一方面, 针对大数据的信息生命周期 管理也十分重要。 本文所探讨的历史数据归档, 实质便是针对大量历史数据的信 息生命周期管理。 合理的信息生命周期管理, 可以为电网企业节省大量的管理维 护成本。本文介绍的新型
20、数据归档方式的优势主要体现在两个方面:一方面业务 生产系统不需要停机, 另一方面整个归档过程不会对业务生产系统产生性能影 响。 随着大数据时代的到来, 电力企业在进行业务系统历史数据归档时, 除了要 保持完全在线、 对生产系统无影响外, 还有两个技术点将成为未来历史数据归档 的趋势。第一, 在历史数据归档中, 压缩技术或重复数据删除技术的充分应用。 目前, 电力企业采用的归档技术是将生产数据从高端存储介质转移至低端存储 介质, 以达到节省成本的目的。 归档至低端存储的历史数据如果能充分应用压缩 技术或重复数据删除技术, 将进一步节省电力企业对历史数据管理的投资成本。 第二, 历史数据的自动转移技术。 目前, 针对非结构化数据的历史数据归档, 已 有成熟的技术可以根据策略配置, 自动将历史数据转移到低端存储介质, 以近 全自动化的方式完成历史数据的信息生命周期管理。 而针对数据库类的结构化数 据, 目前还未出现成熟的自动化历史数据归档技术。 相信在不久的将来, 本文所 探讨的结构化类数据, 也可以实现自动化的历史数据归档, 从而大幅降低人力 投资成本。 本文介绍了营销业务应用系统数据归档成果, 并通过分析电力行业的 历史数据归档技术, 探讨了未来电力行业应用系统历史数据归档的发展趋势, 希望为电力行业历史数据归档提供一些建议和理论参考。
