基于电力信息系统的自动化运维管理体系研究.pdf

1、2 0 1 9 年 中 国 电 机 工 程 学 会 年 会 论 文 集基 于 电 力 信 息 系 统 的 自 动 化 运 维 管 理 体 系 研 究迟 克 寒，孙 伟，张 广 原，马 旭 东，郝 成 亮国 网 吉 林 信 通 公 司，长 春 1 3 0 0 0 0R e s e a r c h o f A u t o m a t i c O p e r a t i o n a n d M a i n t e n a n c e M a n a g e m e n t S y s t e m B a s e d o nP o w e r I n f o r m a t i o n S y s t

2、 e mC H I K e h a n，S U N W e i，Z H A N G G u a n g y u a n，M A X u d o n g，H A O C h e n g l i a n gC h i n a o f L i m i t e d C o m p a n y o f J i l i n P r o v i n c e P o w e r C o m m u n i c a t i o n C o m p a n y,C h a n g c h u n 1 3 0 0 0 0摘 要：随 着电 力应 用 的不 断增 加 和扩 展，电 力信 息系 统 所涉 及的 内 容越

3、来 越多。运 维 人员 为了 保 证信 息系 统 与网 络的 安全 稳定 运 行，极大 的 增加 了工 作 量。为更 好 的解 决现 存 问题，提出 了自 动 化运 维管 理 体系，将 日 常运 维工 作 中的 繁琐 的手 工 工作 转变 为 通过 系统 进 行自 动化 操 作，防止 人 工失 误 导致 的系 统 错误，实 现 信息 系统 持 续性 运行。实现 了一 个界 面 友好、功 能 强大 的运 维 自动 化平 台，该 平台 将 电力 信 息系 统中 运 维相 关的 独 立设 备和 系 统集 成，简 化运维工作、提升工作效率。关键字：电力信息系统；管理体系；自动化运维A B S T R

4、A C T:W i t h t h e c o n t i n u o u s i n c r e a s e a n d e x p a n s i o n o f e l e c t r i c p o w e r i n f o r m a t i o n a p p l i c a t i o n s,m o r e a n d m o r ec o n t e n t s a r e i n v o l v e d i n e l e c t r i c p o w e r i n f o r m a t i o n s y s t e m.I n o r d e r t o e n

5、 s u r e t h e s a f e a n d s t a b l e o p e r a t i o n o f i n f o r m a t i o ns y s t e m a n d n e t w o r k,o p e r a t i o n a n d m a i n t e n a n c e s t a f f g r e a t l y i n c r e a s e t h e w o r k l o a d.I n o r d e r t o b e t t e r s o l v e t h e e x i s t i n gp r o b l e m s

6、,t h e a u t o m a t i c o p e r a t i o n a n d m a i n t e n a n c e m a n a g e m e n t s y s t e m i s p u t f o r w a r d t o t r a n s f o r m t h e t e d i o u s m a n u a l w o r ki n d a i l y o p e r a t i o n a n d m a i n t e n a n c e i n t o a u t o m a t i c o p e r a t i o n t h r o

7、u g h t h e s y s t e m,s o a s t o p r e v e n t t h e s y s t e m e r r o r s c a u s e d b yh u m a n e r r o r s a n d r e a l i z e t h e c o n t i n u o u s o p e r a t i o n o f t h e i n f o r m a t i o n s y s t e m.A n o p e r a t i o n a n d m a i n t e n a n c e a u t o m a t i o np l a

8、t f o r m w i t h f r i e n d l y i n t e r f a c e a n d p o w e r f u l f u n c t i o n s i s r e a l i z e d.T h i s p l a t f o r m i n t e g r a t e s t h e i n d e p e n d e n t e q u i p m e n t a n ds y s t e m r e l a t e d t o o p e r a t i o n a n d m a i n t e n a n c e i n t h e e l e c

9、 t r i c p o w e r i n f o r m a t i o n s y s t e m t o s i m p l i f y o p e r a t i o n a n d m a i n t e n a n c ew o r k a n d i m p r o v e w o r k e f f i c i e n c y.K E Y WO R D:P o w e r i n f o r m a t i o n s y s t e m;M a n a g e m e n t s y s t e m;A u t o m a t i c o p e r a t i o n a

10、 n d m a i n t e n a n c e0 引 言近 年 来，随 着 国 家 电 网 公 司 业 务 范 围 的 扩大，信 息 化 建 设 工 作 也 随 之 不 断 深 化，各 类 信 息系 统 的 使 用 已 经 成 为 我 们 日 常 办 公 的 重 要 组 成部 分。当 前 吉 林 公 司 在 运 L i n u x 系 统 设 备 和W i n d o w s 系 统 设 备 7 0 0 余 台，数 据 库 1 5 0 多 套。由 于 系 统 及 数 据 库 数 量 众 多，规 模 庞 大，各 品 牌型 号 纷 繁 复 杂，且 各 业 务 应 用 和 国 网 考 核 对

11、系 统运 行 的 稳 定 性 要 求 越 来 越 高，使 日 常 维 护 难 度 成几 何 倍 数 的 增 长，其 中 信 息 系 统 的 数 据 库 运 维 工作 难 度 尤 为 突 出。主 要 体 现 在 数 据 库 在 业 务 系 统中 的 重 要 性，数 据 库 运 维 工 作 复 杂 度，故 障 处 理依 赖 运 维 人 员 的 经 验 等 多 个 方 面。由 于 缺 少 故 障智 能 发 现 及 处 置 的 运 维 手 段，只 能 通 过 运 维 人 员手 动 管 理 数 据 库、管 理 配 置 系 统 文 件、补 丁 等 操作，效 率 低 下 且 管 理 难 度 大 1。因 此，

12、研 发 自 动 化 运 维 方 案，该 方 案 通 过 故障 智 能 发 现 和 自 动 化 处 置 的 功 能 来 帮 助 运 维 人员 处 理 并 解 决 信 息 系 统 数 据 库 的 故 障 和 异 常，减少 运 维 人 员 工 作 量，增 强 系 统 的 健 壮 性 和 稳 定性。自 动 化 运 维，通 过 编 写 自 动 化 脚 本，使 用 开源 工 具，对 需 要 运 维 的 信 息 系 统 进 行 自 动 化 操作，减 少 人 为 干 预 2。将 所 有 插 件 和 开 源 工 具 集成 为 统 一 的 自 动 化 运 维 平 台，不 同 的 插 件 负 责 不同 的 运 维

13、科 目，可 以 整 合 复 杂 的 系 统 环 境 为 一体，提 供 统 一 的 视 图 来 展 示 和 操 作，实 现 统 一 控制 3,4。目 前，电 力 信 息 系 统 日 益 复 杂，由 以 前 的服 务 器 转 变 为 现 在 的 虚 拟 化 平 台，将 来 将 升 级 至2 0 1 9 年 中 国 电 机 工 程 学 会 年 会 论 文 集一 体 化 云 平 台，传 统 的 手 工 运 维 方 式 已 经 不 能 再适 应 现 有 的 系 统 环 境，逐 渐 被 淘 汰。运 维 人 员 开始 使 用 第 三 方 运 维 工 具，进 行 测 试 和 整 合，提 高运 维 的 要 求，

14、减 少 运 维 的 难 度，使 得 运 维 方 式 更加 标 准 和 规 范，从 而 实 现 自 动 化 运 维。自 动 化 运维 是 传 统 运 维 的 提 升，与 虚 拟 化 和 云 计 算 结 合，是 未 来 的 发 展 趋 势。1 开 源 软 件 的 使 用该 方 案 分 为 系 统 监 控 和 故 障 自 动 处 理 两 部分，监 控 部 分 通 过 使 用 a n s i b l e 工 具 和 p y t h o n 脚本，批 量 部 署 g a n g l i a、z a b b i x 等 监 控 软 件 的 客户 端，再 批 量 分 发 p y t h o n 写 好 的

15、自 定 义 监 控 项的 脚 本，到 指 定 的 数 据 库 来 实 现 对 数 据 库 的 监控；自 动 处 理 部 分 使 用 a n s i b l e 将 写 好 的 自 动 化处 理 脚 本，分 发 到 指 定 数 据 库。当 监 控 软 件 某 项指 标 值 告 警 时，可 触 发 脚 本，已 实 现 故 障 自 愈、一 键 启 停 等。开 发 完 成 后，进 行 项 目 实 施，将 各 信 息 系 统使 用 的 数 据 库 均 接 入 到 该 项 目 中，开 始 应 用 该 工具，目 前 支 持 的 数 据 库 有 O r a c l e，M y s q l 等，通过 G a n

16、 g l i a 工 具 和 Z a b b i x 工 具 的 实 施 和 集 成 能 实现 对 数 据 库 各 类 指 标 的 采 集 和 故 障 处 理 脚 本 的下 发。项 目 上 线 后，通 过 本 项 目 平 台，实 现 国 网 吉林 电 力 信 息 系 统 数 据 库 故 障 智 能 发 现 及 自 动 处置，特 别 是 针 对 具 体 场 景 下 的 故 障 自 动 处 置 达 到预 期 效 果。1.1 A n s i b l eA n s i b l e 是 一 种 自 动 化 运 维 工 具，基 于P y t h o n 开 发，集 合 了 众 多 运 维 工 具（p u

17、p p e t、c f e n g i n e、c h e f、f u n c、f a b r i c）的 优 点，实 现 了批 量 系 统 配 置、批 量 程 序 部 署、批 量 运 行 命 令 等功 能 5。该 方 案 通 过 A n s i b l e 框 架 搭 建 起 生 产 网 内 部信 息 系 统 数 据 库 故 障 智 能 发 现 及 处 理 的 工 具 系统 平 台。通 过 特 殊 加 密 的 S S H 安 全 信 任 通 道，自 动 将 生 产 网 内 部 所 有 的 数 据 库 服 务 器 及 数 据库 实 例 管 理 起 来。实 现 故 障 智 能 发 现，并 且 进

18、 行自 动 化 处 置 的 功 能。1.2 G a n g l i aG a n g l i a 是 一 个 开 源 的 服 务 器 集 群 监 控 工具，设 计 用 于 监 控 服 务 器 集 群 的 性 能 和 运 行 指标，可 以 很 方 便 的 生 成 性 能 图 表，也 可 以 将 多 维度 的 图 表 进 行 聚 合。G a n g l i a 可 以 收 集 操 作 系 统的 各 项 指 标，比 如 C P U、内 存、I O 读 写、网 络流 量 等，图 表 主 要 通 过 曲 线 的 形 式 展 示，让 运 维人 员 可 以 直 观 的 查 看 和 比 较 系 统 运 行 情

19、 况 6。该 方 案 使 用 G a n g l i a 监 控 平 台，把 生 产 网 内部 所 有 数 据 库 服 务 器 及 实 例 都 监 控 起 来，并 根 据实 际 工 作 经 验，为 每 个 数 据 库 服 务 器 建 立 性 能 基线 和 安 全 基 线。这 些 基 线 是 根 据 实 际 生 产 环 境 运行 一 段 时 间 建 立，能 真 实 反 映 服 务 器 及 数 据 库 正常 运 行 时 的 状 态 指 标。G a n g l i a 工 具 包 括 三 个 模 块：g m o n d 是 运 行在 服 务 器 主 机 上 面 用 来 获 取 监 控 指 标 的 工

20、 具，可以 使 用 C、P y t h o n 语 言 进 行 模 块 开 发；g m e t a d 是用 于 收 集 并 整 合 收 集 到 的 指 标 数 据 的 守 护 进 程；g w e b 是 一 个 网 页 前 段 服 务，用 于 图 表 展 示 功 能。三 个 模 块 独 立 运 行，互 不 影 响，运 行 流 程 为 g m o n d来 采 集 数 据，g m e t a d 用 于 整 合 数 据 并 写 入 磁 盘，g w e b 统 一 展 示 数 据。G a n g l i a 采 集 数 据 如 下 图 1所 示。图 1 G a n g l i a 采 集 数 据

21、F i g.1 G a n g l i a c o l l e c t i n g d a t a1.3 Z a b b i xZ a b b i x 是 一 个 提 供 系 统 及 网 络 监 控 功 能 的开 源 运 维 工 具，主 要 负 责 监 视 各 种 网 络 参 数，有完 善 的 通 知 体 系，让 运 维 人 员 可 以 快 速 定 位 和 解决 存 在 的 问 题 7。Z a b b i x 由 于 其 灵 活 的 配 置，强大 的 功 能，很 多 企 业 都 选 择 z a b b i x 进 行 性 能 监控。Z a b b i x 有 两 个 模 块：2 0 1 9 年

22、 中 国 电 机 工 程 学 会 年 会 论 文 集Z a b b i x s e r v e r 负 责 监 视 和 采 集 服 务 器 和 网络 设 备 的 性 能 指 标，需 要 部 署 在 l i n u x 或 A I X 平台 上，使 用 的 协 议 有 I C M P，S N M P，T C P 等。S e r v e r 可 以 接 收 z a b b i x a g e n t 回 传 的 数 据，进 行整 合 和 计 算。Z a b b i x a g e n t 需 要 运 行 在 服 务 器 上，操 作 系统 可 以 是 L i n u x、A I X 或 W i n

23、d o w s。它 主 要 负 责采 集 服 务 器 硬 件 信 息 和 操 作 系 统 相 关 的 信 息，比如 C P U、内 存、I O 读 写、网 络 流 量 等，然 后 通过 T C P 协 议 将 数 据 传 输 回 z a b b i x s e r v e r。该 项 目 使 用 Z a b b i x 工 具，用 于 对 数 据 库 的指 标 数 据 进 行 监 控，结 构 图 如 下 图 2 所 示。图 2 项 目 结 构 图F i g.2 P r o j e c t s t r u c t u r e d i a g r a m2 自 定 义 监 控 指 标 方 案通 过

24、 使 用 G a n g l i a 监 控 平 台，还 可 以 自 定 义监 控 指 标，并 编 写 自 定 义 监 控 指 标 采 集 方 法 的p y t h o n 脚 本，实 现 自 定 义 监 控 指 标 的 自 动 采 集，满 足 生 产 环 境 中 对 监 控 指 标 的 具 体 需 求。通 过 自 定 义 实 时 监 控 采 集 的 性 能 及 状 态 指标，可 以 及 早 发 现 故 障 隐 患 趋 势，在 出 现 故 障 趋势 早 期，及 时 发 现，自 动 处 置，消 除 故 障 隐 患，避 免 故 障 发 生。举 例，g a n g l i a 通 过 自 定 义 p

25、 y t h o n脚 本 监 控 数 据 库 A S M 空 间 使 用 率，当 发 现 达 到预 警 阀 值 时，通 过 自 动 化 分 析 A r c h i v e l o g 日 志空 间 在 A S M 空 间 中 所 占，自 动 触 发 A r c h i v e l o g日 志 回 收 程 序，通 过 不 断 回 收 A r c h i v e l o g 日 志空 间，达 到 自 动 化 处 置 这 类 故 障 隐 患 的 目 标。3 故 障 自 愈 方 案通 过 使 用 本 方 案 工 具 平 台，可 以 实 现 对 数 据库 中 特 定 场 景 下 的 故 障 隐 患

26、进 行 自 动 化 处 置。举例，当 某 业 务 系 统 用 户 在 应 用 的 数 据 库 中 特 定 用户 的 连 接 数 达 到 阀 值，并 出 现 M u t e x 类 型 的 锁，并 持 续 特 定 时 间 后，本 方 案 平 台 系 统 会 自 动 调 用杀 进 程 的 p y t h o n 脚 本，杀 掉 可 疑 进 程，保 证 数 据库 平 稳 运 行。如 果，数 据 库 性 能 下 降 严 重，导 致大 量 M u t e x 所 等 待，事 物 等 待 严 重 超 时，本 项 目平 台 系 统 会 自 动 重 启 当 前 实 例，保 护 数 据 库 集 群环 境，实 现

27、 业 务 系 统 的 稳 定 运 行。4 结 论信 息 系 统 的 稳 定 运 行 是 保 证 电 力 各 业 务 持续 发 展 的 重 要 后 盾，自 定 义 运 维 方 案 通 过 实 时 监控、故 障 智 能 发 现 和 自 动 化 处 置 的 功 能 来 帮 助 运维 人 员 处 理 并 解 决 信 息 系 统 数 据 库 的 故 障 和 异常，具 有 如 下 特 性：a.增 强 了 系 统 的 稳 定 性自 动 化 运 维 工 具 能 够 7 2 4 小 时 实 时 连 续 不断 稳 定 的 进 行 数 据 库 指 标 监 控 工 作，当 发 现 数 据库 出 现 故 障 时，根 据

28、 预 先 设 定，进 行 自 动 化 处 置，保 证 数 据 库 平 稳 运 行。b.增 强 了 系 统 可 维 护 性自 动 化 运 维 工 具 应 能 使 系 统 管 理 员 和 数 据库 管 理 员 集 中 方 便 地 配 置、监 视、控 制 所 有 主 机和 数 据 库，消 除 隐 患。运 维 工 具 的 所 有 模 块 均 为开 源 工 具，可 以 直 接 修 改 底 层 代 码 来 进 行 功 能 的修 改 和 增 减，便 于 系 统 的 维 护。c.系 统 安 全 性自 动 化 运 维 工 具 存 储 所 有 服 务 器、小 型 机、网 络 设 备 和 安 全 设 备 的 设 备

29、 信 息 和 运 行 信 息，均采 用 专 用 的 存 储 设 备 保 存，并 将 所 有 信 息 进 行 混淆 加 密，保 证 数 据 的 安 全 性。制 定 了 数 据 备 份 策略 和 快 速 恢 复 方 案，当 数 据 丢 失 时 可 以 及 时 恢复。采 用 严 格 的 安 全 运 行 体 系，保 证 工 具 在 运 行时 不 被 渗 透 和 攻 入。网 络 链 路 采 用 专 用 安 全 加 密通 道，多 种 认 证 方 式 集 合，保 证 数 据 传 输 的 安 全性。工 具 使 用 时 设 定 好 详 细 的 角 色 和 组 织，不 同的 人 只 能 拥 有 自 己 的 操 作

30、 权 限，登 录 时 采 用 多 种认 证，保 护 登 录 操 作 的 安 全 性。2 0 1 9 年 中 国 电 机 工 程 学 会 年 会 论 文 集参 考 文 献 1 黄 聪.电 力 信 息 系 统 运 维 管 理 自 动 化 解 决 方 案 的 构 建 J.科技 传 播,2 0 1 5(1 9).2 李 挺,王 萍,胡 聪.电 网 信 息 系 统 运 维 管 理 自 动 化 探 索 与 研究 J.科 技 与 创 新,2 0 1 7(2 3):8 3-8 4.3 吴 正 国 自 动 化 运 维 操 作 监 控 审 计 技 术 的 探 讨 J 电 子 技术 2 0 1 1，3 8(1 0)

31、4 李 小 英.当 前 电 力 调 度 自 动 化 运 维 要 点 分 析 J.中 国 新 技 术新 产 品,2 0 1 4,N o.2 8 3(2 1):3 1-3 2.5 李 济 伟,李 佳 明,张 晓 亮.云 计 算 下 的 自 动 化 运 维 C/2 0 1 7智 能 电 网 发 展 研 讨 会 论 文 集.2 0 1 7.6 C o n t r o l l i n g S c a l e S e n s o r N e t w o r k s D a t a Q u a l i t y i n t h e G a n g l i aG r i d M o n i t o r i n g T o o l J.通 讯 和 计 算 机:中 英 文 版,2 0 1 0(1 1):1 8-2 6.7 H e r n a n t e s J,G a l l a r d o G,S e r r a n o N.I T I n f r a s t r u c t u r e-M o n i t o r i n gT o o l s J.I E E E S o f t w a r e,2 0 1 5,3 2(4):8 8-9 3.作 者 简 介迟 克 寒（1 9 8 8-），男，吉 林 长 春 人，硕 士 研 究 生，中 级 工 程 师，主要 研 究 大 数 据、虚 拟 化 等 方 向。