输电线路无人机自主巡检系统.pdf

1、 2020-1-输电线路 无 人 机 自 主 巡 检 系 统*(北京煜邦电力技术股份有限公司，北京，10029)UAV Autonomous Inspection System for Power-Line Tianlong,Tanxing*,Tan Hongwu,Li Liangfeng,Zhang Haixin(Beijing Yupont Electric Power Technology Co.,Ltd,Beijing,10029)摘 要：无人机 在输电线路巡 检 业务 中取得 了大规模 的应用。为了满足无 人机巡检 数据智能 采集、处理 的需要，针对现有存在的 可靠性不 高、效 率

2、较低、安全 隐患较 大 等不足，本文利用 载 波相位差 分 技术提 高无人机高 精度定位，利用实时消息 传输协议 技术对 无 人机获取的 视频流进 行实时 传 输，利用 卷积 神经网 络对无人 机巡检结果 进行处理，利用三维地理 信息系统 对无人 机 飞行状态进 行 展示，以此实 现 了集无人机 航线规划、自主飞 行、三维 监控 等功能 一体的无人机电力巡检系统。通过 实 地测试，该系统可以 规范巡 检作业，提高作业效率，具有一 定的实用性和推广潜力。关键词：无人机；电力巡检；载波相位差分；卷积神经网络；实时信息传输；ABSTRACT：With the wide used in power-l

3、ine inspection works of UAV.In order to meet the needs of intelligent collection、processing of UAV inspection data,Aiming at the existing shortcomings of low reliability,low efficiency and large security risks,this paper using RTK to improve UAV navigation precision,RTMP to transmission the video st

4、ream obtained by UAV in real time,CNN to process the image captured by UAV,and using 3D GIS to demonstrate the flight status,this system involved UAV route planning,autonomous flight,image process,and 3D demonstration.With the test in real-world,it can enhance the UAV inspection task efficiency,stan

5、dardize the inspection operation,improve the operation efficiency,and has certain practicability and promotion potential.KEY WORD:UAV;Power-Inspection;RTK;CNN;RTMP 0.引言 为了保 证输 电线 路的 正常 运行，电路 巡检单位每年 需要 投 入大 量的 人力、物力 对输 电线路 进行 巡检1。随 着技 术的 发 展，自动 化巡 检是输电 线路 巡检 的重 要发展 方向，其 中又 以无人机巡 检为 主要 手段2。无人机 电力 巡检 是

6、利 用无 人机作 为载 体，携带各 种传 感设 备（如相 机，红 外传 感器 等）对输电 线路 进行 巡查，相较 于传统 的人 力巡 检，无人机 在电 力巡 检中 具有 不受地 形环 境限 制，安全性 高，效率 高等 优势，且相 较于 直升 机、机器人 巡检，无 人机 具有 设备简 单，机动 灵活等优势，因 此 无 人机 在电 力作业 具有 良好 的发展前景，取 得了 广泛 的应 用345。利用 机 器学 习，深度 学习 等 数据 分析、挖掘方法 对无 人机 获取 的输 电线路 的可 见光 影像进行处 理和 分析 是无 人机 巡检数 据智 能处 理的热门研 究方 向678，而准确、清晰 地对

7、目标 进行拍照 是实 现 无 人机 巡检 数据智 能处 理 的 前提和数据 处理 质量 的保 证9。当下无 人机 电力 巡检 过程 中 主要 依靠 的是人工手 动遥 控来 进行 作业 的，此 方法 虽然 可以保证获 取的 图像 的质 量，但是存 在着 以下 的不足：1.可能存在安全隐患。拍摄清晰的图像，要求无人机距离目标的距离足够的近，然而如果在此过程由人工进行操作，由于离塔或者输电线路太近，存在着巨大的安全隐患。2.可靠性和效率较低。人工操作的可靠性和效率与飞手的熟练度相关，飞手需要大量的经验积累和实飞练习才能满足电力巡检的需要。针对上 述存 在的 不足，结 合现有 无人 机电力线路 巡检

8、的需 求，本文 提出了 一套 利用 激光雷 达，载 波 相 位 差 分（Real-Time Kinematic,RTK），卷 积神 经 网络（Convolutional Neural Network,CNN），实 时 消 息 传 输 协 议 2020-2-（Real Time Messaging Protocol，RTMP），以及无人 机自动 飞行 等 技术，实现 无人 机航线 规划，自 主巡 检，三维 立体 化监控，巡检 结果 实时分析 等功 能的 无人 机电 力巡检 系统。该 系统在巡检 前根 据巡 检工 作的 需要，采用 航线 编辑软件指 定航 点以 及拍 照任 务，巡 检时 将航 线导

9、入自主 飞行 手机 应用 程序（Application,App）中，通过 RTK 技术为 无人 机提供 精准 定位 和导航，利 用自 动驾 驶技 术 控 制无人 机到 达指 定的位置，并 按 照给定 的航 向和 云台角 度，多方位、多角度 地进 行拍 照或 录像，同时 利用 RTMP 和基于 TCP 的全 双工 通信 协议（WebSocket）实时回传 无人 机的 实时 视频 和轨迹，三 维端 可立体监控 无人 机作 业情 况，服 务器 后 端利 用 CNN对图像 进行 实时 分析，及 时发现 电力 线路 存在的缺陷 和隐 患。本文 简要 概述了 系统 的整 体架构，并 对系 统的 关键 技术

10、 做了简 介，同时 详细地介绍 了系统 主 要功 能，并 实地 对该 系统 进行了测试，测 试表 明本 系统 可以完 成主 要塔 型的无人机 精细 化巡 检航 线的 智能规 划，并按 照规划航线，进 行无 人机 自主 飞行 和 定点 拍照，获取的影像 符 合相 关要 求，并可以 满足 后续 应用的需要。1.关 键 技 术 1.1 RTMP RTMP 是基于 TCP 协议 的，设 计用 来进 行实 时 数 据 通 信 的 网 络 协 议 族，包括 RTMP 基本协议 及 其 变种。流 媒体 可以通 过它 在 服 务器之间进 行音 视频 和数 据通 信10。1.2 CNN CNN 将 每 个 神

11、经 元 与 其 输 入 进 行 局 部 连接，并 通过 对应 的连 接权 值与局 部输 入进 行加权求和 再加 上偏 置值，得 到该神 经元 输入 值，该过程 等同 于卷 积过 程，因此成 为卷 积神 经网络。卷积 神经 网络 可以 自 动从(通常 是大 规模)数据中 学习 特征，并 把结 果向同 类型 未知 数据泛化，目前 在语 音识 别，图 像识别，图 像分 割，自 然 语 言 处 理 等 研 究 领 域 取 得 了 巨 大 的 成 功11。1.3 RTK RTK 将位 于基 准站 上的 GPS 接 收机 观测的卫星 数据，通 过数 据通 信链（无线 电台）实时 发送出 去，而 位于附 近

12、的 移动站 GPS 接收机在对 卫星 观测 的同 时，也接收 来自 基准 站的电台信 号，通 过对 所收 到的 信号进 行实 时处 理，给出移 动站 的三 维坐 标，因此 可 以在 很短 时间内获得 厘米 级的 定位 精度12 错误!未找到引用源。2.主 要 组 成 与 功 能 图 1 整 体 架 构 Fig 1 Architecture 系统的 整体 架构 图 1 整体 架构 所示，该 系统主 要由 航线 规划 系统，服务 器，三维 监控 2020-3-系统，自主 飞 行 App，无 人机五 部分 构成。其中：航 线规 划部 分主 要负 责无人 机飞 行航 点的生成，拍照 参数 的标 定，安

13、全距 离的 核查，并负责生 成最 终的 航线 文件；服务 器是 通信、存储、数 据处 理中 心，主要 负责各 个部 分之 间的通信和 交互，无 人机 巡检 照片的 组织 和存 储，对无人 机拍 摄的 影像 进行 处理、加工 和分 析；自主巡 检 App 负 责将航 线 上传至 无人 机，实现自主飞 行，并 对 无人 机成果 照片 进行 分类、对无人机 的状 态进 行监 控并 回传无 人机 的姿 态信息；无 人机 负责 实际 的飞 行和拍 照任 务，是线路巡检 的实 际执 行者；三 维 监控 系统 负责 无人机实时 姿态、视 频及 巡检 结果的 展示，飞 行历史记录 统计 和分 析等。2.1 航

14、 线规 划 本文所 研究 的输 电线 路巡 检，主 要是 为了获取绝 缘子、导地 线和 线夹 等器件 的图 像信 息，航线是 由一 系列 的航 点组 成的，航线 规划 的本质就是 航点 的设 计，其中 最主要 的是 设计 巡检点的坐 标。航点 设计 过程 中需要 综合 考虑 航点的位置、无 人机 的飞 行效 率、无 人机 的电 池、负载性 能，和完 成作 业的 可行性 等因 素。设计的 航 点，一 方面 必须 保证无 人机 能在这个点 完成 既定 的拍 照任 务，避 免出 现漏 拍和出现拍 摄盲 区；另 一方 面在 无人机 巡线 过程 中，无人机 与输 电设 备之 间必 须有一 个最 小的 安

15、全距离，在保 证图 像清 晰度 的前提 下，保证 无人机的飞 行安 全。同时 由于 无人机 的续 航能 力有限，在 进行 航线 规划 时，也需要 考虑 这一 条件的限制 约束。设置航 点拍 照参 数时 需要 尽可能 多的 获取杆塔设 备的 图片 信息，需 要根据 不同 型号 的电线杆塔，不 同的 相机 参数 设置拍 摄参 数。航线规 划 对 无人 机巡 检的 飞行航 点和 拍照动作 进 行规 划和 设计，通过 其 生成 的航 线文 件，实现 无 人机 的 自 主飞 行 的 位置和 动作 指 引。基本流程 如 图 2 所示：图 2 航 线 规 划 基 本 流 程 Fig 2 Basic proc

16、ess of Route Planning 航线规 划根据 待 绘制 航线 的杆塔 的投 影坐标加载 与杆 塔有 关的 精细 化激光 点云 数据。然后根据 激光 点云 数据 进行 航线 的 绘制，在 绘制过程中 记录 无人 机的 飞行 航点以 及 拍 照参 数，并且在 此过 程中 可以 对规 划效果 进行 实时 的 仿真模拟，以 此对 航点 和拍 照参数 进行 调整，使得拍照 点能 满足 清晰 拍照 的要求。在 航线 绘制结束后，自动 根 据相 关的 安全距 离要 求 对 无人机进行 飞行 安全 检查，检 测航线 到杆塔 之 间的最小距离，并对 航 线的 整体 安全情 况 进 行评 估，当 不

17、符 合飞 行安 全距离 时 及时提 醒用户，保证飞行 的 安全。安 全检 查通 过后可以 将 航线 进行加密并 上传 至服 务器 并保 存。2020-4-图 3 航 线 规 划 界面截 图 Fig 3 Screenshot of Route Planning 为了提 高航 线规 划的 效率，航线 规划 系统内置了 常见 的塔 型模 板，同塔型 的航 线只 需复用模板，然 后对 航线 进行 整体的 前后、左 右、上下移 动，逆时 针、顺时 针旋转 等调 整，即可完成类 似塔 型的 航线 规划，大大 提高 了航 线规划的效 率。同时 该系 统 支 持对航点 进行 命名 并进行整体 地 导 出，导

18、出 后 的 航 点 可 以 利 用EXCEL 软件进行 编辑，提 高航点 命名 的效率，使 航点 命名 更加 标准 化、规范化。2.2 服 务器 整个服 务器 的架 构如 图 4 所示：图 4 服 务 器 架 构 Fig 4 Architecture of Server 服务器 是通 信、存储、处 理中心。服 务器采用组 件化 设计 思路，采 用基础 架构 服务 层、数据访 问层、业 务逻 辑层、应用 服务 层的 逻辑分层；服务 器采 用 Windows Server 2012 操作系统，采用 tomcat 作为 Web 服 务中 间件，采用 MySQL 作为数据 库载体；技 术选 型方 面以

19、Spring Cloud 作 为开 发框 架，前 端门 户网 站采用 Layui+JQuary 框 架 开 发，三 维 场 景 服 务 采用 Cesium 插件，整 体采 用 Maven 进行 构建；此外使 用 Nginx 的 RTMP 模块搭 建无 人机 视频流回传 服务 器、无人 机消 息回传 服务 器，使用OpenCV 进行 巡检影 像的 分析和 处理。2.3 自主 巡检 App 自主巡 检 App 是 一套 面向 电网运 维班 组的自主巡 检应用，它主 要面 向 Android 智能 手机。通过结合 RTK、网络 RTK 技术，以实 现无 人机 的厘 米级 高精 度定 位 和 导航，在

20、高 精度 的定位和导 航的 支持 下，通过 生成的 航线 实现 了 无 2020-5-人机的 自主 飞行、拍 照，解决了 无人 机巡 检中的操作 繁琐，拍 照不 规范，体力 消耗 大，巡检照片拍 摄质 量低 等问 题，减少了 巡检 过程 中的外界干 扰，有效 地提 升了 巡检效 率，提高 了巡检数据 的质 量。同 时通 过位 置 数据 回传 等功 能，使得能 远程 掌握 无人 机的 飞行位 置，第一 视角影像等 飞行 数据，为 无人 机的实 时立体 监控 提供数据 支撑。另 外通 过对 拍摄照 片的 自动 命名和 归类，可 以提 高巡检 照片 归档 效率。图 5 自 主 巡 检 App Fig

21、 5 Screenshot of App 自主巡 检 App 可以 远程 下载 服务 器中 存储的，事先 规 划好的 航线，并 将其 上 传至 无人 机，无人机 对上 传的 航线 进行 校验后，用 户可 以对巡检过 程中 的 饶 塔速 度、塔间速 度，以及 任务执行完 毕后 的动 作 等 进行 设置，在自 主飞 行 前App 将 对无 人机 的电 量、飞行模 式、存储 卡空间、GPS 卫 星个 数等 关键 信息进 行 安 全飞 行 检查，在 通过 安全 检查 后无 人机按 照航 线规 划的航点顺序，依次 到达 规划 的航点，并 在 规 定的拍照点 按照 规划 的拍 照角 度、焦 距等 对目标

22、进行拍照。在 自主 飞行 过程 中，App 左 侧会 显示巡检进 度列 表，列表 项中 会显示 任务 点的 进度索引，目标 类型，执 行状 态，及 显示 拍照 后的照片和 照片 名，无人 机每 到一个 任务 点都 会 进行语音 提示，同 时在 自主 飞行过 程中 可以 将自身的坐 标位 置实 时回 传给 服务器，并 且可 以 将第一视 角的 图传 视频 通过 RTMP 流推送 至服 务器，以此 实现 无人 机姿 态数 据的远 程实 时获 取。App 可 以通 过验 证模 式验 证航线 任务 中航点位置（经 度、纬 度、高 度）、机 头朝 向、云台俯仰角 是否 准确，在 此模 式中无 人机 不会

23、 执行拍照动 作，而是 要求 验证 人员查 看航 线是 否准确，若不准 确可 以 在 App 中对航 线进 行细微 调整。在任务 结束 后 可 以将 拍摄 的存储 在飞 机内置 SD 卡 中的 照片 下载至 App 上，App 根 据线路名称、杆 塔号、拍 摄部 位等信 息 按 照相 关标准 对照片 进行 标 准化 的命名，并 将重 命名 后的巡检成 果照 片回 传至 服务 器，实现 巡检 照片 的自动归 档与 整理，提 升巡 检 照片 整理 效率，减轻人工 后期 成果 整理 的劳 动强度。在自主 飞行 过程 中 App 可 以将生 成 高 清缩略图回 传 至 后台 服务 器，服务器 通过 卷

24、积 神经网络对 传回 的图 片进 行缺 陷检测，并 将检 测结果 实时 的反 馈 给 APP，在 自主飞 行完 成 后 App端 即可 获取 巡检 的结 果。2020-6-图 6 巡 检 结 果 Fig 6 Result of the Inspection 2.4 三维 管控 系统 三维管控 系 统的 主要 功能 为 无人 机的 立体化监控、无 人机 航线 管理 及成果 管理。立体化 监控 包括 对无 人机 的飞行 图像、轨迹及状 态进 行动态 展示。通过卫 星遥 感影 像、地形数 据以 及杆 塔点 云数 据构建 的三 维场 景，利用 RTMP 实时 回传 的无 人机实 时影 像，结合无人机

25、的实 时位 置，生成 无人机 的飞 行轨 迹，并通过 播放 器实 时播 放无 人机推 送 的 RTMP 视频流，最终 在三 维场 景中 实现对 真实 作业 场景的复现，直 观地 向用 户显 示无人 机当 前飞 行状态以及 当前 巡检 的线 路及 杆塔，实现 用户 对无人机的 全方 位、立体 化监 控。图 7 三 维 立 体 监 控 Fig 7 3D Monitoring 无人机 航线 管理：可 定位 并查看 每基 杆塔的精细 化航 线，并能 实现 模拟飞 行；结合 无人机及飞 手信 息，可实 现航 线任务 的远 程下 发，并支持 多任 务下 发，提升 作业效 率。成果管 理：可 对无 人机 巡

26、检 结果进 行展 示，也可对 飞手 的飞 行记 录进 行 统计 和显 示，以便巡检人 员 实 时掌 握无 人机 的 飞行 成果 和工 作进度。系统可 以 按 照电 压等 级、线路名 称、杆塔名称、部件 名称、拍 摄时 间等条 件对 巡检 照片进行筛 选，以实 现无 人机 巡检结 果的 管理 和查看。系 统通 过服 务器 纪录 的无人 机飞 行架 次，2020-7-可以记 录下 当时 的时 间、地点、飞行 时长、距离、高 度、飞行 速度 等信 息，同 时也 可以 统计飞行的 总时 长、总飞 行里 程、飞 行次 数、最长里程等 信息。实 现飞 行纪 录的统 计和 分析。同时可 以 根 据飞 行记

27、录，快速定 位杆 塔，并且在 杆塔 的上 拍照 部件 挂载最 近一 次的 巡检照片，点击 挂载 的巡 检照 片，可 以按 照时 间进度查看 该部 件的 历次 巡检 照片，观察 到 杆 塔部件 的变 化过 程。图 8 巡 检 历 史 照 片 Fig 8 History photos of Inspection 3.实飞验证 我们在 室外 对系 统进 行了 完整的 测试 和验证。经 过大 量人 工手 控巡 检与无 人机 自动 巡检的现场 对比，结果 如表 1 所示：表 1 手动/自 动 飞 行 用 时 对 比 Tab 1 Time Spending between manual flight an

28、d automatic flight 在同一 杆塔 下，采用 飞手 直接操 作无 人机进行拍 摄和 利用 无人 机自 主飞行 进行 拍摄，拍摄照片 的对 比如 下所 示（左侧为 人工 拍摄，右侧为自 动拍 摄），可以 看出 利用无 人机 自主 飞行可以靠 塔更 近，拍摄 的照 片更加 清晰。拍 照效果如 图 9 所示：010203040直线塔（min）耐张塔（min）时间(分钟)人工 自动 2020-8-图 9 手动/自 动 飞 行 拍 摄 照 片 对 比 Fig 9 The contrast of picture between manual flight and automatic fli

29、ght 4.结论 本文设 计了 一套 无人 机电 力巡检 系统，该系统有 效 的 针对 了现 存系 统的不 足，在满 足无人 机 巡 检 数 据 智 能 处 理 的 需 要 前 提 下，基 于RTK、RTMP、CNN 等技 术，以 此实 现了 集无人机航 线规 划、自主 飞行、三维 监控 等功 能一体的无 人机 电力 巡检 系统。该系 统能 为 无 人机巡检规 划 合 理的 巡检 路线，收集 和处 理巡 检图像信息，并 对图 像数 据进 行自动 缺陷 识别，实时显示 无人 机状 态信 息。通过 实 飞验 证该 系统可以有 效提 高无 人机 巡检 作业 质 量与 效率 并 在提升无 人机 巡检

30、的智 能化 管理水 平方面 具 有一定推广 和应 用前 景。致谢 参 考 文 献 1 周 宗 国，周 海，胡 彬，等。无 人 机 在 电 力 线 路 巡 检 中 的 应用及前景 J.科学技术创新，2018(2):164-165.2 吴 凯 东，缪 希 仁，刘 志 颖，等。基 于 泛 在 物 联 的 输 电 线 路智 能 巡 检 技 术 综 述 J.电 器 与 能 效 管 理 技 术，2020,000(003):P.1-7.3 汤明文，戴礼豪，林朝辉，et al.无人机在电力线路巡视中的应用 J.中国电力，2013(03):35-38.4 伍绍鹏。无人机在电力输电线路巡检中的应用 J.集成电路应

31、用，2020,v.37;No.320(05):128-129.5 陈 利 明，张 巍，于 虹，等。无 人 机 载 LiDAR 系统在电力线巡检中的应用 J.测绘通报，2017(S1):176-178.6 钟 映 春，孙 思 语，吕 帅，等。铁 塔 航 拍 图 像 中 鸟 巢 的 YOLOv3 识 别 研 究 J.广 东 工 业 大 学 学 报，2020,037(003):42-48.7 高 强，廉 启 旺。航 拍 图 像 中 绝 缘 子 目 标 检 测 的 研 究 J.电测与仪表，2019,056(005):119-123.8 张鸥，徐强胜，刘靖波，et al.无人机巡检图像电力小部件识别技术研究 J.科 技 创 新 导 报，2019(14).9 缪 希 仁，刘 志 颖，鄢 齐 晨。无 人 机 输 电 线 路 智 能 巡 检 技 术综述 J.福州大学学报：自然科学版，2020(2):198-209.10 刘 童 童。输 电 线 路 状 态 监 测 系 统 数 据 交 换 方 法 的 研 究 D.11 李彦冬，郝宗波，雷航。卷积神经网络研究综述 J.计算机应用，2016,36(009):2508-2515.12 戴 永 东，仲 坚，蔡 焕 青。基 于 RTK 定位技术的输电线路无 人 机 自 动 巡 检 技 术 研 究 C/全 国 输 配 电 技 术 协 作 网，2018.