1、第 卷 第 期 年 月北 京 信 息 科 技 大 学 学 报.文 章 编 号:():/./.基 于 改 进 的 指 针 式 仪 表 检 测 与 读 数 识 别刘 晏 李 玉 梅 张 涛 赵 旭(.北 京 信 息 科 技 大 学 高 动 态 导 航 技 术 北 京 市 重 点 实 验 室 北 京.北 京 信 息 科 技 大 学 现 代 测 控 技 术 教 育 部 重 点 实 验 室 北 京)摘 要:针 对 巡 检 机 器 人 执 行 巡 检 任 务 时 传 统 指 针 式 仪 表 识 别 方 法 计 算 量 大、精 度 低 的问 题 提 出 一 种 深 度 学 习 与 图 像 处 理 相 结 合
2、 的 检 测 与 识 别 方 法 为 减 少 计 算 量 在 网 络 中引 入 作 为 主 干 网 络 利 用 双 向 特 征 金 字 塔 网 络()进 行 特 征 提 取 在 头 部 结 构 中 使 用 深 度 可 分 离 卷 积 减 少 网 络 参 数 量 并 使 用 损 失 函 数 提高 准 确 性 利 用 改 进 的 算 法 检 测 并 提 取 表 盘 区 域 后 采 用 语 义 分 割 模 型 分 割出 指 针 轮 廓 并 利 用 图 像 腐 蚀 技 术 降 低 噪 声 干 扰 再 把 环 形 的 指 针 轮 廓 展 开 为 矩 形 图 像 最 后 定 位 指针 相 对 刻 度 的
3、位 置 再 根 据 表 盘 刻 度 线 的 数 量 判 断 表 盘 类 型 以 获 取 表 盘 量 程 从 而 计 算 仪 表 读 数 实验 结 果 表 明 改 进 的 检 测 和 识 别 方 法 平 均 精 度 达 到 了.检 测 速 度 提 高 到.帧/读 数 识 别 的平 均 误 差 为.使 巡 检 机 器 人 能 够 快 速 准 确 地 检 测 到 指 针 式 仪 表 表 盘 并 识 别 读 数 关 键 词:指 针 式 仪 表 读 数 识 别中 图 分 类 号:文 献 标 志 码:(.):.()./.:收 稿 日 期:基 金 项 目:国 家 自 然 科 学 基 金 重 大 科 研 仪
4、器 项 目()国 家 自 然 科 学 基 金 资 助 项 目()北 京 市 教 委 科 研 计 划 科 技 一 般 项 目()中 国 石 油 天 然 气 集 团 有 限 公 司 中 国 石 油 大 学(北 京)战 略 合 作 科 技 专 项()作 者 简 介:第 一 作 者:刘 晏 男 硕 士 研 究 生 通 信 作 者:李 玉 梅 女 博 士 助 理 研 究 员 北 京 信 息 科 技 大 学 学 报 第 卷 引 言相 比 于 电 子 式 仪 表 和 数 字 式 仪 表指 针 式 仪 表 具有 数 据 稳 定、抗 干 扰 能 力 强 和 成 本 低 等 优 点 被 广 泛 应用 于 车 间、
5、电 厂 等 领 域 但 是 传 统 的 指 针 式 仪 表 读 数都 是 由 工 作 人 员 定 时、定 点 完 成 可 能 会 由 于 视 觉 疲 劳等 原 因 发 生 误 读 等 情 况 而 造 成 损 失 此 外 在 高 温、高辐 射 等 环 境 中 不 适 合 使 用 人 工 读 取 仪 表 数 据 因 此研 究 指 针 式 仪 表 检 测 与 读 数 识 别 方 法 具 有 重 要 意 义目 前 已 经 发 展 出 了 两 种 主 要 的 指 针 式 仪 表 盘定 位 算 法:基 于 机 器 视 觉 的 传 统 算 法 和 基 于 机 器 学习 或 深 度 学 习 的 先 进 算 法
6、传 统 算 法 主 要 采 用 模 板 匹 配、特 征 匹 配、霍 夫 变 换和 区 域 增 长 等 技 术 来 实 现 仪 表 盘 的 定 位 莫 文 雄 等提 出 了 一 种 基 于 模 板 匹 配 和 查 表 法 的 高 精 度 指 针 式 仪表 自 动 检 定 方 法 房 桦 等利 用 尺 度 不 变 特 征 转 换()法 提 取 图 像 中 的表 盘 区 域 然 后 对 表 盘 区 域 子 图 像 进 行 二 值 化、变换 等处 理定 位 指 针 精 确 位置 和指向 角度 从 而完 成指 针 读 数 高 嘉 巍使 用 加 速 稳 健 特 征()匹 配 方 法 定 位 仪 表 盘 等
7、提 出 了 使 用 霍 夫 变 换 定 位 仪 表 盘 并 识 别 读 数 杨 志 娟等利 用 定 向 二 进 制 描 述 符()和 累 积 直 方 图 法 对 指 针 进 行 定 位随 着 深 度 学 习 和 目 标 检 测 算 法 的 迅 速 发 展 指针 式 仪 表 检 测 与 读 数 识 别 的 研 究 也 日 益 成 熟 万 吉林 等提 出 了 基 于 目 标 检 测 结 合 图 像 分 割 技 术 的 指 针 式 仪 表 读 数 识 别 方 法李 俊 等提 出 了 先 使 用 检 测 仪 表 再 使 用 变 换 裁 剪 表 盘 区 域 然 后 经 过 拟 合 刻 度 轮 廓、细 化
8、 轮 廓 等 操 作 计 算 仪 表 读 数 解 尧 婷 等、彭 继 慎 等、张 明 路 等对 算 法 进 行 轻 量化 改 进 一 定 程 度 上 提 高 了 算 法 的 性 能为 了 加 快 检 测 速 度 提 高 识 别 准 确 率 本 文 通 过仪 表 检 测、语 义 分 割、图 像 腐 蚀、图 像 二 值 化 等 实 现了 指 针 式 仪 表 的 检 测 与 读 数 识 别 为 了 减 少 计 算量 本 文 改 进 了 算 法 来 检 测 仪 表 的 表 盘 区域 再 使 用 语 义 分 割 模 型 去 除 表 盘 区 域 字 符 的 影 响然 后 通 过 图 像 腐 蚀、图 像 二
9、 值 化 等 操 作 进 一 步 减 少噪 声 最 后 根 据 指 针 相 对 位 置 计 算 读 数 算 法 改 进 的 仪 表 检 测.改 进 策 略传 统 的 目 标 检 测 网 络 的 主 干 提 取 网络 使 用 的 是 存 在 参 数 量 较 大 的 问 题为 了 减 少 参 数 计 算 量 同 时 尽 可 能 保 证 准 确 率 本 文对 的 主 干 网 络、颈 部 结 构、头 部 结 构 以 及损 失 函 数 进 行 了 改 进 具 体 如 下:)使 用 等提 出 的 替换 作 为 主 干 网 络图 所 示 为 网 络 瓶 颈()层 结 构 由 步 长 为 和 的 两 种 结
10、构 组 成 的 网 络 将 高 度、宽 度 和 通 道 数 的 输入 特 征 发 送 到 模 块 和()注 意 力 机 制 模 块 以 产 生 输 出 特 征 和 注 意 力 图 然 后 将 两 个 模 块 的 输 出 经 过 相 乘得 到 增 强 的 特 征 发 送 到 第 二 个 模 块 以 产 生输 出 特 征图 结 构 模 块 的 结 构 如 图 所 示 对 于 输 入 特征 先 利 用 普 通 卷 积 得 到 部 分 真 实 的 特 征 然 后 利用 深 度 可 分 离 卷 积 得 到 特 征 最 后 把 真 实 的特 征 图 和 特 征 堆 叠 到 一 起 得 到 输 出 特 征
11、图图 模 块 结 构 第 期 刘 晏 等:基 于 改 进 的 指 针 式 仪 表 检 测 与 读 数 识 别 注 意 力 模 块 的 结 构 如 图 所 示 对 于 输 入特 征 通 过 在 水 平 和 垂 直 方 向 上 使 用 降 采 样 操 作 减 少特 征 的 大 小 然 后 经 过 函 数 处 理 得 到 输 出特 征图 模 块 结 构)在 颈 部 结 构 中 使 用 等提出 的 双 向 特 征 金 字 塔 网 络 替 换 结构 进 行 特 征 提 取 并 在 头 部 结 构 中 使 用 深 度 可 分离 卷 积 替 换 普 通 卷 积 的 结 构 如 图所 示图 结 构相 比 于
12、原 始 的 结 构 其 优 化 之 处 为:删 除 只 有 一 条 输 入 边 而 没 有 特 征 融 合 的节 点 在 输 入 节 点 和 输 出 节 点 间 增 加 了 一 条 额 外 的边 以 融 合 更 多 的 特 征 将 每 个 双 向(自 顶 而 下 和 自 底 而 上)路 径 视为 一 个 特 征 网 络 层 并 多 次 重 复 相 同 的 层 以 实 现 更高 级 别 的 特 征 融 合 传 统 的 特 征 融 合 多 数 是 简 单 的 叠 加使 用 的 是 带 权 特 征 融 合以 图 中 的 输 出 层 为 例 其 计 算 过 程 为()()()()式 中:为 的 中 间
13、 节 点 表 示 卷 积 操 作、分 别 为、输 入 节 点 的 权 重 为 输 出节 点 的 权 重 为 的 中 间 节 点 的 权 重 表示 上 采 样 或 下 采 样 操 作)使 用 损 失 函 数 替 换 原 有 的 以 提高 模 型 的 准 确 性原 有 的 损 失 函 数 存 在 未 考 虑 真 实 框 与 预测 框 之 间 的 方 向 的 问 题 导 致 收 敛 速 度 较 慢 改 进后 的 损 失 函 数 引 入 了 真 实 框 和 预 测 框 之 间 的向 量 角 度 重 新 定 义 相 关 损 失 函 数 具 体 包 含:)角 度 损 失 如 图 所 示 图 中:为 真 实
14、 框中 心 点()与 预 测 框 中 心 点()的 高 度 差 为 真 实 框 与 预 测 框 中 心 点 的 距 离 为 真 实 框 与 预 测 框 中 心 点 连 线 与 水 平 方 向 的 夹角 为 真 实 框 与 预 测 框 中 心 点 连 线 与 垂 直 方 向 的夹 角图 角 度 损 失角 度 损 失 定 义 如 下:()()()距 离 损 失 如 图 所 示 图 中:和 分 别为 真 实 框 和 预 测 框 最 小 外 接 矩 形 的 宽 和 高距 离 损 失 定 义 如 下:()()式中:北 京 信 息 科 技 大 学 学 报 第 卷图 距 离 损 失)形 状 损 失 定 义
15、如 下()()()()式 中:是 对 形 状 损 失 的 关 注 程 度 范 围 为()()其 中:为 预测 框 的 宽 和 高 为 真 实 框 的 宽 和 高)损 失 预 测 框 与 真 实 框 的 交 集 和 并 集 如 图 所 示图 损 失 定 义 损 失 为()综 上 所 述 最 后 定 义 损 失 函 数 为().模 型 训 练 与 测 试为 了 验 证 改 进 后 的 性 能 本 文 使 用 操作 系 统(.)框 架 为 版 本 为.进 行 实 验 收 集 了 不同 环 境、不 同 位 置、不 同 大 小 的 圆 形 指 针 式 仪 表、方 形仪 表 的 张 图 片 作 为 数 据
16、 集 进 行 标 注 训 练 训 练过 程 为 轮 迭 代 训 练 结 束 后 对、以 及 改 进 的 三 种 算 法 的 各 性 能 指 标 进 行 了 对 比三 种 算 法 的 网 络 参 数 量 对 比 如 表 所 示 改 进后 的 算 法 的 参 数 量 比 算 法 的 参 数 量 减 少 了.大 大 减 少 了计 算 量 利 于 更 快 地 检 测 指 针 式 仪 表 表 盘 位 置表 三 种 算 法 网 络 参 数 量 对 比算 法 改 进 的参 数 量 三 种 算 法 的 各 项 性 能 指 标 对 比 如 表 所 示 其中 平 均 精 度、准 确 率、召 回 率、分 数 分 别
17、 按 式()、()、()、()计 算()()式 中:为 准 确 率 为 召 回 率()式 中:为 预 测 正 确 的 仪 表 的 数 量 为 预 测 错 误的 仪 表 数 量()式 中:为 未 检 测 出 的 仪 表 数 量()表 三 种 算 法 性 能 指 标 对 比性 能 指 标 改 进 的平 均 精 度/.准 确 率/.召 回 率/.分 数/.检 测 速 度/(帧).从 表 可 以 看 出 只 修 改 主 干 网 络 为的 算 法 相 比 原 始 算 法 的 平 均 精 度 降 低 了 检 测 速 度 提 高 了.帧/虽 然 加 快 了 检 测速 度 但 是 精 度 下 降 较 多 使
18、用 本 文 提 到 的 改 进 方 法进 一 步 改 进 后 算 法 的 平 均 精 度 比 原 始 算 法 降 低 了.检 测 速 度 提 高 了.帧/在 平 均 精 度 下降 较 少 的 基 础 上 检 测 速 度 提 高 较 多 读 数 识 别.图 像 处 理.语 义 分 割经 目 标 检 测 并 裁 剪 仪 表 盘 区 域 去 除 了 外 部 环 境 的干 扰 后 仪 表 盘 内 仍 存 在 字 符 等 影 响 而 语 义 分 割 技 术可 以 有 效 去 除 表 盘 内 部 干 扰 所 以 采 用 第 期 刘 晏 等:基 于 改 进 的 指 针 式 仪 表 检 测 与 读 数 识 别
19、 等提 出 的 模 型 分 割 指 针 区 域 的指 针 像 素 从 而 获 得 精 确 的 指 针 和 刻 度 区 域 的 轮 廓 使用 第.节 训 练 好 的 模 型 进 行 目 标 检 测 并 提 取 目 标 之后 的 数 据 集 进 行 训 练 并 测 试 结 果 如 图 所 示 可 以看 到 分 割 的 指 针 和 刻 度 轮 廓 与 实 际 位 置 基 本 重 合图 检 测 结 果 及 语 义 分 割.图 像 腐 蚀由 于 指 针 和 刻 度 均 为 细 小 区 域 为 了 精 确 计 算指 针 相 对 刻 度 的 位 置 使 用 图 像 腐 蚀 技 术 处 理 经 语义 分 割
20、得 到 的 图 片 以 细 化 刻 度 线 及 指 针 从 而 减 少 噪声 干 扰 处 理 结 果 如 图 所 示图 图 像 腐 蚀 细 化 刻 度 及 指 针.环 形 变 换 及 二 值 化为 了 方 便 计 算 读 数 将 经 过 腐 蚀 后 的 图 像 中 的环 形 表 盘 转 换 为 矩 形 图 像 如 图 所 示 再 使 用 平均 值 法 设 定 阈 值 的 二 值 化 方 法 简 化 图 像 将 指 针、刻度 和 背 景 二 值 化 为 白 色 和 黑 色 像 素 如 图 所 示图 环 形 表 盘 变 矩 形图 图 像 二 值 化.读 数 计 算首 先 在 经 过 处 理 后 输
21、 出 的 图 片 中 定 位 指 针 相对 刻 度 的 位 置 再 根 据 刻 度 的 数 量 判 断 表 盘 类 型 以获 取 表 盘 量 程 最 后 根 据 指 针 的 相 对 位 置 和 量 程 通过 式()计 算 读 数()式 中:为 仪 表 读 数 为 满 量 程 对 应 刻 度 线 的 数量 为 量 程 为 指 针 相 对 刻 度 的 位 置 对 应 的 刻 度线 数 量 实 验 验 证.检 测 实 验从.节 描 述 的 数 据 集 中 选 取 张 图 片 作 为测 试 集 在 使 用 本 文 改 进 的 算 法 训 练 得 到的 权 重 文 件 基 础 上 做 测 试 部 分 测
22、 试 结 果 如 图所 示 可 以 看 出 本 文 算 法 在 检 测 仪 表 时 能 够 准 确 检测 到 仪 表 的 位 置图 指 针 式 仪 表 检 测 结 果.仪 表 读 数 实 验在 使 用 本 文 算 法 检 测 到 仪 表 表 盘 区 域 的 基 础 北 京 信 息 科 技 大 学 学 报 第 卷上 经 过 语 义 分 割、图 像 腐 蚀、环 形 变 换 矩 形 和 图 像二 值 化 操 作 后 计 算 读 数 部 分 读 数 结 果 如 图 所示 图 中 包 括 量 程 分 别 为.和 两 块指 针 式 仪 表 读 数 识 别 结 果 分 别 为.和图 仪 表 读 数 识 别
23、结 果通 过 对 读 数 结 果 与 人 工 读 数 进 行 对 比 本 文 算法 测 试 的 张 仪 表 图 片 的 读 数 识 别 平 均 误 差 约 为.平 均 识 别 耗 时.能 够 满 足 指 针 式 仪表 自 动 读 数 的 精 度 和 实 时 性 要 求 结 束 语针 对 传 统 指 针 式 仪 表 识 别 方 法 计 算 量 大、准 确性 不 高 的 问 题 本 文 研 究 了 一 种 改 进 的 指 针 式 仪 表检 测 与 读 数 识 别 算 法 改 进 的 网 络 模 型在 保 证 精 度 的 前 提 下 相 比 于 模 型 参 数 量减 少 了.检 测 速 度 提 高
24、到.帧/且 平 均精 度 达 到 了.使 用 语 义 分 割、图 像 腐 蚀、环形 变 换 为 矩 形、图 像 二 值 化 等 技 术 实 现 读 数 识 别 平均 误 差 为.平 均 耗 时.研 究 结 果 表明 本 文 提 出 的 指 针 式 仪 表 检 测 与 读 数 识 别 方 法 能够 快 速、准 确 地 实 现 仪 表 检 测 与 读 数 识 别 具 有 一 定的 实 际 应 用 价 值参 考 文 献:莫 文 雄 裴 利 强 黄 青 丹 等.基 于 模 版 匹 配和 查 表 法 的 高 精 度 指 针 式 仪 表 自 动 检 定 系统 研 制.电 测 与 仪 表():.房 桦 明
25、志 强 周 云 峰 等.一 种 适 用 于 变 电站 巡 检 机 器 人 的 仪 表 识 别 算 法.自 动 化与 仪 表():.高 嘉 巍.变 电 站 巡 检 机 器 人 智 能 读 表 方 法 研究.成 都:电 子 科 技 大 学./:.杨 志 娟 袁 纵 横 乔 宇 等.基 于 图 像 处 理 的指 针 式 仪 表 智 能 识 别 方 法 研 究.计 算 机测 量 与 控 制():.万 吉 林 王 慧 芳 管 敏 渊 等.基 于 和 的 变 电 站 指 针 式 仪 表 读 数 自动 识 别 方 法.电 网 技 术():.李 俊 袁 亮 冉 腾.基 于 的 指 针 式 仪表 自 动 检 测 和 读 数 方 法 研 究.机 电 工 程():.解 尧 婷 张 丕 状.基 于 改 进 的 输 电线 路 小 目 标 检 测.国 外 电 子 测 量 技 术():.彭 继 慎 孙 礼 鑫 王 凯 等.基 于 模 型 压 缩 的 电 力 巡 检 无 人 机 避 障 目 标 检 测 算法.仪 器 仪 表 学 报():.张 明 路 郭 策 吕 晓 玲 等.改 进 的 轻 量 化 用 于 电 子 元 器 件 检 测.电 子 测 量与 仪 器 学 报():.:/.().:/./.:/():./:.
