1、 年 月第 卷 第 期机 床 与 液 压.：.本 文 引 用 格 式：曹 现 刚，吴 可 昕，张 梦 园，等 基 于 的 煤 矿 装 备 维 护 知 识 命 名 实 体 识 别 研 究 机 床 与 液 压，（）：，（）：收 稿 日 期：基 金 项 目：国 家 自 然 科 学 基 金 重 点 资 助 项 目（）；国 家 自 然 科 学 基 金 面 上 项 目（）作 者 简 介：曹 现 刚（），男，博 士，教 授，研 究 方 向 为 设 备 健 康 维 护 与 管 理、机 器 人 技 术、煤 矿 机 电 装 备 智 能 化。：.。通 信 作 者：吴 可 昕（），女，硕 士 研 究 生，研 究 方
2、向 为 设 备 健 康 维 护 与 管 理。：.。基 于 的 煤 矿 装 备 维 护 知 识 命 名 实 体 识 别 研 究曹 现 刚，吴 可 昕，张 梦 园，段 雍，李 鹏 飞，（.西 安 科 技 大 学 机 械 工 程 学 院，陕 西 西 安；.陕 西 省 矿 山 机 电 装 备 智 能 监 测 重 点 实 验 室，陕 西 西 安）摘 要：为 解 决 煤 矿 装 备 维 护 知 识 中 语 义 复 杂、实 体 识 别 困 难 的 问 题，以 自 建 的 煤 矿 装 备 维 护 知 识 语 料 库 为 研 究 对 象，提 出 一 种 基 于 的 煤 矿 装 备 维 护 知 识 命 名 实 体
3、 识 别 方 法。利 用 获 取 词 的 语 义、归 属 及 位 置 信 息，增 强 词 向 量 的语 义 表 征 能 力；然 后 将 词 向 量 序 列 输 入 层，获 取 上 下 文 信 息 并 提 取 长 距 离 特 征；最 后 利 用 对 序 列 标 记 进 行 合法 性 约 束；并 对 模 型 进 行 超 参 数 优 化，减 少 特 征 损 失 并 提 高 学 习 效 率。实 验 结 果 表 明：所 提 方 法 准 确 率、召 回 率 和 值 显著 提 升，分 别 达 到.、.、.，证 明 该 模 型 有 效 改 善 了 煤 矿 装 备 维 护 实 体 中 一 词 多 义 及 重 叠
4、 实 体 识 别 困 难问 题。关 键 词：煤 矿 装 备 维 护；命 名 实 体 识 别；一 词 多 义；重 叠 实 体中 图 分 类 号：，（.，；.，）：，.，.，：；前 言煤 矿 装 备 维 护 知 识 具 有 复 杂、分 散 等 特 点，存 在共 享 度 低、缺 乏 有 效 管 理 等 问 题，影 响 了 煤 矿 装 备 智能 维 护 的 效 率，制 约 了 煤 矿 智 能 化 的 发 展。一 些 学 者利 用 深 度 学 习 方 法 进 行 装 备 维 护 和 建 立 大 数 据 管理 系 统 对 装 备 维 护 知 识 进 行 管 理，这 些 系 统 提 高了 知 识 管 理 的
5、 效 率，但 缺 乏 知 识 关 系 连 接 使 得 信 息 利用 率 低，为 此，曹 现 刚 等 构 建 了 煤 矿 装 备 维 护 知 识图 谱。命 名 实 体 识 别（，）是 构 建 煤 矿 装 备 维 护 知 识 图 谱 的 关 键 技 术 之一，实 体 识 别 的 准 确 率、召 回 率、完 整 性 直 接 影 响 知识 图 谱 的 构 建 质 量。传 统 的 命 名 实 体 识 别 方 法 主 要 有 条 件 随 机 场（，）模 型、隐 马 尔 可 夫模 型（，）等，但 这 些 模型 人 工 参 与 度 高，效 果 欠 佳。随 着 深 度 学 习 的 发 展，提 出 了 命 名 实
6、 体 识 别 模型；等 提 出 了 命 名 实 体 识别 模 型，获 取 上 下 文 的 序 列 信 息；各 学 者 改 进 方 法 用 于 实 体 识 别 研 究。目 前 实 体 识别 的 研 究 在 汽 车、生 物、医 疗 等 领 域 均 有 发展。然 而 这 些 方 法 注 重 字 符 之 间 的 特 征 提 取，难 以 表征 一 词 多 义，实 体 识 别 准 确 率 较 低。为 解 决 此 问 题，等 提 出（）语 言 预 处 理 模 型 来 表 征 词向 量，生 物、化 学 等 领 域 学 者 将 它 应 用 到 领 域实 体 抽 取 研 究 中。在 目 前 研 究 中，煤 矿 装
7、 备 维 护 领 域 的 面 临诸 多 问 题 需 要 解 决：首 先，领 域 文 本 数 据 中 存 在 大 量的 技 术 词 汇、特 定 术 语 及 缩 写 等；其 次，文 本 中 存 在大 量 歧 义 文 本 及 重 叠 实 体，传 统 的 模 型 不 能 很好 地 解 决 此 类 问 题。针 对 煤 矿 装 备 维 护 领 域 研 究 面 临 的 挑 战，本 文 作 者 在 构 建 的 煤 矿 装 备 维 护 领 域 数 据 集 上 使 用 深度 学 习 方 法 进 行 研 究，探 究 如 何 在 语 义 复 杂 的领 域 数 据 环 境 下 较 好 地 实 现 模 型 构 建；针 对
8、 煤矿 装 备 维 护 领 域 数 据 集，提 出 一 种 专 用 领 域 模型 的 建 立 思 路；丰 富 词 向 量 的 模 型，获 取 长 距离 特 征 信 息 的 模 型 与 约 束 模 型 结 合 应 用于 煤 矿 装 备 维 护 命 名 实 体 识 别，改 善 一 词 多 义 及 重 叠实 体 识 别 困 难 问 题。实 验 设 计文 中 使 用 煤 矿 装 备 维 护 自 然 语 言 文 本 对 语 义 复 杂的 领 域 数 据 集 命 名 实 体 识 别 进 行 建 模 研 究。通 过 网 页爬 虫、煤 矿 装 备 维 修 手 册、维 修 案 例 库 等 获 取 煤 矿 装备
9、维 护 文 本 集 合，在 中 存 在 实 体 集 合，根 据 实体 中 字 符 开 始 和 结 束 添 加（，）标 注 信 息。依 据 煤 矿 装备 维 护 实 体 特 点，文 中 实 体 类 型 主 要 标 记 为、，分 别 表 示 煤 矿 装 备 名 称、装 备 部 件 名称、装 备 状 态 及 故 障 现 象，实 体 标 注 策 略 如 表 所示，数 据 标 注 示 例 如 表 所 示。表 实 体 标 注 策 略.实 体 类 型 起 始 标 记 中 间 标 记 结 束 标 记装 备 名 称 单 个 装 备 名 称 部 件 名 称 单 个 部 件 名 称 装 备 状 态 单 个 装 备
10、状 态 故 障 现 象 单 个 故 障 现 象 非 实 体 表 煤 矿 装 备 维 护 数 据 标 注 示 例.句 子 序 列 标 注带 式 输 送 机输 送 带 跑 偏“”“”“”“”“”“”“”“”“”“”液 压 牵 引 部产 生 异 常 声 响“”“”“”“”“”“”“”“”“”“”“”研 究 过 程 如 下：首 先 将 数 据 集 按 照 的 比例 分 成 训 练 集、验 证 集 和 测 试 集；然 后 使 用 标 注 工 具将 文 本 转 换 为 标 注 格 式，得 到 标 注 数 据 集；最 后 构 建 基 于 的 煤 矿 装 备 维 护 模 型，实现 输 入 自 然 语 句，模
11、型 抽 取 出 句 子 中 包 含 的 实 体 集合 及 各 实 体 的 实 体 类 型。煤 矿 装 备 维 护 领 域 实 体 识 别 方 法 的 实 验 流 程 如 图 所 示。其 中，数 据 预 处 理 过 程 采 用 领 域 词 典 比 对 及人 工 复 查 的 方 式 实 现；此 外，为 突 出 模 型 对 复 杂 语 义的 处 理 能 力，人 为 随 机 添 加 长 难 语 句 及 含 有 多 种 实 体的 自 然 语 句。图 实 验 流 程.机 床 与 液 压 第 卷 模 型 对 比 和 构 建.对 比 模 型为 验 证 文 中 提 出 模 型 的 有 效 性，设 计 组 对 比
12、 实验。模 型 为 模 型，利 用 进行 预 训 练，然 后 采 用 模 型 选 择 特 征 进 行 命 名 实体 识 别，获 取 静 态 词 向 量，因 此 模 型 具 有局 限 性。模 型 为 模 型，可 以充 分 利 用 词 的 上 下 文 信 息，输 出 字 的 标 签 分 值，但 不能 保 证 在 序 列 标 注 任 务 中 符 合 要 求，故 加 入 设置 约 束 条 件，保 证 标 签 合 法。模 型 为 模型，利 用 获 得 远 距 离 动 态 字 向 量 的 特 征，再 加入 对 它 进 行 分 类。.基 于 的 模 型 构 建包 含 复 杂 语 义 的 命 名 实 体 识
13、别 问 题，一 般 采 用 多特 征 融 合 嵌 入 方 法，文 中 针 对 语 义 复 杂 环 境 下 专 用 领域 数 据 集，基 于 建 模，提 出 一 种 基 于 的煤 矿 装 备 维 护 知 识 命 名 实 体 识 别 模 型。根 据 煤 矿 装 备 维 护 领 域 实 体 的 特 点，利 用 层 将 输 入 语 料 进 行 预 训 练 得 到 含 有 丰 富 语 义 特 征 的 词向 量；再 由 层 进 一 步 获 取 上 下 文 信 息；由 于 层 忽 略 了 标 签 间 的 依 赖 关 系，因 此 在 模 型 中引 入 层，来 保 证 输 出 标 签 合 法，提 高 模 型 预
14、 测的 准 确 率 和 召 回 率。模 型 主 要 分 为 三 部 分，结构 如 图 所 示。图 煤 矿 装 备 维 护 知 识 模 型.层目 前，模 型 训 练 由 于 其 考 虑 上 下 文 信息、效 果 好、速 度 快 及 通 用 性 强 的 特 点 被 广 泛 应 用 在各 种 任 务 中，但 它 作 为 一 个 静 态 的 预 训 练 模 型，不 能 解 决 词 的 多 义 性 问 题。由 于 模 型 使 用 双 向 作 为 编 码 器 预 训 练 深 度 双 向 表 示，具 有 很强 的 语 义 表 征 能 力，所 以 文 中 采 取 获 取 语 境 化的 词 向 量 来 提 高
15、实 体 识 别 性 能。模 型 主 要 进 行（）和（）任 务。通 过 随 机 掩 盖 一 些 词，模 型 根 据 上 下 文 预测 隐 藏 词 的 意 思；的 作 用 是 判 断 句 子 是 否 连 续，使 得 模 型 可 以 获 取 句 子 之 间 的 语 义 信 息。文 中，输 入 为 具 有 连 续 语 义 的 自 然 文 本，模 型 结 构 如 图 所 示。对 输 入 语 料 进 行 预 处理，首 先 通 过 分 词 处 理 得 到 分 词 的 文 本 序 列；然 后 对分 词 进 行，并 在 句 子 开 头 添 加 特 殊 标 记，句 子 间 使 用 进 行 分 割；表 示 输 入
16、句 子 中 每 个 词 的 词 向 量，通 过 得 到 每 个 词 向 量的 个 部 分：词 表 征（）表 示 词 的初 始 向 量；段 表 征（）表 示 当 前词 属 于 哪 个 句 子；位 置 表 征（）表示 当 前 词 在 句 子 中 的 位 置 索 引；然 后 将 这 些 向 量 之 和输 入 到 层 双 向 网 络 中，最 终 得 到 输 出的 词 向 量 含 有 丰 富 的 语 义 特 征。通 过 获 取 上 下 文特 征 信 息，输 出 词 向 量 包 含 词、段 及 位 置 信 息，使 得不 同 位 置 的 同 一 个 字，输 出 词 向 量 不 同，弥 补 了“一 词 一 义”的 缺 点。图 预 训 练 模 型.通 过 双 向 获 取 上 下 文 特 征 信息，再 将 训 练 好 的 模 型 进 行 微 调 使 其 性 能 获 得 提 升，但 在 长 度 超 过 字 符 的 句 子 抽 取 时 会 影 响 性 能，所以 文 中 在 的 基 础 上 加 入 层 以 增 强 模 型抽 取 性 能。第 期 曹 现 刚 等：基 于 的 煤 矿 装 备 维 护 知 识 命 名 实 体 识 别 研 究
