1、 电 子 测 量 技 术ELECTRONIC MEASUREMENT TECHNOLOGY第45卷 第23期2022年12月 DOI:10.19651/k i.emt.2210042基 于 改 进Y O L O X的 红 外 目 标 检 测 算 法*谌 海 云 余 鸿 皓 王 海 川 黄 忠 义(西 南 石 油 大 学 电 气 信 息 学 院 成 都 610500)摘 要:针 对 红 外 目 标 图 像 分 辨 率 低,缺 少 纹 理 细 节,存 在 复 杂 背 景 干 扰 导 致 检 测 精 度 低 的 问 题,提 出 一 种 基 于 改 进YOLOX的 红 外 目 标 检 测 算 法。首
2、先,设 计 了 一 种 有 效 的 空 间 通 道 混 合 注 意 力 模 块,将 其 引 入 在 特 征 提 取 主 干 网 络CSP-Da r kne t 53中,以 减 少 网 络 由 于 远 距 离 传 输 造 成 的 精 度 损 失;其 次,为 了 进 一 步 提 升 红 外 目 标 的 检 测 精 度,在 原 本加 强 特 征 提 取 网 络PANe t的 基 础 上 提 出 一 种 改 进 的 路 径 特 征 融 合 方 法;最 后,为 了 解 决 红 外 目 标 中 小 物 体 预 测 精 度低 的 问 题,在YOLOX输 出 检 测 头 处 进 行 反 卷 积 操 作 扩 大
3、 输 出 特 征 图。在FLIR红 外 公 开 数 据 集 上 进 行 实 验,实 验 结果 表 明,所 提 算 法 识 别 的 平 均 精 度 均 值(mAP)达91.00%,相 比 于 基 准YOLOX网 络 的 平 均 精 度 提 升 了5.04个 百 分点,对 于 提 升 红 外 目 标 的 检 测 精 度 是 有 效 的。关 键 词:卷 积 神 经 网 络;红 外 目 标 检 测;YOLOX;注 意 力 机 制;特 征 融 合中 图 分 类 号:TP391 文 献 标 识 码:A 国 家 标 准 学 科 分 类 代 码:520.20O bje c t d e t e c t i o
4、n a lgo r i t h m o f t h e r m a l i n f r a r e d i m age s b a s e d o n i mpr o v e d Y O L O XShen Ha i yun Yu Honghao Wang Ha i chuan Huang Zhongy i(Schoo l o f El e c t r i c a l Eng i ne e r i ng and I n f o rma t i on,Sou t hwe s t Pe t r o l eum Un i ve r s i t y,Chengdu 610500,Ch i na)A b
5、 s t r a c t:To s o l ve t he p r ob l em o f l ow r e s o l u t i on o f i n f r a r ed t a r ge t image s,l a ck o f t ex t u r e de t a i l s,and l ow de t e c t i on a c cu r a cy c aus ed by c omp l ex ba ckg r ound i n t e r f e r enc e,an i n f r a r ed t a r ge t de t e c t i on a l go r i t
6、 hm ba s ed on imp r oved YOLOX i s p r opo s ed.F i r s t,an e f f e c t i ve spa t i a l channe l mi xed a t t en t i on modu l e i s i n t r oduc ed i n t o t he f e a t u r e ex t r a c t i on ba ckbone ne two r k CSP-Da r kne t 53 t o r educ e t he a c cu r a cy l o s s o f t he ne two r k due
7、t o l ong-d i s t anc e t r ansmi s s i on;s e c ond l y,i n o r de r t o f u r t he r imp r ove t he de t e c t i on a c cu r a cy o f i n f r a r ed t a r ge t s,ba s ed on t he o r i g i na l enhanc ed f e a t u r e ex t r a c t i on ne two r k PANe t,an imp r oved pa t h f e a t u r e f us i on
8、me t hod i s p r opo s ed;f i na l l y,i n o r de r t o s o l ve t he p r ob l em o f l ow r e c ogn i t i on r a t e o f sma l l ob j e c t s i n i n f r a r ed t a r ge t s,a de c onvo l u t i on ope r a t i on i s pe r f o rmed a t t he YOLOX ou t pu t de t e c t i on-he ad t o expand t he ou t p
9、u t f e a t u r e map.Expe r imen t s a r e c a r r i ed ou t on t he FLIR i n f r a r ed pub l i c da t a s e t.The expe r imen t a l r e su l t s show t ha t t he me an Ave r age Pr e c i s i on(mAP)o f t he p r opo s ed a l go r i t hm r e c ogn i t i on r e a che s 91.00%,wh i ch i s 5.04%pe r c
10、 en t age po i n t s h i ghe r t han t ha t o f t he benchma r k YOLOX ne two r k,i t i s e f f e c t i ve t o imp r ove t he de t e c t i on a c cu r a cy o f i n f r a r ed t a r ge t s.K e y w o r d s:c onvo l u t i ona l neu r a l ne two r k;t he rma l ob j e c t de t e c t i on;YOLOX;a t t en t
11、 i on me chan i sm;f e a t u r e f us i on 收 稿 日 期:2022-05-21*基 金 项 目:智 能 电 网 与 智 能 控 制 南 充 市 重 点 实 验 室 平 台 建 设(二 期)(SXHZ053)、工 业 炸 药 智 能 仓 储 系 统 设 计 与 开 发 项 目(SXJBGS002)资 助0 引 言 红 外 热 辐 射 具 有 较 强 穿 透 雾、尘、烟 和 气 体 的 能 力 1。与 可 见 光 成 像 相 比,红 外 成 像 具 有 受 天 气 和 光 照 变 化 影 响小,可 探 测 距 离 远 等 优 点 2。红 外 热 成 像
12、技 术 因 其 独 特 的特 点 现 广 泛 应 用 于 医 疗 3、边 境 监 控 4、目 标 追 踪 5、汽 车夜 间 辅 助 驾 驶 等 领 域 6。红 外 目 标 检 测 作 为 红 外 热 成 像 的关 键 技 术 之 一,有 着 重 要 的 研 究 意 义。随 着 深 度 学 习 算 法,特 别 是 卷 积 神 经 网 络(CNN)的 不断 发 展,目 标 检 测 技 术 在 可 见 光 图 像 领 域 取 得 了 巨 大 突 破。依 赖 于 海 量 现 实 中 可 方 便 获 取 的 可 见 光 图 片 和 大 型 可 见 光数 据 集ImageNe t 7、MSCOCO 8、P
13、a s c a l VOC 9训 练 的 结果,CNN在 可 见 光 图 像 领 域 的 检 测 精 度 已 经 超 越 了 人类 10。与 之 相 比,红 外 图 像 的 成 像 波 长 长、噪 声 大、空 间 分辨 率 低、缺 乏 物 体 纹 理、色 彩 和 形 状 信 息 11。另 外,红 外 图像 现 存 的 公 开 数 据 集 较 少,无 法 像 可 见 光 图 像 那 样 在 大 型2 7 谌 海 云 等:基 于 改 进YOLOX的 红 外 目 标 检 测 算 法 第23期数 据 集 上 进 行 有 效 的 预 训 练 12。这 些 缺 点 的 存 在 使 得 基于CNN的 红 外
14、 目 标 检 测 模 型 在 进 行 特 征 提 取 时 的 效 果 表现 不 佳,红 外 目 标 的 检 测 精 度 低。如 何 提 高 红 外 目 标 检 测的 精 度 成 为 现 代 计 算 机 视 觉 领 域 需 要 解 决 的 难 题。目 标 检 测 的 任 务 是 利 用 算 法 在 图 像 中 搜 寻 感 兴 趣 区域,是 目 标 分 类 和 定 位 任 务 的 集 合 13。目 前 自 然 图 像 中 基于 卷 积 神 经 网 络 的 目 标 检 测 技 术 主 要 分 为 基 于 锚 框(ancho r-ba s ed)的 目 标 检 测 算 法 和 无 锚 框(ancho
15、r-f r e e)目标 检 测 算 法 两 种 14。基 于 锚 框 的 目 标 检 测 算 法 利 用 事 先设 置 好 的 先 验 框 对 物 体 进 行 预 测,比 如Fa s t e r R-CNN 15、Ca s c ade R-CNN 16等 两 阶 段 框 架 以 及SSD 17、Re t i naNe t 18、YOLOv3 19、YOLOv4 20、YOLOv5 21等 单阶 段 框 架。无 锚 框 目 标 检 测 算 法 不 使 用 先 验 框,而 是 采 用图 像 中 物 体 关 键 位 置 点 信 息 进 行 预 测,比 如Cen t e rNe t 22、FCOS
16、23等 框 架。近 几 年 基 于 卷 积 神 经 网 络 的 红 外 目 标 检 测 模 型 中,文献24 通 过 在VGG网 络 中 加 入 级 联 结 构 的 路 径 连 接 改 进SSD网 络 对 红 外 目 标 进 行 检 测,但 该 算 法 网 络 设 计 较 为 简单,检 测 精 度 不 高;文 献25 利 用 生 成 对 抗 网 络(GAN)和特 征 金 字 塔 网 络(FPN)相 结 合 设 计 出 一 种 跨 域 融 合 网 络 对红 外 目 标 进 行 检 测,但 该 模 型 较 为 复 杂,训 练 过 程 较 为 繁琐;文 献26 在YOLOv3网 络 中 加 入 注
17、意 力 机 制,提 出 了一 种 利 用 可 见 光 图 像 和 红 外 图 像 进 行 融 合 检 测 的 模 型,但该 算 法 需 要 配 对 的 红 外 与 可 见 光 图 片,现 实 中 难 以 获 取;文献27 提 出 一 种 改 进 的YOLOv5模 型,在 原 本CSP-Da rkne t 53网 络 中 通 过 对 浅 层 模 块 进 行 扩 展 迭 代,最 大 限度 地 利 用 红 外 图 像 中 的 浅 层 特 征 进 行 检 测,但 该 算 法 仅 对大 目 标 类 别 检 测 精 度 较 高。现 有 红 外 目 标 检 测 算 法 大 都 忽 略 了 红 外 图 像 中
18、 浅 层 的语 义 信 息,精 度 提 升 有 限。本 文 提 出 了 一 种 基 于YOLOX 28的 改 进 算 法。首 先 设 计 了 一 种 空 间 通 道 混 合 注意 力 模 块 将 其 引 入 在 特 征 提 取 主 干 网 络 中 以 减 小 网 络 由 于远 距 离 传 输 造 成 的 精 度 损 失;对PANe t 29进 行 改 进,提 出一 种 跨 路 径 特 征 融 合 方 式,增 强 特 征 提 取 提 升 检 测 精 度;通过 扩 大 检 测 特 征 输 出 图,提 升 红 外 目 标 中 小 物 体 的 检 测精 度。1 Y O L O X目 标 检 测 算 法
19、 YOLOX是 以YOLOv3作 为 基 准 模 型 的 改 进 目 标 检测 网 络,与YOLO系 列 单 阶 段 算 法 相 比 最 大 改 进 之 处 在 于将 整 个 目 标 检 测 器 变 成 了Ancho r-f r e e的 方 式 进 行 检 测,在降 低 网 络 参 数 量 的 情 况 下 提 升 了 检 测 的 精 度,在 各 大 公 开数 据 集 上 目 标 检 测 的 效 果 都 超 越 了 之 前 的YOLO系 列 算法。另 外YOLOX将 原 先YOLOv3的 检 测 头 改 为 了 类 似Re t i naNe t的 解 耦 头(de c oup l ed he
20、ad)结 构,原 本 输 出 路 径被 分 为 两 个 分 支,一 个 用 于 回 归,另 一 个 用 于 分 类。如 图1所 示 为YOLOX网 络 结 构,初 始 图 像 的 输 入 尺寸 为640640,整 体 网 络 结 构 以CSP-Da rkne t 53作 为 主 干特 征 提 取 网 络。输 入 图 像 先 进 入Fo cus网 络 进 行 特 征 提 取再 送 入 由11和33卷 积 构 成 的Conv2D_BN_S i LU模块。其 中S i LU是YOLOX网 络 中 使 用 的 激 活 函 数,代 替之 前YOLOv3的Le aky ReLu激 活 函 数。S i LU
21、函 数 可 以表 示 为y=x S i g m o i d(x)=x 11+e-x,(1)其 中,x为 输 入 张 量,y为 输 出 张 量。随 后 被 送 入4个 残 差 结 构(r e sb l o ck body)中 生 成Da rk1、Da rk2、Da rk3、Da rk4四 个 有 效 特 征 层,特 征 层 输 出尺 寸 分 别 为160160,8080,4040,2020。其 中 在Da rk4特 征 层 处 引 入 了 空 间 金 字 塔 池 化(SPP)模 块 30,用来 增 强 模 型 对 小 目 标 的 特 征 提 取。8080,4040,2020的 输 出 特 征 层
22、 被 传 入PANe t中 作 加 强 特 征 提 取,之 后 传 入3个Yo l oHe ad中 分 别 对 图 像 中 的 大 物 体、中 物 体、小 物 体进 行 预 测。2 改 进 的Y O L O X目 标 检 测 算 法2.1 L A M混 合 注 意 力 模 块 传 统 的 卷 积 层 由 于 加 入 的 卷 积 和 平 均 池 化 操 作 导 致 卷积 神 经 网 络 的 感 受 野 增 长 缓 慢,所 以 导 致 网 络 无 法 有 效 地提 取 上 下 文 特 征 信 息 31。且 卷 积 神 经 网 络 提 取 特 征 在 远距 离 传 输 的 过 程 中 会 造 成 信
23、 息 损 失 32。针 对 以 上 问 题,本文 在YOLOX的 主 干 特 征 提 取 网 络CSP-Da rkne t 53的Da rk4输 出 特 征 层 后 面 引 入 一 种 远 距 离 传 输 的 混 合 注 意 力模 块(l ong-r ange-t r ansmi s s i on a t t en t i on modu l e,LAM)。设 计 的LAM模 块 结 构 如 图2所 示。对 于 输 入 的 二 维 张 量x RH W,LAM首 先 将 张 量 沿着 水 平 和 垂 直 方 向 进 行 池 化。水 平 和 垂 直 的 池 化 窗 口 大 小分 别 为(H,1)和
24、(1,W),H和W 分 别 表 示 输 入 张 量 在 空间 位 置 的 高 度 和 宽 度。LAM在 垂 直 方 向 的 池 化 可 以 表示 为:yhi=1W0 j Wx i,j,yh RH,(2)同 样 地,水 平 方 向 的 池 化 可 以 表 示 为:yvi=1H0 j Hx i,j,yv RV,(3)由 于 水 平 和 垂 直 池 化 核 又 长 又 窄 可 以 很 容 易 的 获 取 远距 离 上 下 文 关 系,这 么 做 有 助 于 特 征 提 取 主 干 网 络 扩 大 感受 野 有 利 于 对 目 标 的 识 别。首 先,输 入 的 三 维 张 量xRC H W,C代 表
25、 通 道 数,将 输 入 张 量x输 出 为 卷 积 核 大 小 为3的 水 平 和 垂 直 两 个 方 向,用 于 调 整 图 像 当 前 位 置 信 息 和相 邻 位 置 信 息。输 出yh RC H从 水 平 方 向 获 得,输 出yv RC W从 垂 直 方 向 水 平 获 取。在 扩 大 感 受 野 后,最 后yh和yv相 加 得 到 输 出y RC H W:y c,i,j=yhc,i+yvc,j,(4)3 7 第45卷 电 子 测 量 技 术图1 YOLOX网 络 结 构图2 LAM注 意 力 模 块 结 构 最 终 的 输 出u可 以 表 示 为:u=S c a l e(x,(f
26、(y),(5)其 中,f表 示11卷 积,函 数S c a l e(.,.)代 表 逐 元 素相 乘,为S i gmo i d激 活 函 数。在 经 过 每 一 层 的 卷 积 处 理处 理 后,都 使 用 批 量 标 准 化(ba t ch no rma l i z a t i on,BN)进 行归 一 化 处 理,紧 接 着 使 用ReLU非 线 性 激 活 函 数 进 行激 活。之 后,使 用 带 状 矩 阵W k表 示LAM所 学 习 到 的 通 道 注意 力,同 时 通 过 卷 积 核 大 小 为k的 一 维 卷 积 来 实 现 通 道 间的 信 息 交 互,带 状 矩 阵W k可
27、以 表 示 为Wk=w1,1w1,k0 0 00 w2,2w2,k+10 0 0 00 0wC,C-k+1wC,C,(6)带 状 矩 阵W k包 含C C个 参 数,在 权 重 设 为z i的 情况 下,本 文 所 提 算 法 仅 考 虑z i与 其k个 邻 域 之 间 的 信 息 交互,即w i=kj=1wji zji(),zji ki,(7)其 中,ki表 示z i的k个 邻 域 通 道 集 合。带 状 矩 阵W k可 以 以 一 种 有 效 的 方 式 来 共 享 所 有 通 道 的 权 重 参 数4 7 谌 海 云 等:基 于 改 进YOLOX的 红 外 目 标 检 测 算 法 第23
28、期值,即:w i=kj=1wjzji(),zji ki,(8)这 种 有 效 的 方 式 主 要 通 过 一 组 卷 积 核 大 小 为k的 一维 卷 积 来 快 速 实 现,它 可 以 表 示 为:w=C1 D k(z)(),(9)其 中,表 示S i gmo i d激 活 函 数,C1 D表 示 快 速 一 维卷 积,它 只 包 含 了k个 信 息 参 数。在k和c之 间 存 在 一 个映 射,当 给 定 了 通 道 维 数C,卷 积 核 大 小k可 以 使 用 下面 的 公 式 进 行 计 算 得 到:k=(C)=l og 2(C)2+12 o d d,(10)其 中,|q|o d d表
29、 示 与q最 接 近 的 奇 数。在LAM中 一共 设 置 了256个 通 道 数 集 合 其 可 以 表 示 为:C=C1,C2,C3,C256,(11)最 后,通 过 卷 积 层 和 非 线 性 激 活 函 数 得 到 权 值 向 量,再 得 到 最 终 分 配 的 通 道 输 出 集 合,其 可 以 表 示 为:C-=C=C1-,C2-,C3-,C256-,(12)其 中,为 分 配 权 值。在 经 过 了LAM混 合 注 意 力 模 块 后,主 干 特 征 提 取 网络 对 图 像 的 上 下 文 特 征 信 息 有 了 有 效 的 提 取,减 小 了 网 络远 距 离 传 输 造 成
30、 的 精 度 损 失,更 能 够 提 升YOLOX网 络 的目 标 检 测 性 能。2.2 改 进 的 加 强 特 征 融 合 方 式 YOLOX中 采 用PANe t网 络 对 来 自CSP-Da rkne t 53主 干 特 征 提 取 网 络 提 取 后 的 特 征 图 做 加 强 特 征 提 取。PANe t网 络 是FPN网 络 的 改 进 体,意 在 尽 可 能 多 的 保 留图 像 原 始 浅 层 信 息,如 图3(a)所 示 在 原 本FPN结 构 只 有自 上 而 下 进 行 特 征 融 合 的 基 础 上 加 入 了 一 条 自 下 而 上 的融 合 路 径。但 是,红 外
31、 图 像 由 于 其 本 身 分 辨 率 低,色 彩 信息 不 像 可 见 光 图 片 那 样 丰 富,且 红 外 图 像 物 体 纹 理 细 节 信息 严 重 丢 失,使 用PANe t依 然 无 法 有 效 地 对 其 进 行 特 征 提取。对 此,本 文 提 出 一 种 基 于PANe t改 进 的 特 征 融 合 方式,用 来 提 高 检 测 网 络 对 红 外 图 像 底 层 特 征 的 提 取,提 高整 体 对 红 外 图 像 的 检 测 精 度。改 进 的 加 强 特 征 融 合 模 块结 构 如 图3(b)所 示。首 先,输 入 的 红 外 图 像 经 过 主 干 特 征 提
32、取 网 络 得 到4个 特 征 层,其 中 尺 寸8080、4040、2020的 特 征 层 为有 效 特 征 层 被 输 入 到 图3(a)中 的FPN主 干 网 络 中,完 成高 层 特 征 层2倍 上 采 样 后 与 低 层 特 征 层 的 自 上 而 下 特 征融 合 操 作;紧 接 着,由FPN网 络 得 到 的 三 个 尺 寸 的 特 征 融合 层P4,P3,P2进 行 低 层 特 征 层2倍 降 采 样 后 与 高 层 特 征层 自 下 而 上 的 特 征 融 合 操 作。与 此 同 时,本 文 在PANe t自上 而 下 和 自 下 而 上 的 融 合 过 程 中 加 入 了
33、一 种 跨 路 径 的 特征 融 合 方 式,如 图4所 示。来 自 自 上 而 下 路 径 的 低 层 特 征层P l通 过2倍 降 采 样 操 作 后 与 来 自 自 下 而 上 路 径 的 高 层特 征 层N h进 行 堆 叠,堆 叠 过 后 经11卷 积 调 整 通 道。经图3 改 进 的 加 强 特 征 融 合 模 块 结 构过 跨 路 径 特 征 融 合 后,红 外 图 像 的 高 层 特 征 信 息 与 低 层 特征 信 息 有 了 交 互,更 有 助 于 提 高 检 测 精 度。图4 跨 路 径 特 征 融 合 方 式2.3 扩 大 输 出 特 征 图 为 了 能 够 更 好
34、的 对 红 外 图 像 中 的 小 目 标 进 行 预 测,本文 对YOLOX的 解 耦 头 结 构 进 行 改 进,如 图5所 示。图5 改 进YOLOX解 耦 头 结 构该 改 进 的 做 法 是 对 两 个 经 过 了33卷 积 的 分 支 采 用特 征 图 反 卷 积,反 卷 积 模 块 大 小 为11。此 时 最 后 特 征 图输 出 的 尺 寸 都2,即 原 本 输 出2020、4040、8080的特 征 图 现 扩 大 为4040、8080、160160,最 后 红 外 图 像的 预 测 原 理 如 图6所 示,其 中t x、t y、t w、t h、t h分 别 代 表 预测 框
35、 的 横 坐 标、纵 坐 标、宽 度 和 高 度,C l s表 示 物 体 预 测 的类 别,O b j表 示 要 预 测 的 图 片 中 是 否 含 有 需 要 检 测 的 类5 7 第45卷 电 子 测 量 技 术 图6 红 外 图 像 预 测 原 理别。经 过 扩 大 特 征 图 操 作 网 络 能 够 预 测 出 更 多 的 目 标 框,并 且 能 够 很 好 的 解 决 红 外 图 像 中 小 目 标 的 预 测 问 题。2.4 改 进 的 网 路 结 构 本 文 通 过 对YOLOX算 法 的 检 测 模 块 进 行 改 进,在 不 加入 额 外 参 数 量 的 情 况 下 完 成
36、 了 对 红 外 目 标 检 测 精 度 的 提 升,本 文 将 所 提 网 络 命 名 为YOLOX-TI(t h e rma l ima g e,YOLOX),如 图7所 示。YOLOX-TI在 主 干 特 征 提 取 网 络 中加 入 了LAM模 块,能 够 很 好 的 捕 捉 上 下 文 信 息,减 少 网 络 由于 远 距 离 传 输 造 成 的 精 度 损 失;对 原 本PANe t网 络 进 行 改 进,采 用 提 出 的 跨 路 径 融 合 方 式,将 浅 层 信 息 与 高 层 信 息 进 行 特征 融 合,有 效 提 高 红 外 目 标 检 测 精 度;将 输 出 检 测
37、头 进 行 反 卷积 操 作,扩 大 特 征 图,提 高 对 红 外 图 像 中 小 目 标 的 检 测 精 度。图7 所 提 网 络 结 构3 实 验 结 果 与 分 析3.1 实 验 数 据 集 本 文 采 用FLIR 33红 外 公 开 数 据 集 进 行 实 验。FLIR数 据 集 包 含12 886张 尺 寸 为640512的 红 外 图 像,其 中10 228张 图 像 有 目 标 框 标 注 信 息,包 括31 242个 行 人(pe r s on)类 别 实 例,61 763个 车 辆(c a r)类 别 实 例 和4 757个 自 行 车(b i c y c l e)类 别
38、实 例。数 据 集 中 红 外 图 像 拍 摄 来 源自 美 国 加 利 福 尼 亚 州 的 圣 达 芭 芭 拉 市 的 街 道 和 高 速 公 路,所 有 红 外 图 像 均 采 用FLIR Tau2红 外 车 载 摄 像 头 进 行 拍摄 获 得,其 中 大 约60%(6 136)的 图 片 在 白 天 拍 摄 获 得,大约40%(4 092)的 图 片 是 在 夜 间 拍 摄 获 得。由 于YOLOX网 络 对 输 入 图 像 尺 寸 的 限 制 34,实 验 将 原 本 数 据 集 图 片 的大 小 拉 伸 至640640进 行 输 入,在 高 度 方 向 上 对 图 片 进 行空 白
39、 扩 充,并 不 会 影 响 图 片 中 物 体 的 大 小。实 验 过 程 中 将FLIR数 据 集 按 照72:1的 比 例 划 分 训 练 集、验 证 集 和 测试 集。3.2 实 验 平 台 及 实 验 设 置 细 节 本 文 实 验 均 在DELL的Pr e c i s i on 5820 Towe r X-Se r i e s服 务 器 上 完 成。操 作 系 统 为Wi ndows 10专 业 版,6 7 谌 海 云 等:基 于 改 进YOLOX的 红 外 目 标 检 测 算 法 第23期CPU型 号 为I n t e r(R)Co r e(TM)i 9-10900X CPU,主
40、 频 大 小3.70 GHz,GPU采 用NVIDIA GeFo r c e RTX3090,显 存 大小 为24 GB,内 存 大 小 为64 GB,硬 盘 容 量 为2 TB。实 验 使用Py t hon3.8语 言 进 行 编 程 和 测 试,选 用 深 度 学 习 框 架Py t o r ch,版 本 为1.8.0,CUDA版 本 为11.5,cuDNN版 本为8.0.5。训 练 过 程 中,使 用 标 准Adam优 化 器 对 网 络 参 数 进 行优 化,权 重 衰 减 率 为0.9。共 计 训 练100轮,ba t ch s i z e设 为16,初 始 学 习 率 为0.001
41、,设 置 每 训 练5轮 的 学 习 率 衰 减 为0.01。训 练 分 为 冻 结 阶 段 和 解 冻 阶 段,设 置 前50轮 的 训 练为 冻 结 阶 段,此 时 网 络 的 主 干 部 分 被 冻 结,特 征 提 取 网 络的 参 数 不 会 发 生 变 化。之 后50轮 为 解 冻 训 练 阶 段,此 时网 络 的 主 干 部 分 不 再 被 冻 结,网 络 的 所 有 参 数 都 会 发 生 变化。训 练 过 程 中 使 用 马 赛 克(Mo s a i c)数 据 增 强 方 式,即 将4张 图 片 进 行 比 例 缩 放 后 拼 接 在 一 起 来 丰 富 检 测 物 体 的
42、种类,在YOLOX-TI网 络 的 训 练 过 程 中 前85轮 开 启Mo s a i c数 据 增 强,最 后15轮 关 闭。为 了 使YOLOX网 络 模 型 能够 快 速 学 习 到 有 用 参 数,在 开 始 训 练 前 使 用 在COCO-Tr a i n2017上 预 训 练 的 权 重 对YOLOX进 行 初 始 化。3.3 网 络 模 型 评 价 指 标 YOLOX-TI红 外 目 标 检 测 算 法 使 用 平 均 精 确 率(AP)、平 均 精 度 均 值(mAP)和 检 测 速 度 作 为 网 络 模 型 的评 价 指 标。其 中AP指 的 是 利 用 不 同 置 信
43、度 得 出 不 同 查 准率(Pr e c i s i on)和 召 回 率(Re c a l l),计 算 这 些 不 同Pr e c i s i on和Re c a l l所 围 成 平 面 曲 线 的 面 积。其 中Pr e c i s i on表 示 为分 类 器 认 为 是 正 类 并 且 最 后 预 测 确 实 是 正 类 的 部 分 占 所有 分 类 器 认 为 是 正 类 的 比 例,其 计 算 表 达 式 如 下:P r e c i s i o n=F T PF T P+F F P100%,(13)式 中:F T P表 示 红 外 图 像 中 正 确 识 别 该 类 别 的
44、个 数;F F P表示 红 外 图 像 中 非 当 前 需 要 识 别 的 类 别 识 别 当 前 需 要 识 别类 别 的 个 数。Re c a l l表 示 分 类 器 认 为 是 正 类 且 最 后 预 测 确实 是 正 类 占 所 有 确 实 是 正 类 的 比 例,其 计 算 表 达 式 如 下:R e c a l l=F T PF T P+F F N100%,(14)式 中:F F N表 示 未 被 识 别 出 的 红 外 图 像 类 别 个 数。一 般,以Re c a l l为 坐 标x轴,Pr e c i s i on为 坐 标y轴 绘 制Pr e c i s i on-Re
45、c a l l(PR)曲 线,所 围 成 曲 线 的 面 积 即 为AP值,对 于 连 续 的PR曲 线,AP计 算 公 式 如 下:F A P=10P(R)d R,(15)式 中:P(R)表 示Re c a l l(R)关 于Pr e c i s i on(P)的 函 数。一般 来 说 当AP值 越 高,表 示 网 络 模 型 的 分 类 效 果 越 好。平均 精 度 均 值(mAP)是 为 了 衡 量 网 络 模 型 在 进 行 多 分 类 任务 时 提 出 的 指 标,是 所 有 类 别 的AP值 叠 加 再 求 平 均,用 来评 估 一 个 模 型 识 别 性 能 在 整 个 红 外
46、数 据 集 上 的 好 坏,mAP计 算 公 式 如 下:F m A P=1Nc=Nc=1F A P(c)(16)式 中:F A P(c)表 示 类 别c的A P值,N表 示 总 类 别 数。本 文 使 用 标 准PASCAL-VOC评 价 指 标,即 预 测 框 与真 实 框 的I oU0.5时 的 预 测 概 率 对FLIR红 外 图 像 数 据集 进 行 评 估。检 测 速 度 是 以 网 络 模 型 在 单 位 时 间 每 秒 内 能 够 检 测的 图 片 数 量 进 行 评 估 的,其 单 位 是f r ame/s。3.4 实 验 结 果 与 分 析 1)实 验 结 果实 验 中 使
47、 用8 865张 红 外 图 像 作 为 训 练 集,2 998张 图像 作 为 验 证 集,1 023张 图 像 作 为 测 试 集,输 入 尺 寸 大 小 均为640640,YOLOX-TI训 练 过 程 中,训 练 和 验 证 损 失 变化 曲 线 如 图8所 示。前50轮 由 于 冻 结 了 主 干 网 络 进 行 训练,模 型 损 失 较 大,50轮 后 进 行 解 冻 训 练,模 型 所 有 结 构 学习 到 有 用 参 数,损 失 值 在50轮 左 右 迅 速 下 降,到100轮 损失 值 逐 渐 收 敛。图8 训 练 和 验 证 损 失 曲 线共 计 训 练100轮 后,在 测
48、 试 集 上 进 行 测 试,计 算pe r s on、c a r、b i c y c l e三 个 类 别 的AP值,得 到3个 类 别 的P-R曲 线 如 图9(a)(c)所 示。结 果pe r s on类 别 获 得 了92.99%的AP值,c a r类 别 获 得 了93.44%的AP值,b i c y c l e类 别 获 得 了86.56%的AP值。最 终 计 算3个 类 别的mAP值,如 图9(d)所 示,得 到91.00%的 平 均 精 度均 值。2)YOLOX-TI与 其 他 目 标 检 测 模 型 的 定 量 结 果 比 较将 本 文 所 提 出 的 红 外 目 标 检 测
49、 模 型YOLOX-TI与 其他 的 先 进 目 标 检 测 算 法 在FLIR数 据 集 上 的 检 测 结 果 做 定量 比 较 分 析,结 果 如 表1所 示,粗 体 代 表 该 项 性 能 对 比 在所 有 模 型 中 最 高。所 对 比 的 模 型 有 原 始YOLOX网 络;基 于Ancho r-ba s ed的 两 阶 段 经 典 检 测 模 型Fa s t e r R-CNN和Ca s c ade R-CNN;单 阶 段 检 测 模 型 有YOLOv3、YOLOv 4、YOLOv5、SSD和Re t i naNe t;基 于Ancho r-f r e e的 检 测 模 型有Ce
50、n t e rNe t、FCOS和 原 始YOLOX。从 表1可 以 看 出,与 两 阶 段 模 型Fa s t e r R-CNN和Ca s c ade R-CNN相 比,YOLOX-TI在 各 类AP、mAP和 检 测 速 度 上 都 优 于 前 者,7 7 第45卷 电 子 测 量 技 术图9 各 类AP值 以 及mAP值 计 算 可 以 同 时 满 足 对 红 外 图 像 的 高 精 度 检 测 和 实 时 检 测;Cen t e rNe t、FCOS在 红 外 图 像 上 的 检 测 效 果 要 高 于 两 阶 段模 型,且 因 为 基 于Ancho r-f r e e的 模 型 减
