1、h t t p:/www.j s j kx.c omDOI:10.11896/j s j kx.220300054到 稿 日 期:2022-03-07 返 修 日 期:2022-08-16基 金 项 目:国 家 自 然 科 学 基 金(61703252,62076154,62276161,U21A20513);山 西 省 重 点 研 发 项 目(202102150401013)Th i swo rkwa ssuppo r t edbyt heNa t i ona lNa t ur a lSc i enc eFounda t i ono fCh i na(61703252,62076154,62
2、276161,U21A20513)andKeyRe s e a r chandDeve l opmen tPr og r amo fShanx iPr ov i nc e(202102150401013).通 信 作 者:王 文 剑()融 合 边 缘 增 强 与 多 尺 度 注 意 力 的 皮 肤 病 变 分 割白 雪 飞1靳 智 超1王 文 剑1,2马 亚 楠11山 西 大 学 计 算 机 与 信 息 技 术 学 院 太 原0300062计 算 智 能 与 中 文 信 息 处 理 教 育 部 重 点 实 验 室(山 西 大 学)太 原030006(ba i xue f e)摘 要 皮 肤 病
3、 变 形 状、颜 色、大 小 类 型 多 样,给 皮 肤 病 变 的 准 确 分 割 带 来 了 巨 大 挑 战。针 对 这 一 问 题,提 出 了 一 种 融 合 边 缘 增强 与 多 尺 度 注 意 力 的 皮 肤 病 变 分 割 网 络(BEMAU-Ne t)。该 网 络 包 含 一 个 用 于 提 取 全 局 特 征 的 空 间 多 尺 度 注 意 力 模 块 和 一 个用 于 增 强 病 变 区 域 边 缘 特 征 的 边 缘 增 强 模 块,将 两 种 模 块 添 加 到 以 编 码 解 码 结 构 为 主 干 的 网 络(U-Ne t)中,能 够 有 效 抑 制 病 变图 像 中
4、 背 景 噪 声 的 干 扰 并 强 化 病 灶 的 边 缘 细 节。此 外,设 计 了 混 合 损 失 函 数,结 合Di c eLo s s和Bounda r yLo s s,并 在 训 练 过 程中 实 现 混 合 损 失 函 数 的 动 态 权 重 调 整,使 网 络 对 病 变 图 像 整 体 特 征 和 边 缘 细 节 特 征 的 提 取 进 行 多 重 监 督,缓 解 了 皮 肤 病 变 图 像分 割 中 毛 发 干 扰 和 边 缘 模 糊 的 问 题。在I S IC2017和I S IC2018两 个 公 开 数 据 集 上 的 实 验 结 果 表 明,所 提 算 法 对 皮
5、肤 病 变 部 位的 分 割 图 像 边 缘 连 续、轮 廓 清 晰,具 有 更 好 的 分 割 效 果。关 键 词:皮 肤 病 变 分 割;空 间 多 尺 度 注 意 力;全 局 特 征;边 缘 增 强;U-Ne t中 图 法 分 类 号 TP391 S k i n L e s i o n S e g m e n t a t i o n C o m b i n i n g B o u n d a r y E n h a n c e m e n t a n d M u l t i-s c a l e A t t e n t i o nBAIXue f e i1,J INZh i chao1,W
6、ANGWen j i an1,2andMAYanan11Schoo lo fCompu t e randI n f o rma t i onTe chno l ogy,Shanx iUn i ve r s i t y,Ta i yuan030006,Ch i na2KeyLabo r a t o r yo fCompu t a t i ona lI n t e l l i genc eandCh i ne s eI n f o rma t i onPr o c e s s i ngo fMi n i s t r yo fEduc a t i on(Shanx iUn i ve r s i t
7、y),Ta i yuan030006,Ch i naA b s t r a c t I nv i ewo ft heva r i oust ype so fsk i nl e s i onsi nshape,c o l o rands i z e,wh i chpo s eahugecha l l enget ot hea c cu r a t es eg-men t a t i ono fsk i nl e s i ons,ask i nl e s i ons egmen t a t i onne two r kt ha tc omb i ne sbounda r yenhanc emen
8、tandmu l t i-s c a l ea t t en t i oni sp r opo s ed(BEMAU-Ne t).I tc ons i s t so ftwomodu l e s,onei sc a l l edspa t i a lmu l t i-s c a l ea t t en t i onmodu l e,wh i chi sus edt oex t r a c tspa t i a lg l oba lf e a t u r e s,andt heo t he ri sc a l l edbounda r yenhanc emen tmodu l e,wh i ch
9、i sus edt oenhanc et heedgef e a t u r e so ft hel e-s i ona r e a.BEMAU-Ne taddst hetwomodu l e st ot heU-Ne tne two r kwi t henc od i ngandde c od i ngs t r uc t u r e,wh i chc ane f f e c t i ve l ysupp r e s st hei n t e r f e r enc eo fba ckg r oundno i s ei nt heimageo fl e s i onsandenhanc et
10、 heedgede t a i l so fl e s i ons.I nadd i t i on,t hemi xedl o s sf unc t i oni sde s i gned,Di c el o s sandBounda r yl o s sa r ec omb i ned,andt hedynami cwe i gh tad j us tmen to ft hemi xedl o s sf unc t i oni sr e a l i z edi nt het r a i n i ngp r o c e s s,s ot ha tt hene two r kc ou l dc a
11、 r r you tmu l t i p l esupe r v i s i onont heex t r a c t i ono ft heove r-a l lf e a t u r e sandedgede t a i l so ft hepa t ho l og i c a limage s,andt hep r ob l emso fha i ri n t e r f e r enc eandedgeb l u ri nt hes egmen t a t i ono fsk i npa t ho l og i c a limage sa r ea l l e v i a t ed.E
12、xpe r imen t a lr e su l t sonI S IC2017andI S IC2018pub l i cda t as e t sshowt ha tt hep r opo s eda l go r i t hmha sbe t t e rs egmen t a t i one f f e c tf o rsk i nl e s i onswi t hc on t i nuousedge sandc l e a rc on t ou r s.K e y w o r d s Sk i nl e s i ons egmen t a t i on,Spa t i a lmu l
13、t i-s c a l ea t t en t i on,Gl oba lf e a t u r e,Bounda r yenhanc emen t,U-Ne t 1 引 言皮 肤 癌 源 于 皮 肤 细 胞 的 基 因 突 变,其 中,恶 性 黑 色 素 瘤 是最 为 致 命 的 皮 肤 癌 形 式 1。在 过 去 的40年 中,黑 色 素 瘤 在 欧洲、北 美 和 大 洋 洲 的 白 种 人 中 增 长 速 度 快 于 其 他 任 何 癌 症,而在 全 球 范 围 内,黑 色 素 瘤 是 第20大 最 常 见 的 癌 症 2。研 究表 明,早 期 黑 色 素 瘤 在5年 内 的 存 活 率
14、 可 达98%,而 晚 期 黑色 素 瘤 的 存 活 率 仅 为17%3,因 此 对 皮 肤 病 变 的 早 期 干 预 显得 尤 为 重 要。对 皮 肤 病 变 的 诊 断 通 常 需 要 专 业 医 生 对 皮 肤 镜图 像 进 行 分 析,但 皮 肤 病 变 的 多 样 性 给 人 工 诊 断 造 成 了 巨 大的 困 难。在 过 去 几 十 年 中,各 种 计 算 机 辅 助 皮 肤 病 变 分 割 算法 的 出 现 大 大 减 轻 了 医 生 的 诊 疗 难 度。目 前,皮 肤 病 变 分 割 算 法 可 分 为 两 类。第 一 类 是 传 统 分割 算 法,如 基 于 阈 值 4、
15、基 于 边 缘 5和 基 于 区 域 合 并 的 分 割 算法 6等。其 中,前 两 种 算 法 计 算 简 单、运 算 效 率 较 高、速 度 快,但 是 对 噪 声 很 敏 感。皮 肤 病 变 图 像 中 的 毛 发 和 人 工 标 注 很 容易 影 响 到 病 变 分 割 的 精 度。基 于 区 域 合 并 的 分 割 算 法 能 够 较好 地 提 取 出 病 变 区 域 的 特 征,但 是 容 易 造 成 图 像 的 过 分 割。此 外,在 学 习 或 感 知 病 变 图 像 特 征 时,这 些 传 统 方 法 很 难 将 大量 的 历 史 数 据 应 用 于 学 习 过 程 中,导
16、致 病 理 诊 断 存 在 局 限 性。第 二 类 是 基 于 深 度 学 习 的 皮 肤 病 变 分 割 算 法,尤 其 是 近年 来,由 于 卷 积 神 经 网 络 可 以 从 原 始 皮 肤 镜 图 像 数 据 中 自 动学 习 到 多 种 特 征,因 此 其 在 皮 肤 病 变 分 割 任 务 中 取 得 了 突 破性 进 展,分 割 精 度 和 鲁 棒 性 均 优 于 传 统 算 法。She l hame r等 7首 次 提 出 了 全 卷 积 神 经 网 络(Fu l l yConvo l u t i ona lNe t-wo r ks,FCN),之 后Yuan等 8基 于FCN实
17、 现 了 端 到 端 的 皮肤 病 变 像 素 级 分 割,省 去 了 传 统 算 法 中 的 预 处 理 过 程,但 是 它没 有 利 用 好 全 局 上 下 文 信 息,无 法 将 浅 层 和 深 层 特 征 进 行 结合,提 取 特 征 的 能 力 欠 佳。J i ang等 9提 出 了 一 种 结 合 注 意 力机 制 的 残 差 卷 积 网 络(CSARM-CNN),该 网 络 通 过 整 合 空 间注 意 力 机 制 和 通 道 注 意 力 机 制 来 丰 富 特 征 表 示,对 图 像 中 的手 工 标 注 和 噪 声 具 有 较 好 的 鲁 棒 性,但 是 大 多 数 注 意
18、力 机 制只 专 注 于 局 部 特 征,特 征 之 间 的 相 关 度 较 小,忽 视 了 病 变 图 像全 局 特 征 中 的 颜 色、纹 理 和 形 状 特 征。如 何 提 取 并 融 合 全 局 和 局 部 上 下 文 信 息 以 实 现 皮 肤 病 变部 位 的 精 准 分 割,一 直 是 基 于 深 度 学 习 的 分 割 网 络 设 计 任 务的 难 点 之 一。2015年,Ronnebe r ge r等 10提 出 了 具 有 编 码-解码 结 构 的U-Ne t,该 网 络 对 小 数 据 集 和 复 杂 背 景 皮 肤 病 变 图像 都 表 现 出 了 较 好 的 分 割
19、效 果,在 生 物 医 学 图 像 分 割 领 域 得到 了 广 泛 的 应 用。此 后 的 许 多 研 究 工 作 延 续 了U-Ne t编 解码 结 构 和 跳 跃 连 接 的 核 心 思 想,通 过 加 入 新 的 模 块 达 到 了 更优 的 分 割 性 能。Sa r ke r等 11将 扩 展 残 差 网 络 和 一 个 金 字 塔合 并 模 块 结 合 在 一 个 编 码 器 中,通 过 空 洞 卷 积 的 级 联 来 获 取多 尺 度 特 征,但 是 单 个 模 块 对 复 杂 的 黑 色 素 瘤 图 像 的 分 割 精度 还 有 待 提 高。Az ad等 12提 出 了 一 种
20、 密 集 卷 积 网 络(BCDU-Ne t),该 网 络 将 多 个 密 集 块 叠 加 在 一 起 以 提 高 网 络 提取 特 征 的 能 力,但 是 密 集 连 接 仅 在 分 辨 率 最 小 的 最 后 一 个 卷积 层,而 该 卷 积 层 中 所 包 含 的 病 变 部 位 边 缘 细 节 特 征 较 少。As ad i-Aghbo l agh i等 13基 于BCDU-Ne t提 出 密 集 门 控 卷 积网 络(MCGU-Ne t),该 网 络 在 解 码 路 径 中 添 加 了 压 缩 激 励 模块,更 好 地 利 用 了 全 局 特 征。Tong等 14提 出 了 门 控
21、注 意 力网 络(ASCU-Ne t),该 网 络 利 用 注 意 力 门 自 适 应 调 整 注 意 力,可 以 关 注 到 图 像 中 不 同 形 状 和 尺 度 的 皮 肤 病 变 部 位。MCGU-Ne t和ASCU-Ne t的 新 模 块 均 添 加 在 解 码 路 径 中,较好 地 整 合 了 图 像 的 全 局 特 征,但 仍 未 解 决 编 码 过 程 中 特 征 图分 辨 率 逐 渐 减 小 导 致 的 细 节 特 征 丢 失 的 问 题,皮 肤 病 变 图 像的 分 割 结 果 中 毛 发 和 人 工 标 注 等 干 扰 信 息 仍 然 存 在。Jha等 15提 出 了 一
22、 种 两 个U-Ne t体 系 结 构 相 互 叠 加 的 组 合 网 络(Doub l eU-Ne t),通 过 叠 加 网 络 实 现 特 征 信 息 的 传 递 与 互 补,但 是 该 网 络 没 有 针 对 病 变 图 像 存 在 的 边 缘 模 糊 问 题 进 行 特 征处 理,无 法 避 免 过 多 冗 余 特 征 传 递 的 问 题。为 了 改 善 分 割 结 果 边 缘 模 糊 的 问 题,Al i等 16提 出 了一 种 两 阶 段 的 皮 肤 病 变 分 割 算 法,使 用U-Ne t分 割 之 后 再对 结 果 进 行 边 缘 提 取。Chakka r ava r t h
23、y等 17提 出 了 多 步骤 的 皮 肤 病 变 解 剖 区 域 自 动 分 割 算 法,在 分 割 之 后 使 用Canny边 缘 检 测 算 法 等 后 处 理 过 程 来 细 化 提 取 结 果。但 这些 后 处 理 过 程 加 大 了 对 计 算 资 源 的 消 耗,导 致 计 算 复 杂 度增 加。针 对 现 有 算 法 中 存 在 的 问 题,本 文 提 出 了 一 种 融 合 边 缘增 强 与 多 尺 度 注 意 力 的 皮 肤 病 变 分 割 算 法(Bounda r yEn-hanc emen tandMu l t i-s c a l eAt t en t i onU-Ne
24、 t,BEMAU-Ne t)。该 算 法 将 病 变 部 位 的 整 体 定 位、分 割 任 务 和 边 缘 增 强 任 务 相结 合,在 获 得 多 尺 度 全 局 特 征 的 同 时 强 化 边 缘 细 节。本 文 的 主 要 贡 献 包 括 以 下4个 方 面:(1)提 出 了 一 个 空 间 多 尺 度 注 意 力 模 块,首 先 使 用 空 洞 卷积 获 得 多 个 感 受 野 下 的 特 征,再 利 用 残 差 连 接 思 想 设 计 注 意力 分 支,对 空 间 特 征 显 著 区 域 赋 以 更 大 的 权 值 进 行 增 强,有 效降 低 了 图 像 噪 声 对 分 割 结
25、果 的 影 响。(2)提 出 了 一 个 边 缘 增 强 模 块,针 对 复 杂 皮 肤 病 变 图 像 边缘 模 糊 的 问 题,对 富 含 边 缘 细 节 特 征 的 网 络 浅 层 特 征 图 进 行边 缘 增 强,从 而 进 一 步 提 升 了 分 割 精 度。(3)设 计 了 混 合 损 失 函 数,在 网 络 训 练 过 程 中,通 过 动 态调 整 混 合 损 失 函 数 权 重,使 得 网 络 在 训 练 前 期 专 注 于 病 变 部位 的 整 体 定 位,在 训 练 后 期 将 重 点 放 在 边 缘 细 节 的 维 护 上。(4)在I S IC2017和I S IC201
26、8两 个 公 开 数 据 集 上 的 实 验结 果 验 证 了 本 文 算 法 的 有 效 性。空 间 多 尺 度 注 意 力 模 块 能 够有 效 地 区 分 病 变 图 像 的 前 景 与 背 景,边 缘 增 强 模 块 能 够 有 效增 强 特 征 图 的 边 缘 细 节 特 征,提 高 分 割 精 度。2 本 文 工 作2.1 融 合 边 缘 增 强 与 多 尺 度 注 意 力 的 皮 肤 病 变 分 割 网 络(B E M A U-N e t)本 文 提 出 了 一 种 融 合 边 缘 增 强 与 多 尺 度 注 意 力 的 皮 肤 病变 分 割 网 络(BEMAU-Ne t),如
27、图1所 示。网 络 主 体 采 用 编码-解 码 结 构,根 据 特 征 图 分 辨 率 由 大 到 小 的 顺 序,将 左 侧 编码 层 分 为3层,通 过 多 个 卷 积 层 捕 捉 病 变 图 像 中 的 上 下 文 信息 并 提 取 图 像 特 征。在 此 过 程 中,特 征 图 的 分 辨 率 随 着 网 络深 度 的 增 加 逐 渐 减 小,卷 积 核 遍 历 特 征 图 所 需 的 运 算 量 也 随之 减 小,而 感 受 野 随 之 增 大。同 时,特 征 通 道 数 由64逐 渐 增加 到512,提 高 了 网 络 的 特 征 提 取 能 力。为 了 增 强 网 络 的 泛化
28、 能 力 并 加 快 训 练 速 度,BEMAU-Ne t在 整 个 网 络 的 每 一 次卷 积 操 作 之 后 添 加 了 批 标 准 化 操 作(Ba t chNo rma l i z a t i on)18对 特 征 图 进 行 归 一 化 处 理。网 络 右 侧3层 为 解 码 阶 段,每 经过 一 次 反 卷 积 操 作(Up-Conv),特 征 通 道 数 量 减 半,特 征 图 的分 辨 率 加 倍,以 此 来 恢 复 特 征 信 息。编 码-解 码 网 络 在 下 采 样 过 程 中 丢 失 的 特 征 信 息 无 法 通过 上 采 样 过 程 完 全 恢 复,因 此,本 文
29、 在 编 码 阶 段 每 一 层 的 最 后添 加 了 空 间 多 尺 度 注 意 力 模 块(Spa t i a lMu l t i-s c a l eAt t en t i onModu l e,SMAM),从 多 个 尺 度 提 取 病 变 部 位 的 空 间 特 征,并级 联 到 与 之 对 称 的 上 采 样 层。其 次,考 虑 到 皮 肤 病 变 图 像 本身 边 缘 模 糊,以 及 网 络 的 深 层 包 含 的 特 征 信 息 更 加 抽 象,为 了获 得 更 多 在 浅 层 的 边 缘 特 征 信 息,本 文 在 编 码 结 构 的 浅 层7 9白 雪 飞,等:融 合 边 缘
30、 增 强 与 多 尺 度 注 意 力 的 皮 肤 病 变 分 割添 加 了 边 缘 增 强 模 块(Bound a r yEnh a n c eme n tModu l e,BEM),以 强 化 病 变 区 域 的 边 缘 细 节。图1 BEMAU-Ne t 结 构F i g.1 BEMAU-Ne ta r ch i t e c t ur e2.2 空 间 多 尺 度 注 意 力 模 块(S M A M)全 局 特 征 在 皮 肤 病 变 的 精 确 分 割 中 起 着 重 要 作 用。文 献1 9 表 明,在U-Ne t中,解 码 路 径 的 感 受 野 总 是 很 小,捕 获 特 征 中全
31、 局 特 征 的 能 力 欠 佳。因 此,为 了 更 好 地 提 取 病 变 图 像 的 全 局 特征,并 尽 可 能 多 地 获 取 每 一 层 提 取 到 的 空 间 特 征,本 文 将 包 含多 个 感 受 野 的SMAM添 加 在 编 码 结 构 的 每 一 层,如 图2所 示。图2 空 间 多 尺 度 注 意 力 模 块F i g.2 Spa t i a lmu l t i-s c a l ea t t en t i onmodu l e 该 模 块 以BEMAU-Ne t下 采 样 过 程 中 的 中 间 特 征 图 作为 输 入,第 一 个 分 支 为 空 间 注 意 力 分 支
32、。该 分 支 包 含 一 个 小型 的 对 称 编 解 码 网 络,在 该 网 络 中 依 次 进 行 下 采 样 和 上 采 样操 作。为 了 提 高 网 络 的 特 征 提 取 能 力 并 缓 解 网 络 退 化 问 题,引 入 了 残 差 连 接(Re s i dua lConne c t i on)思 想,将 输 入 特 征 图 与网 络 最 后 一 层 输 出 通 过 残 差 连 接 进 行 对 应 元 素 相 加(El e-men t-wi s eAdd),获 得 了 表 示 每 个 像 素 空 间 位 置 重 要 性 的 特征 权 重 图(We i gh tMap)。同 时,对
33、毛 发 和 人 工 标 注 等 背 景 噪声 进 行 抑 制。为 了 更 好 地 捕 获 图 像 多 尺 度 空 间 特 征,将SMAM第 二个 分 支 设 计 为 多 尺 度 分 支,该 分 支 采 用 空 洞 卷 积 操 作 20。空洞 卷 积 操 作 是 在 标 准 卷 积 核 中 注 入 权 重 为0的 空 洞,以 此 来增 大 捕 获 特 征 的 感 受 野,越 大 的 空 洞 率 拥 有 越 大 的 感 受 野。例 如,空 洞 率 为2的 内 核 大 小(33)相 当 于 标 准 卷 积 中55的 内 核 大 小。由 于 注 入 的 是 权 重 为0的 空 洞,因 此 在 增 大
34、感受 野 的 同 时 不 会 增 加 参 数 量。空 洞 卷 积 层 有 效 感 受 野(ERF)可 表 示 为:E R F r=k+(k-1)(r-1)(1)其 中r是 空 洞 率,k是 内 核 大 小。本 文 分 别 采 用 空 洞 率 为6,12,18,24的33卷 积 核,如图2的 第 二 分 支 中Di l a t edConvo l u t i ons所 示。相 较 于 小 的 空洞 率 的 卷 积,大 的 空 洞 率 卷 积 在 网 络 层 数 有 限 和 不 增 加 参 数量 的 情 况 下,能 够 获 得 更 大 感 受 野 下 的 病 变 图 像 特 征。通 过 设 置 不
35、 同 空 洞 率 的 卷 积 来 获 得 多 种 感 受 野 下 的 特征,然 后 将4个 感 受 野 下 卷 积 后 的4组 特 征 图 进 行 级 联(Con-c a t ena t e),并 与 第 一 分 支 得 到 的 特 征 权 重 图 进 行 对 应 元 素 相乘(El emen t-wi s eMu l t i p l y),将 多 尺 度 思 想 与 空 间 注 意 力 机 制相 结 合,得 出 新 的 特 征 图 再 与 权 重 图 级 联,并 最 终 输 出 到 主 体网 络 的 解 码 结 构 中。2.3 边 缘 增 强 模 块(B E M)皮 肤 病 变 分 割 任
36、务 面 临 两 个 挑 战:整 体 目 标 定 位 和 细 节维 护。整 体 目 标 定 位 任 务 的 核 心 是 利 用 全 局 特 征 来 突 出 整 体对 象,该 任 务 通 过2.2节 中SMAM的 操 作 得 到 强 化。考 虑 到随 着 网 络 的 加 深,特 征 图 分 辨 率 逐 渐 减 小,病 变 区 域 的 边 缘 细节 特 征 会 逐 渐 丢 失 的 问 题,本 文 设 计 了BEM对 边 缘 细 节 特征 进 行 增 强,以 实 现 细 节 维 护 的 任 务。8 9 C o m p u t e r S c i e n c e计 算 机 科 学Vo l.50,No.4
37、,Ap r.2023皮 肤 病 变 部 位 的 颜 色 一 般 呈 现 出 由 中 心 到 边 缘 逐 渐 变 浅的 特 点,因 此 网 络 训 练 的 结 果 更 注 重 增 强 中 心 部 分 的 权 重,弱化 边 缘 部 位 的 权 重,尤 其 在 边 缘 模 糊 的 病 变 图 像 中,这 种 情 况会 更 加 严 重。因 此,BEM的 核 心 任 务 是 找 到 病 变 的 边 缘 位置 并 增 加 边 缘 位 置 的 权 重。为 了 获 得 特 征 图 的 边 缘 位 置信 息,BEM依 次 扩 大 背 景 区 域 和 前 景 区 域,之 后 将 扩 大 的背 景 区 域 和 前
38、景 区 域 相 加,得 到 特 征 图 的 边 缘 轮 廓,再 将边 缘 轮 廓 作 为 增 强 信 息 加 入 特 征 图 中 实 现 边 缘 位 置 权 重的 增 强。如 图3所 示,BEM以BEMAU-Ne t下 采 样 过 程 中 的 中间 特 征 图 作 为 输 入,经S i gmo i d激 活 后 分 为 两 个 分 支。由 于最 大 池 化 操 作 可 以 有 效 保 留 图 像 的 边 缘、纹 理 等 特 征,因此 第 一 个 分 支 对 激 活 后 的 特 征 图 进 行 取 反 操 作,之 后 进 行最 大 池 化 操 作,从 而 扩 大 背 景 区 域。第 二 个 分
39、支 对 特 征 图直 接 进 行 最 大 池 化 操 作,以 扩 大 前 景 区 域。将 两 个 分 支 的输 出 进 行 对 应 元 素 相 加,得 到 特 征 图 的 边 缘 轮 廓 特 征 图,然 后 将 边 缘 轮 廓 图 与 经 过 最 大 池 化 的 特 征 图 相 加 得 到 边缘 增 强 后 的 特 征 图,最 终 将 输 出 结 果 级 联 到 解 码 结 构 中。考 虑 到 深 层 特 征 图 中 有 效 的 边 缘 特 征 信 息 较 少,本 文 仅 将BEM添 加 在 网 络 的 浅 层。图3 边 缘 增 强 模 块F i g.3 Bounda r yenhanc em
40、en tmodu l eBEM的 实 现 过 程 如 图4所 示,假 设 输 入 特 征 图 经 过S i g-mo i d激 活 后 背 景 的 训 练 权 重 为0,中 心 权 重 为1,边 缘 权 重 为0.5,经 过 与 图3中 两 分 支 对 应 的 操 作 之 后 输 出 增 强 边 缘 权 重的 特 征 图。由 最 终 输 出 的 结 果 可 见,边 缘 位 置 权 重 由 之 前 的0.5,1 增 加 到 了1,1.5。F=M a x p o o l(S i gmo i d(F)(2)F=M a x p o o l(S i gmo i d(-F)(3)Fou t=F+(F+F)
41、(4)其 中,F代 表 输 入 特 征 图,F 代 表 输 入 特 征 图 经 过 激 活 和 最 大池 化 操 作,F 代 表 输 入 特 征 图 经 过 取 反 激 活 之 后 最 大 池 化,Fou t为 计 算 得 出 的 经 过 边 缘 增 强 的 特 征 图。图4 边 缘 增 强 过 程F i g.4 Bounda r yenhanc emen tp r o c e s s 由 图3中 的 结 果 可 以 看 出,BEM模 块 专 注 于 病 变 区 域 的边 缘 细 节,与 输 入 特 征 图 相 比,该 模 块 的 输 出 特 征 图 中 边 缘 细节 得 到 了 有 效 增
42、强。2.4 多 混 合 损 失 函 数针 对 皮 肤 病 变 图 像 特 征 选 取 合 适 的 损 失 函 数 是 一 项 重 要的 工 作。如Zhang等 21将 皮 肤 病 变 的 分 割 看 作 一 个 二 分 类问 题,使 用 交 叉 熵 损 失 函 数(Cr o s s-en t r opyLo s sFunc t i on)。但 是 该 损 失 函 数 计 算 得 到 的 梯 度 值 可 能 会 非 常 大,导 致 训 练不 够 稳 定。目 前,Di c eLo s s 22成 为 了 使 用 更 广 泛 的 损 失 函数。Di c eLo s s来 自Di c eCoe f f
43、 i c i en t,是 一 种 用 于 评 估 两 个 样本 相 似 性 的 度 量 函 数,取 值 范 围 在0,1,取 值 越 大 表 示 越 相似,其 定 义 如 下:D i c e=2|X Y|X|+|Y|(5)其 中,|X Y|是 样 本X和 样 本Y之 间 的 交 集,|X|和|Y|表示X和Y中 的 元 素 个 数,分 子 乘 以2是 为 了 保 证 分 母 重 复 计算 后 取 值 范 围 在0,1 之 间。Di c eLo s s是 一 种 区 域 相 关 的 损失 函 数,在 训 练 过 程 中 更 侧 重 于 对 前 景 区 域 的 挖 掘,因 此 被 广泛 应 用 于
44、 医 学 图 像 分 割 算 法 中。但 是Di c eLo s s对 于 边 缘 细节 的 关 注 不 够,导 致 边 缘 细 节 特 征 的 提 取 受 到 影 响。而Bounda r yLo s s 23是 一 种 专 门 针 对 边 缘 细 节 所 提 出 的 损 失函 数,其 使 用 边 缘 匹 配 度 去 监 督 网 络 的 损 失,只 对 边 缘 上 的 像素 进 行 评 估,和Gr oundTr u t h边 缘 吻 合 则 为0。对 于 不 吻 合的 点,如 果 边 缘 像 素 在Gr oundTr u t h内 部,l o s s为 负;如 果 在Gr oundTr u t
45、 h外 部,l o s s为 正。综 合 考 虑 病 变 区 域 和 病 变 边 缘 两 种 元 素,本 文 设 计 了 一种 混 合 损 失 函 数,并 在 训 练 过 程 中 分 别 为 两 个 损 失 函 数 分 配动 态 权 重,实 现 针 对 性 的 监 督,让 网 络 在 训 练 中 同 时 监 督 皮 肤病 变 部 位 的 整 体 特 征 和 边 缘 特 征 的 提 取,从 两 个 方 面 实 现 前景 区 域 挖 掘 和 边 缘 细 节 维 护。混 合 损 失 函 数 定 义 为:L=D i c e+(1-)B o u n d a r y(6)其 中,初 始 值 为1,此 时,
46、网 络 专 注 于 病 变 的 空 间 区 域 特征。随 着 训 练 越 往 后 期 进 行,逐 渐 减 小,Di c e损 失 函 数 权重 逐 渐 降 低 到0,Bounda r y损 失 函 数 权 重 逐 渐 增 加 到1,网络 更 加 专 注 于 边 缘 细 节 特 征 的 维 护,从 而 进 一 步 提 升 分 割精 度。3 实 验 内 容 及 结 果 分 析3.1 算 法 流 程融 合 边 缘 增 强 与 多 尺 度 注 意 力 的 皮 肤 病 变 分 割 算 法 设 计流 程 如 图5所 示。首 先 进 行 数 据 的 预 处 理,包 括 输 入 图 像 的分 辨 率 统 一、
47、数 据 增 广 和 图 像 归 一 化 这3种 操 作。由 于 数 据9 9白 雪 飞,等:融 合 边 缘 增 强 与 多 尺 度 注 意 力 的 皮 肤 病 变 分 割集 中 的 图 像 分 辨 率 不 统 一,本 文 将 所 有 数 据 集 的 分 辨 率 统 一为256256,并 采 用 水 平 翻 转、垂 直 翻 转 和RGB通 道 转 移 的数 据 增 广 方 式 来 扩 充 数 据 集,让 网 络 更 好 地 学 习 到 图 像 中 的特 征,并 起 到 防 止 网 络 过 拟 合 的 作 用。再 将 经 过 增 广 扩 充 的数 据 集 在 训 练 之 前 进 行 图 像 数 据
48、 的 归 一 化,这 有 利 于 训 练 时梯 度 下 降,使 网 络 的 收 敛 速 度 更 快。图5 算 法 流 程F i g.5 Segmen t a t i onf l ow 接 下 来 将 预 处 理 后 的 数 据 送 入VGG16 24模 型 中 进 行 预训 练。由 于 皮 肤 镜 图 像 数 据 集 与ImageNe t数 据 库 25中 的 数据 集 同 为RGB图 像,因 此 使 用 在ImageNe t上 训 练 的VGG16模 型 权 重 来 进 行 本 文 网 络 的 初 始 化,这 样 就 不 需 要 在 短 时 间内 去 修 改 过 多 的 权 重,而 是 进
49、行 权 重 的 微 调,预 先 训 练 好 的 权值 对 网 络 具 有 很 好 的 初 始 化 效 果。在 预 训 练 之 后,将 数 据 集 送 入 经 过 初 始 化 的 主 网 络 中,在主 网 络 中 同 时 进 行 空 间 多 尺 度 特 征 捕 获 和 边 缘 增 强 的 操 作,最 终 得 到 训 练 分 割 的 结 果。3.2 实 验 数 据本 文 使 用I S IC17 26和I S IC18 27两 个 公 开 数 据 集 对 所 提算 法 的 分 割 性 能 进 行 训 练 和 测 试。其 中,I S IC17数 据 集 包 含2000张 训 练 图 像、150张 验
50、证 图 像 和600张 测 试 图 像;I S IC18数 据 集 包 含2594张 训 练 图 像、259张 验 证 图 像 和520张 测 试图 像。3.3 实 验 环 境本 文 实 验 使 用 具 有Tens o r f l ow 28后 端 的Ke r a s进 行 模型 的 构 建,显 卡 型 号 为NVIDIATe s l aP100,显 存16GB,并 使用Adam 29优 化 器 从 头 开 始 训 练,对 网 络 进 行 自 动 优 化 并 调整 到 合 适 的 学 习 率。初 始 学 习 率 设 置 为110-4,Epo ch设 置为100,Ba t chS i z e设
