1、小 型 微 型 计 算 机 系 统：年 月 第 期 收 稿 日 期：收 修 改 稿 日 期：基 金 项 目：国 家 重 点 研 发 计 划 项 目（，）资 助；国 家 自 然 科学 基 金 重 点 项 目（）资 助；山 西 省 重 点 研 发 计 划 项 目（）资 助；山 西 省 高 等 学 校 科 技 创 新 项 目（）资 助；山 西 省 青年 科 学 基 金 项 目（）资 助 作 者 简 介：张 霞，女，年 生，博 士，副 教 授，会 员，研 究 方 向 为 机 器 学 习 和 图 像 处 理；刘 乾，男，年 生，硕 士 研 究 生，研 究 方 向 为 声 纹 识 别 和 深 度 学 习；
2、郭 倩，女，年 生，博 士，会 员，研 究 方 向 为 逻 辑 学 习、抽 象 推 理 及 它 们 在多 图 检 索 上 的 应 用；梁 新 彦，男，年 生，博 士，讲 师，会 员，研 究 方 向 为 多 视 图 机 器 学 习 和 粒 计 算；钱 宇 华，男，年 生，博 士，教 授，博 士生 导 师，会 员，研 究 方 向 为 人 工 智 能、大 数 据、机 器 学 习 和 数 据 挖 掘；畅 江，女，年 生，博 士，讲 师，研 究 方 向 为 语 音 信 号 处 理、脑 电 信 号分 析、声 纹 识 别 和 情 感 识 别 强 调 信 息 传 播 和 特 征 分 布 的 说 话 人 验 证
3、 模 型：张 霞，刘 乾，郭 倩，梁 新 彦，钱 宇 华，畅 江，（山 西 大 学 大 数 据 科 学 与 产 业 研 究 院，太 原）（山 西 省 机 器 视 觉 与 数 据 挖 掘 工 程 研 究 中 心，太 原）（山 西 大 学 计 算 机 与 信 息 技 术 学 院，太 原）：摘 要：说 话 人 验 证 是 一 种 自 然、有 效 的 生 物 特 征 身 份 认 证 方 法，其 性 能 很 大 程 度 上 取 决 于 所 提 取 说 话 人 特 征 的 质 量 残 差 网络（）具 有 优 越 的 推 理 能 力，可 以 提 取 高 质 量 的 说 话 人 特 征，因 此 广 泛 地 应
4、 用 于 说 话 人 验 证 任 务 中，然 而 目 前 残 差 网 络 仍存 在 音 频 数 据 信 息 利 用 不 充 分，提 取 的 特 征 不 利 于 分 类 说 话 人 等 问 题，这 些 问 题 大 大 限 制 了 残 差 网 络 的 表 征 能 力 本 文 聚 焦 于残 差 网 络 的 模 型 结 构，详 细 分 析 了 残 差 块 分 布 比 例、激 活 层、跳 跃 连 接 这 些 结 构 因 素 对 特 征 信 息 提 取 的 影 响，以 及 模 型 输 出 特 征分 布 对 说 话 人 分 类 结 果 的 影 响，并 据 此 对 原 始 残 差 块、特 征 下 采 样 过
5、程 以 及 模 型 输 出 头 重 新 设 计 并 构 建 了 一 个 新 的 说 话 人 验 证模 型：该 模 型 采 用 更 少 激 活 层 的 残 差 块 和 单 独 设 计 的 下 采 样 层 共 同 作 用 来 减 少 音 频 信 号 的 损 失 和 噪 声 信 息 的 引入，采 用 归 一 化 处 理 后 的 模 型 输 出 头 帮 助 分 类 损 失 提 供 更 清 晰 的 分 类 决 策 面，并 在 个 公 开 数 据 集（、）上 评 估 了 所 提 模 型 的 有 效 性 实 验 结 果 证 明，本 文 提 出 的 模 型 在 仅 有 参 数 量 的 情 况 下，相 较 于
6、传 统 模型，在 个 数 据 集 上 的 等 错 误 率（）分 别 降 低 了、，且 与 强 说 话 人 验 证 模 型 相 比 在 和 上 分 别 降 低 了 和 关 键 词：说 话 人 验 证；声 纹 识 别；说 话 人 嵌 入；表 征 学 习；残 差 网 络中 图 分 类 号：文 献 标 识 码：文 章 编 号：（）：，（，）（，）（，）：，（），：，（，），（），：，：；引 言说 话 人 验 证 指 的 是 根 据 待 识 别 语 音 的 声 纹 特 征 识 别 该 段语 音 是 否 对 应 于 指 定 说 话 人，它 是 一 种 自 然 而 有 效 的 生 物 特征 身 份 认 证
7、方 法，尤 其 是 文 本 无 关 说 话 人 验 证（，），能 够 极 大 的 帮 助 检 索 目标 说 话 人 目 前，其 已 经 被 广 泛 应 用 在 语 音 认 证，、语 音 分离 以 及 语 音 合 成 等 领 域 一 般 来 说，说 话 人 验 证 任 务中 最 重 要 的 工 作 是 构 造 一 个 说 话 人 特 征 提 取 器，该 提 取 器 应当 尽 可 能 地 生 成 具 有 区 分 度 的 固 定 维 说 话 人 嵌 入，近 些年 来，随 着 大 量 可 供 训 练 数 据 的 出 现，深 度 神 经 网 络（，）取 代 传 统 说 话 人 识 别 方 式 成 为 了
8、文 本 无 关 说 话 人 验 证 任 务 中 最 广 泛 使 用 的 说 话 人 表 征 提 取 模 型 目 前，在 端 到 端 的 深 度 学 习 说 话 人 识 别 中，基 于 方法 的 两 种 主 流 模 型 分 别 是 基 于 时 延 神 经 网 络（，）的 结 构 和 基 于 深 度 卷 积神 经 网 络（，）的 结构 采 用 一 定 空 洞 率 的 空 洞 卷 积 来 提 取 帧 级 特 征，接着 使 用 池 化 层 将 所 有 帧 级 特 征 聚 合 为 一 个 固 定 维 的 向 量，最后 通 过 全 连 接 层 来 提 取 说 话 人 嵌 入 由 于 深 度 残 差 网 络
9、 对于 识 别 深 层 信 息 非 常 有 效，等 人 将 其 应 用 在 说 话 人验 证 任 务 中，命 名 为 和 不 同，相 比 于 基 于 的 说 话 人 验 证 模 型，接 受 三 维 特 征 作 为 输 入，并 采 用 二 维 卷 积 来 提 取 特 征，在 不 同 的 说 话 人 验 证 数 据 集 上均 取 得 了 良 好 的 效 果 尽 管 在 挑 战 赛后，基 于 的 模 型 在 说 话 人 验 证 任 务中 取 得 了 最 优 表 现，但 由 于 优 越 的 推 理 速 度 和 不 俗 的性 能 在 说 话 人 验 证 任 务 中 仍 占 据 主 导 地 位 由 挑 战
10、 赛 结 果 不 难 看 出，随 着 不 断 对 层 数 加 深 或 者 通 道 加 宽，基 于 模 型 的 性 能 仍 可与 当 前 最 优 说 话 人 验 证 模 型：性 能 持 平 例 如：竞 赛 中 等 人 使 用 作 为 特征 提 取 模 型 然 而 为 了 追 求 良 好 的 性 能，一 味 的 增 加 网 络 的 深度 与 宽 度，会 导 致 网 络 优 化 与 学 习 的 难 度 增 加，这 对 于 模 型 之后 部 署、应 用 以 及 进 一 步 改 进 带 来 了 巨 大 的 负 担 为 解 决 上 述问 题，本 文 深 入 分 析 了 体 系 架 构，通 过 对 网 络
11、重 新 设计，促 进 信 息 在 网 络 中 的 传 播，提 出 了 一 个 新 的 说 话 人 验 证 模型，在 仅 使 用 参 数 量 情 况 下，取 得 了 目前 说 话 人 验 证 任 务 中 的 最 优 结 果 本 文 贡 献 主 要 包 括 以 下 个 方 面：）提 出 了 新 的 残 差 块 结 构 与 特 征 图 下 采 样 方 式 本 文 提出 的 残 差 块 允 许 训 练 初 期 的 负 权 值 信 息 通 过 网 络 以 减 少 信 息损 失，重 新 设 计 的 下 采 样 方 式 保 证 了 下 采 样 过 程 中 卷 积 核 大小 与 卷 积 步 长 相 同 从 而
12、 避 免 了 引 入 无 意 义 的 特 征 图 信 息 新的 残 差 块 结 构 与 特 征 图 下 采 样 方 式 显 著 改 善 了 说 话 人 信 息 在网 络 传 播 过 程 中 的 损 失 情 况 和 噪 声 引 入 问 题，从 而 提 高 了 说话 人 信 息 在 网 络 中 的 传 播 效 率，使 模 型 在 性 能 提 升 的 同 时 加速 了 收 敛）对 生 成 的 说 话 人 嵌 入 特 征 规 范 化 处 理 通 过 改 变 说 话人 嵌 入 空 间 中 的 特 征 分 布，使 相 同 个 体 的 特 征 更 紧 凑，不 同 个体 之 间 的 特 征 更 分 散，从 而
13、 提 升 说 话 人 分 类 任 务 的 性 能）为 文 本 无 关 说 话 人 验 证 任 务 提 供 强 大 的 基 线 模 型 残 差 网 络 结 构 基 于 残 差 网 络 的 说 话 人 验 证 模 型 主 要 由 说 话 人 表 征 提 取模 块 和 分 类 模 块 两 部 分 组 成 说 话 人 表 征 提 取 模 块 包 含 帧 级特 征 提 取 和 话 语 级 特 征 聚 合 两 个 部 分 帧 级 特 征 提 取 部 分 包含 个 阶 段，每 个 阶 段 包 含 若 干 残 差 块，各 阶 段 中 残 差 块 分 布比 例 数 量 不 同，通 常 来 说，每 个 基 本 残
14、 差 块（）包 含两 个 权 重 层（）并 使 用 跳 跃 连 接（）允 许 信息 隔 层 相 加 来 避 免 深 层 网 络 中 的 退 化 问 题 话 语 聚 合 子 模 块使 用 特 征 聚 合 层 将 不 同 长 度 的 帧 级 说 话 人 特 征 编 码 为 固 定 长度 的 话 语 级 特 征，通 过 模 型 输 出 头 将 固 定 长 度 说 话 人 特 征送 入 分 类 模 块，以 此 训 练 模 型 对 说 话 人 嵌 入 的 辨 别 能 力，通 常将 模 型 输 出 头 后 的 输 出 称 为 说 话 人 嵌 入（）表 给出 了 基 于 说 话 人 识 别 模 型 结 构（
15、和 分 别 代 表 特 征图 的 时 间 维 度 与 频 率 维 度，（），代 表 卷 积 核 大 小 为，通 道 数 为，卷 积 步 长 为 的 卷 积 层；代 表 批 归 一化 层；，代 表 该 阶 段 由 个 通 道 为 的 步长 为 的 叠 加 在 一 起，代 表 全 连 接 层）鉴 于 优 越 的 推 理 速 度 和 不 俗 的 性 能，本 文 以 此 为基 线，展 开 了 不 同 的 改 进 架 构 说 话 人 验 证 模 型 为 了 促 进 信 息 在 网 络 中 传 播，提 升 模 型 提 取 说 话 人 嵌 入能 力 在 本 节 中 分 别 从 基 线 模 型 中 残 差 块
16、 比 例、残 差 块 结 构、特 征 下 采 样 方 式 以 及 最 后 的 模 型 输 出 头 个 方 面 对 原 始 残 差图 模 型 整 体 结 构 图 网 络 进 行 重 新 设 计，分 析 由 此 对 说 话 人 验 证 任 务 的 影 响 出 于计 算 量 与 参 数 量 考 虑，最 后 结 合 实 验 给 出 了 基 于 深 度 残 差 网络（通 道 数 为 原 始 的 一 半）的 更 适 合图 原 始 与 的 区 别 于 说 话 人 验 证 任 务 的 模 型，其 整 体 结 构 如 图 所 示，其 中、下 采 样 层 和 输 出 头 具 体 结 构 分 别 见 图 小 型 微
17、 型 计 算 机 系 统 年（）、图 和 图（），表 中 给 出 了 网 络 结 构 图 下 采 样 层 结 构 图 原 始 输 出 头 与 的 区 别 残 差 块 比 率 起 源 于 图 像 领 域，其 残 差 块 在 模 型 各 阶 段 分 布 比例 主 要 是 根 据 图 像 识 别 任 务 设 计，可 能 对 于 说 话 人 验 证 任 务来 说 不 是 最 优 的 受 启 发，本 节 以 更 大 第 阶 段残 差 块 分 布 比 例 修 改 原 始 网 络 中 残 差 块 分 布，将 每 个 阶 段 的残 差 块 数 量 由 中 的（，）调 整 为（，）、（，）、（，）以 及（，）探
18、 索 残 差 块 分布 比 例 以 及 由 此 带 来 的 模 型 深 度 与 参 数 量 改 变 对 说 话 人 验 证任 务 的 影 响 强 调 信 息 传 播 的 残 差 块（）残 差 网 络 使 用 跳 跃 连 接 来 解 决 深 层 网 络 产 生 的 退 化 问题，但 在 等 人 实 验 中，随 着 原 始 残 差 块 的 堆 叠，模 型 深 度 增 加，网 络 仍 表 现 出 优 化 的 困 难，这 表 明 原 始 残 差 块的 设 计 仍 存 在 不 足，过 多 的 残 差 块 仍 会 影 响 信 息 在 网 络 中 的传 播 本 文 对 原 始 残 差 块 的 结 构 重 新
19、 设 计，为 方 便 描 述，本 文将 原 始 残 差 块 命 名 为，修 改 后 的 残 差 块 命 名 为，图（）给 出 了 原 始 残 差 块 的 例 子：在（）中 包 含 两个 卷 积 层（），其 卷 积 核 大 小 均 为、两 个 批 归 一 化 层（）和 一 个 激 活 层（），图 中 大 箭 头 表 示 信 息 传 播 的 最直 接 路 径：主 传 播 路 径（在 主 传 播 路 径 中 包 含 跳 跃连 接 过 程），从 公 式 上 每 个 可 以 定 义 为：表 结 构 与 本 文 提 出 的 结 构 对 比 层 结 构 特 征 图 输 出 尺 寸 结 构 特 征 图 输 出
20、 尺 寸输 入 通 道 数 转 换（），（），阶 段，（），阶 段，（），阶 段，（），阶 段，特 征 聚 合 注 意 力 统 计 池 化 注 意 力 统 计 池 化 输 出 头（，）损 失 函 数 说 话 人 数 量 说 话 人 数 量（，）（）（）（），（）（）（）（）（）其 中 和 分 别 是 第 个 残 差 块 的 输 入 和 输 出 特征，代 表 激 活 函 数（激 活 层），代 表 可 学 习 的 残 差 映 射函 数，是 残 差 映 射 中 学 习 到 的 权 重，是 残 差 映 射 的 结果，是 跳 跃 连 接 中 一 个 可 学 习 的 权 重 矩 阵，它 在 与 尺 寸 不
21、 同 时，将 二 者 映 射 到 同 等 大 小，代 表 第 个 残 差块 中 跳 跃 连 接 的 输 出 对 应 于 图（），公 式（）代 表 右 侧 残 差映 射 部 分，公 式（）代 表 跳 跃 连 接 过 程，公 式（）代 表 两 部 分信 息 在 主 传 播 路 径 中 融 合 并 向 后 传 输 如 同 在 公 式（）和 图（）中 看 到 的，负 值 信 号 在 主 传 播路 径 上 通 过 激 活 层 后 结 果 将 归 于，但 在 初 期 训 练 时 网络 中 存 在 很 多 负 权 值，这 意 味 着 原 始 的 残 差 块 设 计 会 阻 碍 特征 信 息 的 传 递，导
22、致 说 话 人 相 关 信 息 损 失 由 此 本 文 分 别 去 掉 期 张 霞 等：强 调 信 息 传 播 和 特 征 分 布 的 说 话 人 验 证 模 型：残 差 块 中 残 差 连 接 后 的 激 活 层 以 及 主 干 网 络 中 通 道 转 换 层 中的 激 活 层 通 道 转 换 层 中 的 修 改 在 表 中 体 现，去 掉 激 活 层 的残 差 块：如 图（）所 示（虚 线 框 代 表 去 掉 了 主 传 播 路径 中 的 激 活 层）为 防 止 这 样 设 计 的 网 络 在 特 殊 情 况 下（公 式（）结 果 为）主 传 播 路 径 完 全 不 受 约 束，给 学 习
23、 带 来 困 难，下文 中 提 到 的 方 式 会 将 信 号 变 得“标 准 化”，从 而 稳 定 学 习 过 程 独 立 的 下 采 样 过 程使 用 跳 跃 连 接 来 使 主 传 播 路 径 中 的 维 度 与 残 差 映 射 的 输 出：的 维 度 对 齐 对 于 模 型 来 说 是 有 害 的 在 说 话 人验 证 任 务 中，基 于 残 差 网 络 的 模 型 在 进 行 下 采 样 过 程 中 通常 在 中 采 用 步 长 为，卷 积 核 大 小 为，边 缘 填 充 为 的 卷积 操 作，以 及 在 主 传 播 路 径 中 使 用 步 长 为 卷 积 核 大 小 为 的 跳 跃
24、 连 接，以 此 保 持 下 采 样 过 程 中 的 维 度 与 的维 度 匹 配，即 将 与 的 时 频 维 度 以 及 信 道 维 度 对 齐 不难 考 虑 到 在 跳 跃 连 接 中，由 于 卷 积 核 大 小 仅 有 但 卷 积 步长 却 为，代 表 着 在 特 征 维 度 改 变 过 程 中，跳 跃 连 接 过 程 使 得 失 去 了 的 激 活，这 将 会 导 致 大 量 的 信 息 损 失，同 时 剩 余 激 活 部 分 在 选 择 过 程 没 有 经 过 约 束，因 此 不 能 保 证 其激 活 后 的 输 出 是 有 意 义 的 最 后 跳 跃 连 接 的 结 果 会 添 加
25、 到 对应 残 差 块 的 输 出 中，意 味 着 主 干 信 息 流 中 将 会 引 入 噪 声 和 信息 损 耗，对 网 络 中 的 信 息 造 成 负 面 影 响 为 解 决 上 述 问 题，如 图 所 示，本 文 将 下 采 样 操 作 从 残 差块 中 剥 离 开，使 用 单 独 的 下 采 样 层 来 满 足 维 度 变 换 的 需 求 在第、和 阶 段 结 束 时 采 用 步 长 为，卷 积 核 大 小 为 的卷 积 层 来 对 时 频 维 度 和 信 道 维 度 变 换 通 过 使 卷 积 核 大 小 与步 长 大 小 一 致 来 考 虑 中 所 有 的 信 息，使 元 素 间
26、 的 过 度 更平 滑，减 少 信 息 损 失 批 归 一 化 层 用 来 规 范 信 号，减 少 模 型 学习 困 难，保 持 模 型 训 练 过 程 的 稳 定 性 此 外 下 采 样 层 的 作用 还 在 于 防 止 中 提 到 的 去 掉 主 传 播 路 径 上 所 有 激 活 层后，信 息 在 极 端 情 况 下 不 受 任 何 约 束 的 通 过 网 络 在 实 验 部 分展 示 了 单 独 使 用 下 采 样 层 与 中 方 法 结 合 在 性 能 上 的 好 处 强 调 特 征 分 布 的 模 型 输 出 头（）如 图（）所 示，许 多 最 先 进 的 说 话 人 验 证 模
27、型 在 模 型 输出 头 后 使 用（，）来 约 束 说 话 人 嵌 入 如 公 式（）所 示：（）（），（）其 中 代 表 说 话 人 个 数，是 当 前 语 句 嵌 入 与 其 对 应 说话 人 类 中 心 夹 角，是 当 前 语 句 嵌 入 与 其 他 说 话 人 类 中 心 夹角，和 是 两 个 超 参 数，代 表 尺 度，该 参 数 目 的 是 将 值增 大 倍，方 便 提 高 差 异 性，为 子 空 间 角 度 间 隔，间隔 越 大 则 表 明 不 同 说 话 人 之 间 的 分 类 间 隔 越 大，越 利 于 分 类 由 公 式（）可 知，在 特 征 空 间 内 使 用 余 弦
28、角 度 构 造一 系 列 决 策 边 界，把 不 同 说 话 人 的 特 征 分 配 到 角 度 间 隔 为 的 不 同 子 空 间 中，如 图（）所 示 最 理 想 的 情 况 是 最 小 类 间角 度 大 于 最 大 类 内 角 度，即 除 强 制 类 间 存 在 角 度 间 隔外，希 望 类 内 特 征 分 布 尽 可 能 紧 凑，然 而 聚 合 层 后 的 特 征 在 欧式 空 间 内，特 征 分 布 较 为 松 散，这 可 能 会 给 优 化 带来 困 难 受 等 人 启 发，如 图（）所 示，本 文 在 生 成说 话 人 嵌 入 的 全 连 接 层 前 后 分 别 添 加 层 来
29、平 滑 嵌 入 空 间的 特 征 分 布，减 少 特 征 分 布 的 自 由 区 域 对 于，使 得 特 征 倾 向 于 仿 射 状 分 布 时，导 致 靠 近 仿 射 中 心 的 特征 缺 乏 清 晰 的 决 策 面 并 且 难 以 区 分，但 层 可 以 使 特 征 保持 紧 凑 分 布 的 同 时，使 得 特 征 空 间 内 话 语 特 征 更 靠 近 其 对图 说 话 人 嵌 入 特 征 分 布 示 意 图 应 的 说 话 人 类 中 心（图 中 虚 线 箭 头），从 而 得 到 更 清 晰 的 分类 决 策 面，帮 助 更 好 的 约 束 特 征 同 时 也 能 起 到 正则 化 效
30、 果，预 防 过 拟 合，经 过 后 的 特 征 分 布 示 意 图 如图（）所 示 实 验 设 置 与 细 节 数 据 集 与 特 征 提 取）数 据 集 为 了 评 估 本 文 所 提 出 方 法 对 说 话 人 特 征 提 取的 有 效 性，本 文 在 个 公 开 数 据 集、和 数 据 集 进 行 了 实 验：如 表 所 示，包 含 和 两个 数 据 集 这 两 个 数 据 集 均 是 从 网 站 中 提 取 的 大 规模 文 本 独 立 数 据 集 开 发 集 包 含 位 名 人 的 条 访 问 语 音，开 发 集 包 含 位 名 人 的 条 访 问 语 音 两 个 数 据 集 之
31、间 没 有 重 复 由 于 算 力 原因，本 文 绝 大 部 分 实 验 基 于 训 练，使 用 评 估 为 了 与 目 前 最 优 说 话 人 验 证 模 型 对 比，本 文 最 后 以 为 训 练 集，分 别 在、和 验 证 集 上 做 了 实 验 验 证 评 估 集 包 含 名 说 话 人，评 估 集 包 含 了 整 个 开 发集 与 中 所 有 说 话 人，其 测 试 语 句 更 多，结 果 更 具代 表 性 而 内 则 是 包 含 中 相 同 国 籍，相 同 性 别 的 说 话 人，对 于 说 话 人 验 证 任 务 来 说 这 个 评 估 集 相较 于 另 外 两 个 更 困 难
32、表：训 练 集 与 评 估 集：数 据 集 说 话 人 话 语 条 数 验 证 对：如 表 所 示，同 样 是 和 两 个 数 据 集，本 文 使 用 作 为 训 练 集，它 是 从 哔 哩 哔哩、网 易 云、喜 马 拉 雅、抖 音 以 及 唱 吧 等 平 台 收 集 的 包 含 娱 乐、访 问、唱 歌、戏 剧、电 影、视 频 博 客、现 场 直 播 等 个 不 同 场 景下 的 声 音 数 据，涉 及 许 多 真 实 的 噪 音、信 道 失 配 和 真 实 的 讲 话风 格，包 含 人 的 超 过 条 语 音，相 较 于 小 型 微 型 计 算 机 系 统 年中 只 包 含 访 问 类 型
33、的 语 音，更 具 无 约 束 条 件 的 代 表性 本 文 实 验 中 使 用 来 自 中 的（）作 为评 估 集，包 含 个 说 话 人 的 条 语 音 此 外 该 评 估 集 的验 证 对 中 注 册 语 句 与 测 试 语 句 的 场 景 不 匹 配，以 及 数 据 集 中包 含 的 大 量 短 语 音 数 据 使 得 该 数 据 集 在 说 话 人 验 证 任 务 中 非常 具 有 挑 战 性 表：训 练 集 与 评 估 集：数 据 集 说 话 人 话 语 条 数 验 证 对（）特 征 提 取 本 文 所 有 基 于 的 模 型 使 用 维 对数 梅 尔 滤 波 器 能 量（）作 为
34、 输 入 特 征 使 用 长 度 为，窗 口 长 度 为 的 汉 明 窗 从 输 入 音 频 中 提 取 每 段 音 频 使 用 帧 的 随 机 块 作 为 网 络 输 入，并 且 不 应 用 语音 活 动 检 测（，）输 入 特 征 是 在帧 级 别 上 的 均 值 所 有 实 验 在 特 征 提 取 阶 段 均 结 合 噪 音 数 据集（气 泡 音，噪 音，混 响）做 数 据 增 强 最 后 对 提 取 出 的 应 用 频 谱 增 强 训 练 设 置实 验 是 基 于 深 度 学 习 框 架 下 完 成 的，本 文 使 用说 话 人 验 证 任 务 中 常 用 的 模 型 作 为 基 线
35、模 型，采 用 注 意 力 统 计 池 化（，）对模 型 提 取 出 的 帧 级 特 征 聚 合，中 间 通 道 维 度 设 置 为 使 用 作 为 模 型 的 监 督 损 失 在 训 练 阶 段，每 次 迭 代 批 大 小 设 置 为，学 习 率 初 始 值设 置 为 并 以 每 个 周 期 的 衰 减 率 衰 减，选 用 优化 器 并 将 其 权 重 衰 减 设 置 为 的 超 参 数 尺 度 和 间 隔分 别 设 置 为 和 在 评 估 阶 段 应 用 了 测 试 时 间 增 强（，）方 法，通 过 重 叠 裁 剪 从 单 个 话 语 中 提取 个 说 话 人 嵌 入，将 个 嵌 入 的
36、 平 均 值 作 为 最 终 的 说 话人 嵌 入 本 文 使 用 余 弦 相 似 度 作 为 评 判 标 准 和 最 小 检测 代 价 函 数（，）作 为 性 能 指 标，参 数 量 用 来 衡 量 模型 大 小，下 文 中，参 数 量 个 评 价 指 标 越 小 均 代表 模 型 越 具 优 越 性 结 果 与 讨 论 为 了 彻 底 评 估 本 文 所 提 出 的 方 法，在 本 节 中 首 先 在 上 实 验，证 明 了 第 节 中 提 出 的 种 方 法 的 有 效 性 接着 在 个 不 同 数 据 集 上 分 别 实 验 与 其 余 说 话 人 验 证 模 型 对比，进 一 步 证
37、 明 的 优 越 性 表 内 容 展 示 的 是 在 原 始 模 型 基 础 上 逐 步增 加 第 节 中 提 出 的 残 差 块 分 布 比 例、单 独 下 采 样层 以 及 模 块，并 给 出 了 实 验 结 果）从 模 型 深 度 与 残 差 块 分 布 比 例 结 果 可 以 看 出 原 始 中 残 差 块 的 分 布 相 对 于 更 改 后 的 残 差 块 分 布 在 说 话人 验 证 任 务 中 表 现 并 不 出 色；从（，）分 布 与（，）分 布 结 果 对 比 可 知，尽 管 增 加 模 型 深 度 对 模 型 会 有 一 定 增 益，但 这 部 分 增 益 可 能 是 由
38、于 参 数 量 增 加 带 来 的；通 过 观 察 残 差块 按 照（，）分 布 与（，）分 布 结 果 可 以 发 现，在参 数 量 相 对 一 定 时，更 大 的 第 阶 段 残 差 块 比 例 对 与 说 话 人验 证 任 务 来 说 更 有 益，这 是 由 于 该 阶 段 可 以 保 留 特 征 结 构 信息 前 提 下 使 其 推 理 能 力 达 到 最 强；在（，）分 布 基 础 上进 一 步 扩 展 第 阶 段 残 差 块 数 量 后，没 有 进 一 步 改 善，原 因 如 本 文 中 描 述 的 使 用 原 始 残 差 块 构 建 网 络 时，主 路径 上 激 活 层 数 量
39、与 网 络 的 深 度 呈 正 比 关 系，在 网 络 堆 叠 过 深时 会 妨 碍 信 息 传 输，导 致 网 络 优 化 困 难 因 此 本 文 基 于（，）分 布 完 成 后 续 实 验 表 本 文 中 提 出 方 法 在 数 据 集 上 的 实 验 结 果 残 差 块 分 布（）参 数 量方 法 模 型 深 度 与 残 差 块分 布 比 例 更 少 激 活 层 单 独 下 采 样 层）减 少 激 活 层 数 量 后，即 使 用 替 代 并去 掉 通 道 数 转 换 层 中 的 激 活 层，进 一 步 达 到 了，相对 于 修 改 残 差 块 分 布 后 的 模 型 降 低 了，证 明
40、主 传 播 路径 中 没 有 激 活 层 对 语 音 特 征 在 模 型 中 的 传 递 更 有 益 图 原 始 下 采 样 方 式 与 下 采 样 层 收 敛 情 况 对 比）尽 管 在 使 用 单 独 下 采 样 层 来 缩 放 模 型 特 征 图 后 改 善 不 明 显，但 同 时 使 用 单 独 下 采 样 层 和 减 少 激 活 层 数 量 后，相 对 降 低 了，大 于 两 者 对 于 模 型 提 升 之 和，证 明 了 中 所 描 述 的 下 采 样 层 可 以 对 主 路 径 信 息 起 到 约 束 作 用，从 而 与 和 去 掉 激 活 层 的 通 道 转 换 层 达 到 互
41、 补 效 果 此 外 使 用 下 采 样 层 后，模 型 可 以 更 好 的 收 敛 并 加 快 收 敛 过 程，图 展 示 了 使 用 单 独 下 采 样 层 策 略 后 相 对 于 原 始 下 采 样 方 式收 敛 情 况 对 比，为 了 表 示 更 清 晰，图 中 没 有 展 示 前 轮 迭 代的 收 敛 过 程 图 中 横 轴 代 表 迭 代 轮 数，纵 轴 代 表 训 练 损 失，实线 是 使 用 原 始 下 采 样 方 式 结 果，虚 线 是 使 用 下 采 样 层 的 结 果）表 的 最 后 在 上 述 结 果 基 础 上 使 用 本 文 提 出 的 输 出 头来 生 成 说 话
42、 人 嵌 入，进 一 步 下 降 了，这 表 明 层 前后 的 批 归 一 化 层 对 模 型 提 取 特 征 有 效，增 强 了 损 失 函 数 对 模 期 张 霞 等：强 调 信 息 传 播 和 特 征 分 布 的 说 话 人 验 证 模 型：型 的 约 束 为 了 更 好 表 现 模 型 提 取 出 的 特 征 分 布，本 节 对 模 型输 出 特 征 作 了 可 视 化 处 理，但 由 于 语 音 基 线 数 据 集 中 人 物 数量 多，每 个 人 对 应 的 话 语 很 少 且 分 布 不 均 匀，可 视 化 过 程 中 会产 生 很 大 的 噪 音 参 考 等 人 解 决 方 式
43、，本 节 使 用 数 据 集 训 练 模 型 来 可 视 化 特 征 空 间 内 的 特 征 分 布，原因 是 相 比 于 语 音 基 线 数 据 集，数 据 集 仅 有 个 类 别且 每 个 类 由 平 均 个 样 本 组 成，可 使 特 征 分 布 清 晰 稳 健 图 展 示 了 在 数 据 集 上 特 征 可 视 化 后 的 结 果，可 以 看出，经 过 输 出 头 后 的 特 征 分 布 相 对 于 改 进 前 特 征 分图 原 始 输 出 头 与 修 改 后 的 输 出 头 在 数 据 集 的 特 征 分 布 上 的 可 视 化 比 较 布 更 紧 凑，决 策 面 相 对 更 清 晰
44、 相 较 于 改 进 前 的 模 型，第 节 提 出 的 个 方法 改 进 后 的 模 型：在 数 据 集 上 达 到 了，总 体 获 得 了 的 提 升 为 进 一 步 展 示 的 优 越 性，本 节 根 据 数 据 集大 小 及 数 据 复 杂 程 度，分 别 在（规 模 小）、（规 模 大）、（复 杂 场 景）个 数 据 集 上 进 行 模型 评 估）表 给 出 了 在 大 数 据 集 下 的 实 验 结 果，可 以 发 现 本 文 提 出 的 尽 管 仅 使 用 了 的 参 数 量，但 仍 表 现 出 强 大 的 表 征 能 力，取 得 了 最 优 结 果 相对 于 该 数 据 集 中
45、 最 广 泛 使 用 的 说 话 人 验 证 模 型：，的 在、和 评 估 集 上 分 别 相 对 降 低 了、和，并 且 显 著 优 于 当 前最 优 说 话 人 验 证 基 线 模 型，在 个 评 估 集 上，分 别 相 对 降 低 了、和）表 给 出 了 在 小 数 据 集 上 与 常 用 的 基于 残 差 网 络 结 构 的 话 人 验 证 模 型 对 比 可 以 发 现 本 文 所 提 出的 在 性 能 上 显 著 优 于 其 余 基 于 残 差 网 络 的 说话 人 验 证 模 型 相 较 于 传 统 模 型，相对 改 善 了 表 在 数 据 集 上 实 验 结 果 模 型 频 率
46、 维 度 参 数 量（）（）（）表 在 数 据 集 上 实 验 结 果 模 型（）参 数 量）表 给 出 了 在 复 杂 场 景 下 的 性 能 表 现 在 上 的 结 果 达 到 了表 在 数 据 集 上 实 验 结 果 模 型（），相 比 于 模 型 与 模 型，分 别 相 对 降 低 了 和 结 语 残 差 网 络 被 广 泛 应 用 于 说 话 人 验 证 任 务 中 本 文 对 残 差中 的 信 息 流 及 输 出 特 征 进 行 分 析，针 对 其 存 在 的 信 息 传 播 受限，容 易 引 入 噪 声 信 息，提 取 出 的 特 征 难 以 分 类 等 问 题，对 残差 块 分
47、 布、残 差 块 结 构、特 征 下 采 样 以 及 模 型 输 出 头 进 行 了 更合 理 的 设 计，提 出 了 基 于 残 差 网 络 的 说 话 人 特 征 提 取 模 型 在 保 持 优 越 推 理 速 度 的 同 时 提 高 了 捕 捉 说 话人 本 质 特 征 的 能 力，并 在 多 个 数 据 集 上 均 取 得 了 显 著 效 果，为说 话 人 验 证 任 务 提 供 了 一 个 强 有 力 的 基 线 模 型 未 来 计 划 从语 音 信 息 中 特 有 的 时 间 与 频 率 信 息 出 发 对 全 局 信 息 建 模，从而 进 一 步 提 升 模 型 性 能：，（）：
48、，：，：，（）：，：小 型 微 型 计 算 机 系 统 年，（），：，（），（），：，（），：，（），：，（），：，（）：，：（），：，：，（）：，：，（），：，（）：，（）：，（），：，（）：，（），：，：，：，（），：，：，：，：，：，：，（），：，：，：，：，（）：，（），：，（），：，（），：，期 张 霞 等：强 调 信 息 传 播 和 特 征 分 布 的 说 话 人 验 证 模 型：（），：，（）：，：（），：，：，（）：，：，（）：，：，：，：，（），：，：（），：，：（），：，（），：附 中 文 参 考 文 献：徐 志 航，陈 博，张 辉，等 小 数 据 下 的 因 素 级 别
49、说 话 人 嵌 入 的语 音 合 成 自 适 应 方 法 计 算 机 学 报，（）：黄 俊，蒋 兵，李 先 刚，等 聚 类 字 典 及 注 意 力 机 制 框架 的 说 话 人 自 适 应 小 型 微 型 计 算 机 系 统，（）：何 亮，杨 毅，刘 加 基 于 的 文 本 无 关 说 话 人 识 别算 法 模 式 识 别 与 人 工 智 能，（）：龙 华，瞿 于 荃，段 荧 一 种 基 于 核 典 型 关 联 分 析 的 短 语 音 说话 人 嵌 入 向 量 算 法 小 型 微 型 计 算 机 系 统，（）：陈 晨，韩 纪 庆，陈 德 运，等 文 本 无 关 说 话 人 识 别 中 句 级
50、特 征 提取 方 法 研 究 综 述 自 动 化 学 报，（）：本 刊 检 索 与 收 录国 内中 文 核 心 期 刊中 国 学 术 期 刊 文 摘（中 英 文 版）收 录中 国 科 学 引 文 数 据 库（）来 源 期 刊中 国 科 技 论 文 统 计 源 期 刊中 国 期 刊 全 文 数 据 库（）收 录 期 刊中 国 科 技 期 刊 精 品 数 据 库 收 录 期 刊中 国 学 术 期 刊 综 合 评 价 数 据 库（）收 录 期 刊中 国 核 心 期 刊（遴 选）数 据 库 收 录 期 刊中 文 科 技 期 刊 数 据 库 收 录 期 刊国 际英 国 科 学 文 摘（）荷 兰 文 摘
