基于视觉的人体运动识别研究.pdf

1、 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http:/项 目 基 金 2006年 公 安 部 应 用 创 新 计 划 项 目 资 助 , 项 目 编 号 : 2006YYCXZJST139。作 者 简 介 吴 洪 森 (1956 ) , 男 , 浙 江 人 , 教 授 。2008年 第 4期 No14 2008 Journal of Chinese Peop leps Public Security University ( Science and Technology

2、) 总 第 58期 Sum58基 于 视 觉 的 人 体 运 动 识 别 研 究吴 洪 森 1 , 刘 平 2 , 董 金 祥 3(11浙 江 警 察 学 院 公 安 应 用 技 术 研 究 所 , 浙 江 杭 州 310053;21杭 州 市 消 防 产 品 质 检 站 , 浙 江 杭 州 310012;31浙 江 大 学 计 算 机 学 院 , 浙 江 杭 州 310027)摘 要 人 体 运 动 的 视 觉 分 析 是 计 算 机 视 觉 研 究 领 域 的 重 要 课 题 , 同 时 也 是 近 年 来 受 到 研 究 者 关注 的 前 沿 方 向 之 一 。 它 主 要 是 针 对

3、包 含 人 的 运 动 图 像 序 列 进 行 分 析 处 理 , 识 别 和 理 解 人 的 动 作 。人 的 运 动 分 析 研 究 成 果 可 以 应 用 在 智 能 监 控 系 统 、 虚 拟 现 实 、 人 机 交 互 以 及 医 学 和 体 育 运 动 等 诸多 方 面 , 有 着 广 泛 的 应 用 前 景 。关 键 词 运 动 检 测 ; 运 动 跟 踪 ; 行 为 理 解 ; 语 义 描 述中 图 分 类 号 D918190 引 言人 体 运 动 视 觉 分 析 的 主 要 目 的 , 是 从 一 组 包 含 人 的 图像 序 列 中 检 测 、 识 别 、 跟 踪 人 体

4、, 并 对 其 行 为 进 行 理 解 和描 述 。 传 统 的 人 体 运 动 分 析 方 法 一 般 分 为 两 种 : 在 人 体的 各 个 关 节 部 位 分 别 加 上 传 感 器 。 在 人 体 运 动 过 程 中 , 传感 器 会 不 断 地 将 各 关 节 在 空 间 中 的 位 置 返 回 给 计 算 机 , 这样 计 算 机 就 可 以 精 确 获 得 人 体 在 各 个 时 刻 的 运 动 信 息 。 针 对 图 像 序 列 进 行 分 析 。 图 像 序 列 可 以 是 单 个 相 机 拍 下 的 ,也 可 以 是 多 个 相 机 同 时 从 各 个 视 角 拍 下 的

5、 , 一 般 分 三 步 顺序 完 成 。 首 先 从 图 像 帧 中 提 取 低 层 特 征 , 如 各 关 节 的 位 置 ,并 对 之 进 行 识 别 ; 然 后 是 在 各 个 帧 的 特 征 间 建 立 对 应 关 系 ;最 后 是 从 特 征 对 应 中 恢 复 三 维 人 体 结 构 与 运 动 信 息 。 由 于人 体 运 动 的 特 殊 复 杂 性 , 几 乎 所 有 这 些 方 法 都 受 到 限 制 ,阻 碍 了 人 们 对 人 体 运 动 的 精 确 分 析 。1 处 理 流 程111 运 动 检 测运 动 检 测 就 是 从 序 列 图 像 中 将 变 化 区 域 从

6、 背 景 图 像 中提 取 出 来 , 对 于 后 面 的 运 动 跟 踪 和 行 为 理 解 等 将 起 很 大 作用 。 后 续 的 处 理 主 要 是 基 于 提 取 出 来 的 区 域 进 行 分 析 。 目前 运 动 检 测 所 采 用 的 方 法 主 要 有 时 间 差 分 ; 背 景 减 除 ; 光流 。 其 中 , 背 景 减 除 方 法 是 目 前 运 动 分 割 中 最 常 用 的 一 种方 法 , 它 是 利 用 当 前 图 像 与 背 景 图 像 的 差 分 来 检 测 出 运 动区 域 的 一 种 技 术 。 它 一 般 能 够 提 供 最 完 全 的 特 征 数 据

7、 , 但对 于 动 态 场 景 的 变 化 , 如 光 照 和 外 来 无 关 事 件 的 干 扰 等 特别 敏 感 。 最 简 单 的 背 景 模 型 是 时 间 平 均 图 像 , 大 部 分 的 研究 人 员 目 前 都 致 力 于 开 发 不 同 的 背 景 模 型 , 以 期 减 少 动 态场 景 变 化 对 于 运 动 分 割 的 影 响 。 例 如 Haritaoglu等 1 利 用最 小 、 最 大 强 度 值 和 最 大 时 间 差 分 值 为 场 景 中 每 个 像 素 进行 统 计 建 模 , 并 且 进 行 周 期 性 的 背 景 更 新 ; McKenna等 2 利

8、用 像 素 色 彩 和 梯 度 信 息 相 结 合 的 自 适 应 背 景 模 型 来 解 决影 子 和 不 可 靠 色 彩 线 索 对 于 分 割 的 影 响 ; Karmann 与B randt 3 、 Kilger 4 采 用 基 于 卡 尔 曼 滤 波 ( Kalman Filtering)的 自 适 应 背 景 模 型 以 适 应 天 气 和 光 照 的 时 间 变 化 ; Stauffer与 Grim son 5 利 用 自 适 应 的 混 合 高 斯 背 景 模 型 (即 对 每 个像 素 利 用 混 合 高 斯 分 布 建 模 ) , 并 且 利 用 在 线 估 计 来 更 新

9、模 型 , 从 而 可 靠 地 处 理 了 光 照 变 化 、 背 景 混 乱 运 动 的 干 扰等 影 响 。时 间 差 分 方 法 是 在 连 续 的 图 像 序 列 中 两 个 或 三 个 相 邻帧 间 采 用 基 于 像 素 的 时 间 差 分 并 且 阈 值 化 来 提 取 出 图 像 中的 运 动 区 域 。 例 如 L ip ton等 6 利 用 两 帧 差 分 方 法 从 实 际 视45中 国 人 民 公 安 大 学 学 报 (自 然 科 学 版 ) 1994-2010 China Academic Journal Electronic Publishing House. Al

10、l rights reserved. http:/频 图 像 中 检 测 出 运 动 目 标 , 进 而 用 于 目 标 的 分 类 与 跟 踪 。一 个 改 进 的 方 法 是 利 用 三 帧 差 分 代 替 两 帧 差 分 , 如VSAM 7 开 发 了 一 种 自 适 应 背 景 减 除 与 三 帧 差 分 相 结 合 的混 合 算 法 , 它 能 够 快 速 有 效 地 从 背 景 中 检 测 出 运 动 目 标 。时 间 差 分 运 动 检 测 方 法 对 于 动 态 环 境 具 有 较 强 的 自 适 应 性 ,但 一 般 不 能 完 全 提 取 出 所 有 相 关 的 特 征 像

11、 素 点 , 在 运 动 实体 内 部 容 易 产 生 空 洞 现 象 。基 于 光 流 方 法 的 运 动 检 测 采 用 了 运 动 目 标 随 时 间 变 化的 光 流 特 性 。 如 Meyer等 8 通 过 计 算 位 移 向 量 光 流 场 来 初始 化 基 于 轮 廓 的 跟 踪 算 法 , 从 而 有 效 地 提 取 和 跟 踪 运 动 目标 。 该 方 法 的 优 点 是 在 摄 像 机 运 动 存 在 的 前 提 下 也 能 检 测出 独 立 的 运 动 目 标 。 然 而 , 大 多 数 的 光 流 计 算 方 法 相 当 复杂 , 且 抗 噪 性 能 差 , 如 果 没

12、 有 特 别 的 硬 件 装 置 则 不 能 被 应用 于 全 帧 视 频 流 的 实 时 处 理 。在 运 动 检 测 中 还 有 一 些 其 他 的 方 法 , 如 Friedman与Russell 9 利 用 扩 展 的 EM ( Expectation Maxim ization) 算 法 ,为 每 个 像 素 建 立 了 混 合 高 斯 分 类 模 型 , 该 模 型 可 以 自 动 更新 , 并 能 自 适 应 地 将 每 个 像 素 分 类 为 背 景 、 影 子 或 者 运 动前 景 , 在 目 标 运 动 速 度 缓 慢 的 情 况 下 也 能 较 好 地 完 成 运 动区

13、域 的 分 割 , 并 可 以 有 效 地 消 除 影 子 的 影 响 ; 另 外 , Strin2ga 10 也 提 出 了 一 种 新 颖 的 基 于 数 学 形 态 学 的 场 景 变 化 检 测算 法 , 在 变 化 的 环 境 条 件 下 获 得 了 相 对 稳 定 的 分 割 效 果 。112 目 标 分 类目 标 分 类 是 从 检 测 到 的 运 动 区 域 中 将 对 应 于 人 的 运 动区 域 提 取 出 来 。 两 种 常 用 的 目 标 分 类 方 法 为 :(1) 基 于 形 状 信 息 的 分 类 ( Shape - based Classifica2tion)

14、利 用 检 测 出 的 运 动 区 域 的 形 状 特 征 进 行 目 标 分 类 的方 法 。(2) 基 于 运 动 特 性 的 分 类 (Motion - based Classifica2tion) 利 用 人 体 运 动 的 周 期 性 进 行 目 标 分 类 的 方 法 。这 两 种 目 标 分 类 方 法 可 以 结 合 起 来 使 用 1 , 可 得 到 更加 准 确 的 分 类 结 果 。 另 外 , Stauffer 11 提 出 了 利 用 时 间 共 生矩 阵 进 行 分 层 分 类 的 方 法 , 该 方 法 不 仅 可 以 用 来 区 分 物 体 ,还 可 以 用 来

15、 区 分 行 为 。113 运 动 跟 踪运 动 跟 踪 相 当 于 在 连 续 的 图 像 帧 间 创 建 基 于 位 置 、 速度 、 形 状 、 纹 理 、 色 彩 等 有 关 特 征 的 对 应 匹 配 问 题 , 常 用的 数 学 工 具 有 卡 尔 曼 滤 波 ( Kalman Filtering)、 Condensation算 法 及 动 态 贝 叶 斯 网 络 (Dynam ic Bayesian Network) 等 。其 中 Kalman滤 波 是 基 于 高 斯 分 布 的 状 态 预 测 方 法 , 不 能 有效 地 处 理 多 峰 模 式 (Multi - mode)

16、 的 分 布 情 况 ; Condensa2tion算 法 是 以 因 子 抽 样 为 基 础 的 条 件 密 度 传 播 方 法 , 结 合可 学 习 的 动 态 模 型 , 可 完 成 鲁 棒 的 运 动 跟 踪 。 依 据 不 同 的跟 踪 方 法 可 以 分 为 :(1) 基 于 模 型 的 跟 踪 (Model - based Tracking) ;(2) 基 于 区 域 的 跟 踪 (Region - based Tracking) ;(3) 基 于 活 动 轮 廓 的 跟 踪 (Active ContourBased Track2ing) ;(4) 基 于 特 征 的 跟 踪 (

17、 Feature - based Tracking)。基 于 多 摄 像 机 的 人 的 运 动 跟 踪 也 得 到 了 一 定 的 研 究 ,如 U tsum i 12 利 用 多 摄 像 机 对 人 进 行 跟 踪 , 通 过 选 择 最 好 的视 点 来 解 决 人 与 人 之 间 的 互 遮 挡 和 自 身 遮 挡 问 题 ; Cai等 13 提 出 了 在 不 同 摄 像 机 之 间 进 行 目 标 匹 配 的 概 率 方 法 ,并 且 对 相 邻 摄 像 机 之 间 的 自 动 切 换 问 题 作 了 探 讨 。114 行 为 理 解人 的 行 为 理 解 与 描 述 是 近 年

18、来 被 关 注 较 多 的 研 究 热 点 ,它 是 指 对 人 的 运 动 模 式 进 行 分 析 和 识 别 , 并 用 自 然 语 言 等加 以 描 述 。 其 关 键 问 题 是 如 何 从 学 习 样 本 中 获 取 参 考 行 为序 列 , 并 且 学 习 和 匹 配 的 行 为 序 列 必 须 能 够 处 理 在 相 似 的运 动 模 式 类 别 中 空 间 和 时 间 尺 度 上 轻 微 的 特 征 变 化 。 匹 配时 变 数 据 的 技 术 通 常 有 : 动 态 时 间 规 整 (Dynam ic TimeW arp ing) ; 隐 马 尔 可 夫 模 型 ( H id

19、den Markov Models) ; 神经 网 络 (Neural Network)。而 对 于 人 的 行 为 识 别 而 言 , 目 前 主 要 有 下 述 两 种 方 法 。(1) 模 板 匹 配 方 法 ( Temp late Matching)采 用 模 板 匹 配 技 术 的 行 为 识 别 方 法 首 先 将 图 像 序 列 转换 为 一 组 静 态 形 状 模 式 , 然 后 在 识 别 过 程 中 和 预 先 存 储 的行 为 标 本 相 比 较 。 例 如 Bobick与 Davis 14 采 用 运 动 能 量 图像 ME I (Motion Energy Image

20、s) 和 运 动 历 史 图 像 MH I (Mo2tion H istory Images) 来 解 释 图 像 序 列 中 人 的 运 动 。 Polana与Nelson 15 利 用 二 维 网 格 的 特 征 进 行 人 的 运 动 识 别 。 模 板 匹配 技 术 的 优 点 是 计 算 复 杂 度 低 、 实 现 简 单 , 然 而 它 对 于 噪声 和 运 动 时 间 间 隔 的 变 化 是 敏 感 的 。(2) 状 态 空 间 方 法 ( State Space App roaches)基 于 状 态 空 间 模 型 的 方 法 定 义 每 个 静 态 姿 势 作 为 一 个状

21、 态 , 这 些 状 态 之 间 通 过 某 种 概 率 联 系 起 来 。 任 何 运 动 序列 可 以 看 作 为 这 些 静 态 姿 势 的 不 同 状 态 之 间 的 一 次 遍 历 过程 , 在 这 些 遍 历 期 间 计 算 联 合 概 率 , 其 最 大 值 被 选 择 作 为分 类 行 为 的 标 准 。 Yamato等 16 利 用 二 维 小 区 域 块 的 运 动 、彩 色 、 纹 理 等 特 征 进 行 人 的 行 为 识 别 。 B regler 17 基 于 人 体动 力 学 在 不 同 抽 象 等 级 的 统 计 分 解 , 提 出 了 一 个 综 合 性 的网

22、络 用 来 识 别 人 的 运 动 。115 人 的 行 为 的 语 义 描 述人 的 行 为 的 语 义 描 述 是 应 用 自 然 语 言 的 概 念 , 选 择 一组 运 动 词 语 或 短 句 来 报 告 场 景 中 运 动 目 标 的 行 为 。 如 Koji2ma等 18 提 出 了 一 种 新 的 方 法 , 用 于 产 生 实 时 视 频 图 像 中人 的 行 为 的 自 然 语 言 描 述 。 Remagnino等 19 提 出 了 一 个 包含 行 人 与 车 辆 的 基 于 事 件 的 视 觉 监 控 系 统 , 该 系 统 提 供 了三 维 场 景 中 目 标 动 态

23、活 动 的 文 字 性 描 述 。 目 前 人 的 行 为 描述 还 只 局 限 于 简 单 的 语 义 解 释 , 对 复 杂 场 景 中 人 的 行 为 的语 义 描 述 工 作 还 相 当 艰 巨 。2 存 在 的 问 题 和 研 究 的 热 点虽 然 人 的 运 动 分 析 领 域 的 研 究 取 得 了 很 大 的 进 展 , 但仍 然 存 在 一 些 难 点 。 这 些 难 点 问 题 归 纳 起 来 主 要 体 现 在 运动 分 割 、 遮 挡 处 理 、 三 维 建 模 与 跟 踪 、 多 摄 像 机 的 使 用 、55吴 洪 森 刘 平 董 金 祥 : 基 于 视 觉 的 人

24、 体 运 动 识 别 研 究 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http:/性 能 评 估 等 方 面 。 随 着 研 究 的 深 入 , 以 前 的 难 点 不 断 地 被攻 克 , 又 不 断 地 产 生 新 的 研 究 热 点 , 综 合 起 来 看 主 要 有 以下 几 个 方 面 :(1) 音 频 与 视 觉 相 结 合 的 多 模 态 接 口 ;(2) 人 的 运 动 分 析 与 生 物 特 征 识 别 相 结 合 ;(3) 人 的 运 动 分 析 向

25、 行 为 理 解 与 描 述 高 层 处 理 的转 变 。3 结 论人 的 运 动 分 析 研 究 成 果 可 以 应 用 在 很 多 领 域 , 如 智 能 监控 系 统 、 虚 拟 现 实 、 人 机 交 互 以 及 在 医 学 和 体 育 运 动 等 方 面发 挥 作 用 的 运 动 分 析 等 。 譬 如 , 虚 拟 现 实 的 目 的 就 是 为 人 们提 供 一 个 虚 拟 的 交 互 世 界 。 而 在 这 个 虚 拟 世 界 中 , 我 们 想 要再 现 一 个 用 户 的 动 作 姿 态 , 就 必 须 首 先 获 得 他 在 真 实 物 理 空间 中 的 人 体 的 姿 态

26、 , 然 后 映 射 到 虚 拟 空 间 中 去 。 这 也 就 是 需要 用 到 人 体 运 动 视 觉 分 析 的 原 因 。 增 加 用 户 的 手 势 、 头 部 运动 和 面 部 表 情 等 方 面 的 表 达 , 将 提 供 给 用 户 更 加 广 阔 的 交 互空 间 。 另 外 , 人 的 运 动 分 析 在 虚 拟 游 戏 、 视 频 会 议 、 人 物 动画 制 作 等 虚 拟 现 实 场 合 也 有 着 相 当 广 泛 的 应 用 。参 考 文 献 1 Haritaoglu I, Harwood D and Davis L1W 4: real - timesurveill

27、ance of peop le and their activities J 1 IEEETrans Pattern Analysis and Machine Intelligence, 2000,22 (8) : 809 - 8301 2 McKenna S, et al1Tracking group s of peop le J 1Com2puter V ision and Image Understanding, 2000, 80 ( 1 ) :42 - 561 3 Karmann K and BrandtA1Moving object recognition using an a2da

28、ptive background memoryM / /V Cappellini, Time - varyingImage Processing and Moving Object Recognition1Netherlands:Elsevies,19901 4 KilgerM1A shadow handler in a video - based real - timetraffic monitoring system M / /Proc IEEE Workshop onApp lications of Computer V ision, Palm Sp rings: CA,1992: 10

29、60 - 10661 5 Stauffer C and Grim son W1Adap tive background m ixturemodels for real - time tracking C / /Proc IEEE Confer2ence on Computer V ision and Pattern Recognition, FortCollins: Colorado, 1999, 2: 246 - 2521 6 L ip ton A, Fujiyoshi H and Patil R1Moving target classifi2cation and tracking from

30、 real - time video M / /ProcIEEE Workshop on App lications of Computer V ision,Princeton: NJ, 1998: 8 - 141 7 Collins R, et al1A system for video surveillance and moni2toring: VSAM final report R 1Carnegie Mellon Univer2sity, Technical Report: CMU - R I - TR - 00 -12, 20001 8 Meyer D, Denzler J and

31、N iemann H1Model based extrac2tion of articulated objects in image sequences for gait analy2sis1 M / /Proc IEEE International Conference on ImageProcessing, California: Santa Barbara, 1997: 78 - 811 9 Friedman N and Russell S1 Image segmentation in video se2quences: a p robabilistic app roach C / /P

32、roc the Thir2teenth Conference on Uncertainty in A rtificial Intelligence,Rhode Island, USA, 19971 10 Stringa E1Morphological change detection algorithm s forsurveillance app lications C / /B ritish Machine V isionConference, UK: B ristol, 2000: 402 - 4111 11 Stauffer C1Automatic hierachical classif

33、ication using time- base co - occurrences C / /Proc1of IEEE CS Con2ference on Computer V ision and Pattern Recognition,1999: 333 - 3391 12 U tsum i A, Mori H, Ohya J, et al1Multip le - view -based tracking of multip le humans C / /Proc IEEE In2ternational Conference on Pattern Recognition, Austral2i

34、a: B risbane, 1998: 597 - 6011 13 Cai Q and Aggarwal J1Tracking human motion using mul2tip le cameras C / /Proc International Conference onPattern Recognition, V ienna, 1996: 68 - 721 14 Bobick A and Davis J1Real - time recognition of activityusing temporal temp lates M / /Proc IEEE Workshopon App l

35、ications of Computer V ision, Florida: Sarasota,1996: 39 - 421 15 Polana R and Nelson R1Low level recognition of humanmotion M / /Proc IEEE Workshop on Motion of Non -R igid and A rticulated Objects, Austin: TX, 1994: 77- 821 16 Yamato J, Ohya J and Ishii K1Recognizing human actionin time - sequenti

36、al images using hidden Markov model C / /Proc IEEE Conference on Computer V ision andPattern Recognition, Illinois: Champaign, 1992: 379- 3851 17 B regler C1Learning and recognizing human dynam ics invideo sequences C / /Proc IEEE Conference on Com2puter V ision and Pattern Recognition, Puerto: R ic

37、o,1997: 568 - 5741 18 Kojima et al1Generating natural language descrip tion ofhuman behaviors from video images C / /Proc IEEEInternational Conference on Pattern Recognition, Barce2lona, 2000: 728 - 7311 19 Remagnino P, Tan T and Baker K1Agent orientated an2notation in model based visual surveillance C / /ProcIEEE International Conference on ComputerV ision, Indi2a: Bombay, 1998: 857 - 8621(责 任 编 辑 陈 晓 明 )65吴 洪 森 刘 平 董 金 祥 : 基 于 视 觉 的 人 体 运 动 识 别 研 究