基于单目视频无标记点的三维人体姿态估计研究(可编辑)

基于单目视频无标记点的三维人体姿态估计研究（可编

辑）

基于单目视频无标记点的三维人体姿态估计研究 工 学 博 士 学 位 论 文

基于 单目视频 无标记点 的 三维 人体姿态 估 计 的研究 刘 晨 光

哈 尔 滨 工 业 大 学

2011 年 6 月国 内 图 书 分 类 号 :TP391.4 国 际 图 书 分 类 号 :681.39工 学 博 士 学 位 论 文 基于 单目视频 无标记点 的 三维人体姿态 估

计的研究

博士研究 生 : 刘晨光 导 师: 唐降龙 教授 申 请 学 位 : 工学博士

学科、专 业 : 人工智能与信息处理 所 在 单 位 : 计算机科学与技术学院 答 辩 日 期 :2011 年 6 月 授予学位单 位 : 哈尔滨工业大学

Classified Index: TP391.4 U.D.C.: 681.39Dissertation for the Doctoral Degree in Engineering

3D MARKERLESS HUMAN POSE ESTIMATION BASED ON MONOCULAR VIDEO SEQUENCES Candidate: Chenguang Liu

Supervisor: Prof. Xianglong Tang

Academic Degree Applied for: Doctor of Engineering

Speciality: Artificial Intelligenceand Information Processing Affiliation: School of Computer Science and Technology

Date of Defence: June 2011

Degree-Conferring-Institution: Harbin Institute of Technology摘 要 摘 要

基 于 视 频 的 人 体 姿 态 跟 踪 和 三 维 姿 态 估 计 在 人 体 动 画 、 游 戏 、 人 机 交 互 、

视 觉 监 控 、 体 育 运 动 分 析 、 医 疗 诊 断 、 虚 拟 现 实 和 增 强 现 实 等 领 域 均 有 着 广

阔 的 应 用 前 景 。 传 统 的 方 法 中 , 需 要 在 人 体 上 安 装 标 记 点 以 实 现 对 人 体 精 确

的 姿 态 跟 踪 , 但 此 类 系 统 通 常 都 非 常 昂 贵 , 而 且 添 加 的 标 记 点 一 定 程 度 上 影

响 了 人 体 的 运 动 , 极 大 地 限 制 了 该 系 统 的 应 用 。 如 智 能 监 控 、 人 机 接 口

(HCI ) 、 医 疗 诊 断 、 体 育 运 动 分 析 等 应 用 都 需 要 利 用 无 标 记 点 的 人 体 运 动

跟 踪 方 法 。 基 于 视 频 的 无 标 记 点 人 体 运 动 捕 捉 系 统 就 是 为 了 这 一 目 标 而 提 出

的 , 并 且 经 过 二 十 余 年 的 发 展 , 逐 渐 成 为 一 个 热 门 的 研 究 领 域 。 本文着眼于

单 目 视 频 中 无 标 记 点 的 人 体 姿 态 跟 踪 和 三 维 姿 态 估计 展 开 研 究 工 作 , 主 要 贡

献 包 括 以 下 三 个 方 面 :

首 先 , 在 目 标 跟 踪 领 域 , 常 常 通 过 建 立 先 验 模 型 , 如 路 径 一 致 性 假 设 模

型 , 对 目 标 轨 迹 进 行 预 测 来 处 理 跟 踪 过 程 中 的 遮 挡 问 题 。 然 而 , 当 这 种 预 测

与 目 标 的 实 际 运 动 轨 迹 相 差 较 大 的 时 候 就 会 发 生 跟 踪 失 败 。 针 对 这 一 问 题 ,

本 文 提 出 了 一 种 交 互 式 粒 子 滤 波 方 法 , 通 过 判 断 不 同 目 标 样 本 观 测 之 间 的 遮

挡 关 系 , 自 适 应 地 选 择 不 同 外 观 模 板 进 行 相 似 性 度 量 以 更 新 粒 子 权 值 , 成 功

地 解 决 了 跟 踪 过 程 中 各 目 标 之 间 的 相 互 遮 挡 问 题 。 人 体 四 肢 可 以 看 做 铰 链 连

接 的 多 个 目 标 进 行 跟 踪 , 因 此 可 以 利 用 交 互 式 粒 子 滤 波 算 法 思 想 解 决 肢 体 之

间 的 遮 挡 问 题 , 实 现 对 肢 体 的 稳 定 的 二 维 跟 踪 。 其 次 , 提 出 一 种 适 用 于 三 维 人 体 运 动 跟 踪 和 姿态 估计的 具 有 肢 体 长 度 约

束 信 息 的 人体 图 模 型 , 并 将 该 模 型 与 一 个 用 于 获 取 肢 体 观 测 的 二 维 外 观 纸 板

人 体 模 型 和 一 个 用 于 三 维 人 体 姿 态 估计 的 三 维 火 柴 棍 人 体 模 型 进 行 了 有 机 地

结合 。 作者 针 对 分 块 采 样 粒 子 滤 波 算 法 提 出 人 体 图 模 型 。 在 该 模 型 中 , 图 的

节 点 与 关 节 点 相 对 应 , 而 边 与 肢 体 观 测 和 肢 体 长 度 约 束 相 对 应 , 能 够 更 好 地

将 约 束 信 息 融 合 到 人 体 姿 态 跟 踪 的 概 率 框 架 内 。 同 时 , 该 人 体 图 模 型 与 二 维

纸 板 模 型 和 三 维 火 柴 棍 人 体 模 型 有 着 相 同 的 关 节 结 构 , 便 于 二 维 和 三 维 关 节

点 坐 标 序 列 的 计 算 。

- I - 哈尔滨工业大学工学博士学位论文

最 后 , 粒 子 滤 波 算 法 虽 然 提 供 了 一 种 在 一 组 非 高 斯 、 非 线 性 且 多 模 的 观

测 数 据 中 估 计 后 验 概 率 的 有 效 方 法 。 但 由 于 人 体 姿 态 跟 踪 的 高 维 特 性 , 在使

用 粒 子 滤 波 解 决 这 一 问 题 时 通 常 需 要 大 量 的 粒 子 , 使 粒 子 滤 波 算 法 运 行 缓 慢

甚 至 失 效 。 本 文 引 入 分 块 采 样 粒 子 滤 波 算 法 (Partitioned Sampling Particle

Filtering ) , 在 此 框 架 下 使 用 颜 色 、 边 缘 和 运 动 特 征 相 融 合 构 造 粒 子 权 值 度

量 函 数 。 同 时 , 在 所 提 出 的 人 体 图 模 型 上 使 用 一 种 改 进 的 信 任 度 传 播

(Belief Propagation ) 算 法 进 行 权 值 的 传 播 , 使 得 在 一 个 关 节 点 上 能 够 同 时

应 用 多 个 人 体 约 束 。 结 合 交 互 式 粒 子 滤 波 算 法 , 实 现 了 对 肢 体 的 稳 定 的 二 维

跟 踪 。 在 捕 获 人 体 关 节 点 二 维 图 像 坐 标 后 , 根 据 摄 像 机 成 像 模 型 计 算 出 各 关

节 点 的 相 对 三 维 坐 标 , 进 而 估 算 出 人 体 相 对 图 像 坐 标 系 的 三 维 姿 态 。

本文的研究工作为多目标跟踪领域提供了一种 处理 目标间遮挡 问 题 的 方 法 , 并 将 该 方 法 应 用 到 二维 铰 链 人 体 姿态 跟 踪 领 域 , 较 好 地 处 理 了 肢体 间的

自 遮 挡 问 题 。 同 时 , 通 过 引 入 分 块 采 样 粒 子 滤 波 算 法 并 在 一 个 人 体 图 模 型 上

应 用 肢 体 长 度 约 束 , 实 现 了 较 为 精 确 的 二 维 人 体 姿 态 跟 踪 。 最 后 , 通 过 采 用

比 例 正 交 投 影 模 型 计 算 关 节 点 相 对 三 维 坐 标 , 实 现 了 三 维 人 体 姿 态 的 估计 。

实验 表 明 , 本 文 方 法 具 有 较 高 的 精 度 和 较 强 的 鲁 棒 性 。

关 键 词: 单 目 视 频 ; 无 标 记 点 ; 人体 三 维 姿 态 估 计 ; 人 体 模 型 ; 分 块 采 样 ;粒 子 滤 波- II - Abstract Abstract

Vision based human pose estimation can be applied to a number of fields

including 3D animation, video games, human computer interaction HCI, in-