2D/3D人体姿态估计（2D/3D Human Pose Estimation）

最新推荐文章于 2026-05-15 08:31:26 发布

原创

最新推荐文章于 2026-05-15 08:31:26 发布 · 置顶 · 1.8w 阅读

本文深入探讨人体姿态估计技术，涵盖2D与3D姿态估计的定义、方法分类、难点、评价指标及常用数据集。从经典算法到深度学习模型，如CPM、Hourglass、Stacked Hourglass Network等，再到最新研究成果，全面解析人体姿态估计的进展与挑战。

1. 基本概念

算法改进入口
- 网络设计
- 特征流
- 损失函数
数据集的重要性：只要有一个好的、针对性的数据集，问题都可以解决
过集成新一代AutoML技术，可降低算法试错成本
人体姿态估计（Human Pose Estimation)：是指图像或视频中人体关节的定位问题。也可表述为：在所有关节姿势的空间中搜索特定姿势。
2D姿态估计（2D Pose Estimation）：从RGB图像估计每个关节的2D Pose（x，y）坐标。
3D姿态估计（3D Pose Estimation）：从RGBD图像中估计每个关节的3D Pose（x，y，z）坐标。
Human Pose Estimation：又名Human Keypoint Detection
人体姿态估计方法可分为：
- 基于模型的生成方法：Pictorial Structure Model (PSM)是最流行的基于模型的生成方法，传统的PSM将人体视为关节结构。该模型通常由两部分组成，分别对每个身体部位的外观和相邻部位之间的空间关系进行建模。D
人体位姿
- 位姿中的每一个坐标点称为一个“部分（part）”或关节(joint)或关键点（keypoint）
- 两个部分之间的有效连接称为一个“对（pair）“（或肢体）
- 不是所有的关节之间的两两连接都能组成有效pair(肢体)
常用术语：
- 基于判别的方法：把姿态估计当作一个回归问题

缩写	全称
mAP	mean Average Precision
AP	Average Precision
IoU	Intersection over Union
OKS	Object Keypoint Similarity
AR	Average Recall
MPJPE	Mean Per Joint Position Error

Percentage of Correct Parts - PCP(正确四肢的百分比)
- 如果两个预测关节位置和真实关节位置之间的距离小于肢体长度的一半（通常表示为PCP@0.5），则认为检测到肢体（正确的部分）
- 测量肢体的召回率。缺点是，由于较短的肢体具有较小的阈值，因此它对较短的肢体的惩罚更大
- PCP越大，模型越好
Percentage of Correct Key-points - PCK (正确关节的百分比)
- 如果预测关节和真实关节之间的距离在某个阈值内，则认为检测到的关节是正确的
- PCKh@0.5：阈值=头骨连接的50% (head bone link)
- PCK@0.2：预测关节和真实关节之间的距离<0.2*躯干直径（torso diameter）
- 有时采用150mm作为阈值, 由于较短的肢体具有较小的躯干和头部骨骼连接，因此可以缓解较短肢体的问题
- PCK可用于2D和3D
Percentage of Detected Joints - PDJ (检出关节的百分比)
- 如果预测关节和真实关节之间的距离在躯干直径的某一比例范围内，则认为检测到的关节是正确的
- PDJ@0.2=预测关节和真实关节之间的距离<0.2*躯干直径
Object Keypoint Similarity (OKS) based mAP
- 用于COCO关键点检测挑战赛中
  $\frac{\sum_{i} \exp \left(-d_{i}^{2} / 2 s^{2} k_{i}^{2}\right) \delta\left(v_{i}>0\right)}{\sum_{i} \delta\left(v_{i}>0\right)}$