【手部姿态估计】【论文精读】3D Hand Shape and Pose Estimation from a Single RGB Image

[Abstract]

本文的工作解决了一个新的和具有挑战性的问题，即从单一RGB图像估计完整的3D手的形状和姿势。目前基于单目RGB图像的手的三维分析方法主要集中于估计手关键点的三维位置，但这不能充分表达手的三维形状。相反，本文提出了一种基于图卷积神经网络(Graph Convolutional Neural Network, Graph CNN)的方法来重建完整的手部三维网格 (mesh)，其中包含了更丰富的手部三维形状和姿势信息。为了在完全监督下训练网络，本文创建了一个包含 GroundTruth 三维网格和三维姿态的大规模合成数据集。当在没有3D GroundTruth 数据的情况下对网络进行微调时，本文提出了一种弱监督方法，即利用深度图 (depth) 作为训练过程中的弱监督。通过对本文提出的新数据集和两个公共数据集的广泛评估，表明，我们所提出的方法可以产生精确和合理的三维手部网格，并可以实现优越的三维手部姿态估计精度，与最先进的方法相比。
(摘要指出之前的手部姿态估计方法大多止步于回归三维手部关键点的坐标，作者认为这种抽象后的手部关键点坐标并不能反映手部形态的细节，所以提出了本文的方法用于得到一个更准确的手部shape)

【Introduction】

基于视觉的三维手部分析在虚拟现实(VR)和增强现实(AR)中有着广泛的应用，是一个非常重要的课题。然而，尽管经过多年的研究，由于手的形状、姿势、手势、遮挡等的多样性和复杂性，它仍然是一个悬而未决的问题。在过去的十年中，我们见证了从深度图像中估计三维手部姿态的快速发展。考虑到RGB相机比深度相机更广泛，一些最近的工作开始从单目RGB图像中研究3D手部分析，主要集中在估计稀疏的3D手部关节位置，但忽略了密集的3D hand shape。然而，许多身临其境的VR和AR应用往往需要精确估计三维手的姿势和形状。

(从这一段的背景介绍以及应用意义来看，作者所提出的方法主要应用于AR/VR领域，在一些虚拟现实的应用中，的确需要更加逼真和精细化的手部模型。所以，作者顺势指出之前研究的痛点：仅仅得到关节点没有进一步得到3D hand s