22、人脸光照建模与跨姿态和光照的人脸识别

人脸光照建模与跨姿态和光照的人脸识别

1. 人脸光照建模

1.1 谐波基的构建

在人脸光照建模中，谐波基可以直接从图像构建，而无需构建 3D 模型。一些研究已经针对此问题提出了解决方案，例如 Lee 等人和 Sato 等人的工作。此外，还有其他方法利用谐波表示对不同光照下的人脸图像进行聚类，或者使用从一组其他人脸的 3D 模型导出的统计模型，仅从一张图像确定人脸的谐波图像。

1.2 运动物体的处理

传统的光度立体方法要求物体在光照变化时保持静止，这对于人脸识别来说，需要受试者配合并控制光照。一种替代方法是使用运动人脸的视频。Simakov 等人提出的方法假设人脸的运动是已知的，例如通过跟踪眼睛和嘴角等几个特征点。这样就可以知道图像之间的对极约束，以及（在相机校准的情况下）从 3D 到每个图像的映射。
为了实现密集形状重建，需要找到所有图像中点的对应关系。与立体视觉不同，在运动物体的情况下，点的强度会随着它们远离或朝向光源而改变。因此，为每个 3D 点关联一个“对应度量”，该度量通过计算以下方程组的残差来确定：
[I_j = \rho l^T R_j Y(n)]
其中，(1 \leq j \leq f)，(f) 是图像的数量，(I_j) 表示 3D 点在第 (j) 个图像中的投影强度，(\rho) 是未知的反照率，(l) 是未知的光照系数，(R_j) 是第 (j) 个图像中物体的旋转，(Y(n)) 是针对未知表面法线计算的球谐函数。为了计算残差，需要找到 (l) 和 (n)，以使方程两边的差异最小化。
计算完每个 3D 点的对应度量后，可以将该度量纳入任何立体算法中，以提取使该度量最小化的表面，可能还需要满足一些平