MVG读书笔记——单应矩阵估计这件小事（一）

参数估计是计算机视觉中经常遇到的一个问题，为较好的估计参数，人们发明了各种各样的算法。这里我们就以单应矩阵H的估计为例，一个个介绍这些常用算法。

DLT算法

DLT（direct linear transform）算法是一个用于解决包含尺度的最小二乘问题的算法。可以解决的问题包括相机内参估计、单应矩阵估计、基础矩阵估计等。

以单应矩阵H的估算为例。由于H为$3\times 3$的矩阵，除去尺度的影响之后有8个自由度。需要4对对应点来求解。假设某一对对应点${\text{x}}_i,{\text{x}}_i^{\prime }$,则
$${\text{x}}_i^{\prime }=H{\text{x}}_i=\left[\begin{array}{c}{h}^{1T}{\text{x}}_i\\ h^{2T}{\text{x}}_i\\ h^{3T}{\text{x}}_i\end{array}\right]$$
其中$h^{jT}$代表H的第j行。

假设${\text{x}}_i^{\prime }=(x_i^{\prime },y_i^{\prime },w_i^{\prime }{)}^T$。对等式叉乘一个${\text{x}}_i^{\prime }$我们得到

$${\text{x}}_i^{\prime }\times H{\text{x}}_i=\left[\begin{array}{c}{y}_i^{\prime }{h}^{3T}{\text{x}}_i-w_i^{\prime }{h}^{2T}{\text{x}}_i\\ w_i^{\prime }{h}^{1T}{\text{x}}_i-x_i^{\prime }{h}^{3T}{\text{x}}_i\\ x_i^{\prime }{h}_{2T}{\text{x}}_i-y_i^{\prime }{h}^{1T}{\text{x}}_i\end{array}\right]=0$$
即
$$\left[\begin{array}{ccc}{0}^T& -w_i^{\prime }{\text{x}}_i^T& y_i^{\prime }{\text{x}}_i^T\\ w_i^{\prime }{\text{x}}_i^T& 0^T& -x_i^{\prime }{\text{x}}_i^T\\ -y_i^{\prime }{\text{x}}_i^T& x_i^{\prime }{\text{x}}_i^T& 0^T\end{array}\right]\left[\begin{array}{c}{\text{h}}^1\\ {\text{h}}^2\\ {\text{h}}^3\end{array}\right]=0\text{\hspace{1em}(1)}$$
可以记为$A_{i}h=0$。其中A是一个$3\times 9$的矩阵，h是一个9维向量，它的元素对应H中的元素。即
$$h=\left[\begin{array}{c}{h}^1\\ h^2\\ h^3\end{array}\right],H=\left[\begin{array}{c}{h}^{1T}\\ h^{2T}\\ h^{3T}\end{array}\right]$$

可以看到，$A_{i}h=0$是一个关于h的线性方程，$A_i$可以由对应点坐标得到。同时A的第三行其实可以由前两行线性表出。由此每对点实际上是给出了H的两个约束。简化A可以得到一个$2\times 9$的矩阵。

四点法

取四对点，将它们的线性方程系数矩阵进行叠加我们就得到了一个$8\times 9$（去除线性相关的行）或者$12\times 9$的矩阵，不论如何这个矩阵的秩都为8。于是我们可以从线性方程$A_{i}h=0$的一维零空间中得到h。这样的h有无穷多，彼此相差一个尺度，一般为求得唯一的解我们假设$||h||=1$。

这种解法也称为最小解，因为它使用的点数最少。
###多于四点的情况
当两幅图像中的对应点大于4对时，由于噪声的存在，矩阵A的秩为9，得到的线性方程只有零解。我们称这种方程为超定方程，此时可以求它的最小二乘解。即$min||Ah||$。对它的求解同样可以使用SVD分解。这将在后面进一步进行介绍。

退化

在使用四点法时，如果其中3点共线，就会发生退化。（很容易理解，3点共线=一点可以由其他两点线性表出=缺秩）从而得到无穷多解。这种在多于4点的情况也可能发生。

直线与混合情况下的求解

根据对偶原理，显然也可以根据两幅图像中的对应直线对。由$l_i=H^T{l}_i^{\prime }$可以进行求解，在此不多赘述。
混合情况下，3个直线对和三个点对互相等价（三角形），从而可以转换成纯点或纯直线的求解。2个直线对、2个点对的情况，和它的对偶情况无法求解，因为这相当于5个点对，其中有4个点共线点情况。