SLAM在线光度标定总结

Introduction¹

直接法依赖于光度恒定假设，但是多帧之间的曝光时间和辐照衰减都会破坏假设。

光度模型

物体通过反射光线从而被看见，一点反射的光量叫辐射（radiance）$L$。如果辐射和观测的角度独立，则是朗伯反射（漫反射）。

传感器在$x$位置接收的能量值叫辐照（Irradiance）$I(x)$.

不同的空间点的辐射与辐照应是一一对映的。但是相机都会存在渐晕，它符合cos的四阶关系，因此用$V:\Omega \to [0,1]$建模：
$$I(x)=V(x)L\text{\hspace{1em}(1)}$$
传感器在曝光时间$e$内对辐照进行积分，假设期间辐照恒定，因此建模为：
$$I_{acc}(x)=eI(x)\text{\hspace{1em}(2)}$$
经过相机响应函数(CRF)$f:\mathbb{R}\to [0,255]$后输出图像强度，CRF限制了动态范围，过曝会设为255，欠曝会设置为0.我们无法得到决对尺度，因此把CRF归一化到单位区间$[0,1]$。

因此辐射$L$映射为图像强度$O$：
$$O=f(eV(x)L)\text{\hspace{1em}(3)}$$

跟踪前端

使用金字塔KLT跟踪，在此基础上增加帧间的增益比，使用舒尔补来高效的实现。

为了恢复渐晕需要将特征点覆盖整个图像，因此使用网格来使特征均匀分布，使用长特征跟踪来更好的覆盖径向。

为了改善长期跟踪，使用双向光流剔除误匹配。同时还在特征附近使用小patch来一起加入优化，引入低梯度图像区域，降低对于几何误差的敏感。

优化后端

能量函数：
$$E=\sum _{p\in P}\sum _{i\in F_p}{w}_i^p{\Vert \underset{r\left(f,V,e_i,L^p\right)}{\underbrace{O_i^p-f\left(e_{i}V\left(x_i^p\right)L^p\right)}}\Vert }_h\text{\hspace{1em}(4)}$$
假设点都是在朗伯平面上。

CRF建模：
$$f_G(x)=f_0(x)+\sum _{k=1}^n{c}_k{h}_k(x)\text{\hspace{1em}(5)}$$
选择$n=4$，它满足$f_G(0)=0,f_G(1)=255$。

假设衰减因子是中心对称：
$$V(x)=1+v_{1}R(x{)}^2+v_{2}R(x{)}^4+v_{3}R(x{)}^6\text{\hspace{1em}(6)}$$
使用LM算法，将辐射的估计与其它参数解耦。

第一步

固定$L^p$，求雅克比
$$J=\left(\frac{\partial r}{\partial \mathbf{c}},\frac{\partial r}{\partial \mathbf{v}},\frac{\partial r}{\partial e_i}\right)\text{\hspace{1em}(7)}$$
通过求解公式（8）获得：
$$\left({\mathbf{J}}^T\mathbf{W}\mathbf{J}+\lambda \mathrm{diag}\left({\mathbf{J}}^T\mathbf{W}\mathbf{J}\right)\right)\Delta \mathbf{x}=-{\mathbf{J}}^T\mathbf{W}\mathbf{r}\text{\hspace{1em}(8)}$$
权重矩阵由两部分的权重因子组成，第一是Huber函数，第二是降低高梯度图像位置的权重，防止小的不准确导致大的错误，即：
$$w_r^{(2)}=\frac{\mu }{\mu +{\Vert \nabla F_i\left(x_i^p\right)\Vert }_2^2}\text{\hspace{1em}(9)}$$
公式（9）会降低图像块中心的权重，增加附近残差的权重。

第二步

固定其他的参数，每个点都是独立更新：
$${\mathbf{J}}^p=\left(\frac{\partial r}{\partial L^p}\right)\text{\hspace{1em}(10)}$$

Δ L = − J p T W p r p ( 1 + λ ) J p T W p J p (11) \Delta L=\frac{-\boldsymbol{J}_{p}^{T} \boldsymbol{W}_{p} \boldsymbol{r}_{p}}{(1+\lambda) \boldsymbol{J}_{p}^{T} \boldsymbol{W}_{p} \boldsymbol{J}_{p}} \tag{11} ΔL=(1+λ)JpT​Wp​Jp​−J