单目深度估计基础理论和论文学习总结

单目深度估计基础理论和论文学习总结

一、背景知识：

三维刚体运动的数学表示：旋转平移矩阵、旋转向量、欧拉角、四元数、轴角模型、齐次坐标、各种变换等

照相机模型：单目/双目模型，单目中的世界坐标系/相机坐标系/图像坐标系的互相转换、畸变与矫正，双目涉及的视差和深度的反比关系、基线，鱼眼模型和校正等

图像变换：线性变换、仿射变换、透视（投影变换）

图像相似度评价指标：SSIM/PSNR/MSE、平滑损失、ξ等。

参考：《视觉SLAM十四讲》

二、综述类文章：

1、基于深度学习的单目深度估计综述

黄飘：基于深度学习的单目深度估计综述

一篇中文的比较全的综述，每一项介绍的比较简单，适合复习的时候看，包括背景介绍、有监督无监督方法、数据集、相关工作等。

2、Deep Learning based Monocular Depth Prediction: Datasets, Methods and Applications

英文的极其全的综述，非常好

3、深度学习之单目深度估计（上、下）

桔子毛：深度学习之单目深度估计 (Chapter.1)：基础篇

桔子毛：深度学习之单目深度估计 (Chapter.2)：无监督学习篇

这一套比较详细地讲了理论，收获很大，了解了有监督方法的网络架构设计：couse-fine网络设计、基于FCN和更深的resnet50的设计，和无监督方法具体用的损失函数如光度重建误差的含义、SSIM指标含义、齐次坐标的含义、利用立体图像重建的naïve方法的思路、左右视图重建方式改变的NOLR方法的好处（可以一一对应没有空洞）、基于左右一致性的monodepth思路和他的损失函数的设计、视差图和深度图的关系、半监督的方法、基于视频重建方法的思路和他针对运动物体设计的mask约束的思路等等，但因为是2017年写的，后面的就没有了，monodepth2的改进要另外查。

三、视频课程：

1）付费课程：单目深度估计方法: 理论与实战