【SLAM】VINS-MONO解析——基于vins-mono的双目slam系统开发

本文深入解析了VINS-Fusion与VINS-Mono的核心技术差异，重点阐述了从单目到多传感器融合的演进。VINS-Fusion通过引入双目相机，在特征点三角化、系统初始化和重投影误差模型等核心环节实现了根本性革新，解决了单目VIO的尺度不确定性问题，显著提升了定位系统的鲁棒性、精度和启动速度。

VIO（visual-inertial odometry）即视觉惯性里程计，有时也叫视觉惯性系统（VINS，visual-inertial system），是融合相机和IMU数据实现SLAM的算法，根据融合框架的区别又分为紧耦合和松耦合，松耦合中视觉运动估计和惯导运动估计系统是两个独立的模块，将每个模块的输出结果进行融合，而紧耦合则是使用两个传感器的原始数据共同估计一组变量，传感器噪声也是相互影响的，紧耦合算法上比较复杂，但充分利用了传感器数据，可以实现更好的效果，是目前研究的重点。 IMU与视觉比较 相机

VINS是视觉与IMU融合SLAM的代表，其实现了一个较为完整的SLAM工作，开源地址为：GitHub - HKUST-Aerial-Robotics/VINS-Mono: A Robust and Versatile Monocular Visual-Inertial State Estimator优点：缺点：

连载文章，长期更新，欢迎关注：不管是激光SLAM还是视觉SLAM，由于传感器采样率、传感器测量精度、主机计算力等因素的限制，在高速运动状态下定位追踪极易丢失。虽然轮式里程计能为激光SLAM系统提供短期运动预测以避免高速运动时丢失的风险，轮式里程计还能在长走廊这样的低特征环境下提供定位辅助。但是轮式里程计也不是万能的，当地面起伏较大或轮子打滑时，轮式里程计将不再可靠；对于在三维空间工作的视觉SLAM来说，提供二维空间定位信息的轮式里程计很难应用其中。

5.vins_estimator 基本上VINS里面绝大部分功能都在这个package下面，包括IMU数据的处理(前端)，初始化(我觉得可能属于是前端)，滑动窗口(后端)，非线性优化(后端)，关键帧的选取(部分内容)(前端)。我第一次看的时候，总是抱有一个疑问，就是为什么把这么多内容全都放在这一个node里面。为了回答这个问题，那么首先先搞清楚vins_estimator里面分别具体都是什么，为什...

目前网上有很多分析文章，但是都只是一些比较基础的原理分析，而且很多量，虽然有推倒，但是往往没有讲清楚这些量是什么，为什么要有这些量，这些量是从哪来的，也没有刷通整个代码，或者太简练了，对新手不友好。这一次我计划从原理/代码一步步刷通整个VINS，并且说清楚代码中遇到的每一个数据结构对应的作用是什么。 github官方上开源了VINS-mono，VINS-Fusion和VINS-mobile，还有另...

vins-mono刷了三遍，手写vio刷了两遍，从一开始完全看不懂是啥，再到自己写总结写攻略，真的有很多感慨。学习开源代码的目的其实就是是为了自己能够去开发一个vio，一个slam系统。 slam最难的就是工程化了，公式很多人推导了一遍又一遍，道理大家都懂，但是转化为c++项目就是另一码事了。 vins系列真的是神作，对沈老师和对秦神真的是佩服。在这里我对vins-mono进行了一下小小的提升和修...

下面咱们来对vins-mono的重定位vins-mono官方源码地址：https://github.com/HKUST-Aerial-Robotics/VINS-Mono https://blog.csdn.net/learning_tortosie/article/details/83182258 运行这条： roslaunch benchmark_publisher publish.launc...

vins-mono+vins-fusiuon中的一些主要问题进行总结算法框架主要分为数据预处理、系统初始化、基于滑窗的VIO过程和回环检测等四个模块。在数据预处理模块主要包括图像直方图均衡、KLT特征点提取以及去畸变处理和光流跟踪，IMU部分主要是做一个预积分操作。系统初始化首先进行纯视觉的sfm，在当前滑窗中寻找视差(20个像素)和匹配点(30)比较多的两帧图像做初始化，主要是基于对极约束得到一个不带尺度信息的R和t，然后三角化出一组3D点。最后通过pnp求解出其他几帧图像对应的位姿。

VINS-Mono是HKUST的Shen Shaojie团队开源的一套Visual-Inertial紧耦合融合定位算法，https://github.com/HKUST-Aerial-Robotics/VINS-Mono。

1. **SIFT (Scale-Invariant Feature Transform)**：尺度不变特征变换，由David Lowe提出，能检测到图像中的关键点并计算出描述子，对尺度和旋转具有鲁棒性。4. **RANSAC (Random Sample Consensus)**：随机抽样一致性算法，用于估计数据集中的参数模型，通常用于去除匹配过程中的异常值。2. **SURF (Speeded-Up Robust Features)**：加速稳健特征，是对SIFT的改进，计算更快。

本文旨在对前一阶段学习vins-mono开源框架的总结。结合暑假秋招之前报名的深蓝学院的《从零开始手写VIO》课程，本文从VIO原理以及开源代码分析两部分进行详细介绍。PS：提升代码能力最好的办法就是从头到尾撸开源框架，这种体验是单纯推导公式体会不到的。 本文只是VINS-Mono的目录部分，具体内容链接如下，共分为12部分，对应系统的4大部分：图像和IMU预处理、初始化、后端滑动窗口优化、闭环检...

本讲是VINS最核心部分了，前面经历了 1）视觉跟踪feature_tracker、IMU预积分integrationBase类； 2）初始化中SFM纯视觉估计滑动窗中所有帧的位姿和3D路标点深度、SFM与IMU预积分松耦合对齐求解初始化参数。 在完成前面的初始化环节后，本节将进行第3部分，基于滑动窗的紧耦合后端非线性优化：将视觉约束、IMU约束、闭环约束放到一个大的目标函数中进行非线性优化，求解...

如果你想用MYNT EYE相机运行VINS-Mono，请按照以下步骤操作： Install MYNT-EYE-VINS-Sample mkdir -p ~/catkin_ws/src cd ~/catkin_ws/src git clone -b sdk2 https://github.com/slightech/MYNT-EYE-VINS-Sample.git cd .. catkin_make...

之前已经安装过VIns-Mono和Vins-Fusion。所以基于Vins-Mono改进的PL-VINS与前者所需环境一致，不需要额外配置。测试系统环境为Ubuntu18.04，ROS1 Melodic，Eigen-3.3.3，Opencv-3.2.0，Ceresolver-1.14.0。

新建 camchain.yaml，imu.yaml。参数参考上面得到的multicameras_calibration-camchain.yaml文件，将cam2的部分全部删掉，因为联合标定的时候不需要camera/color的话题，我们只需要/infra_left和/infra_right。大家仅供参考。

继 VINS-Mono 和 VINS-Mobile 之后，香港科技大学沈劭劼老师实验室正式发布了双目版 VINS 开源项目 VINS-Fusion 。项目推荐了小觅双目摄像头标准版（MYNT EYE Standard）作为推荐使用的双目惯导相机之一！能被全球顶尖实验室选中并推荐，MYNTAI 小觅智能深感荣幸！VINS-Fusion 是一种基于优化的多传感器状态估计器，可实现自主应用（无人机，汽车...

经典的VINS-Mono程序，对应系统的4大部分：图像和IMU预处理、初始化、后端滑动窗口优化、闭环检测和优化。 一、 图像和IMU预处理 图像： 提取图像Harris角点，金字塔光流跟踪相邻帧，RANSAC去除异常点，最后将跟踪到的特征点push到图像队列中，并通知后端进行处理。IMU： 1）IMU积分，得到PVQ 位置、速度、旋转； 2）计算在后端优化中将用到的相邻帧的预积分增量； 3）计算预积分误...