ORB -SLAM2 ---- Tracking::Tracking和GrabImageStereo

最新推荐文章于 2026-07-05 18:21:14 发布
原创 最新推荐文章于 2026-07-05 18:21:14 发布 · 972 阅读 · 19 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测

文章目录

一、Tracking::Tracking

1. 函数讲解，

这是Tracking中的构造函数，此函数的主要作用是为在初始化（初始化追踪线程）的时候使用，主要作用是：

  1. 获取相机的内参
  2. 初始化相机的内参矩阵
  3. 初始化畸变系数
  4. 初始化帧率
  5. 输出相机参数（RGB相机还要输出颜色通道顺序）
  6. 读取图像信息
  7. 初始化特征特取器（双目则初始化左右目）
  8. 输出图像信息

2. 函数源码

Tracking::Tracking(System *pSys, ORBVocabulary* pVoc, FrameDrawer *pFrameDrawer, MapDrawer *pMapDrawer, 
    Map *pMap, KeyFrameDatabase* pKFDB, const string &strSettingPath, const int sensor):
    mState(NO_IMAGES_YET), mSensor(sensor), mbOnlyTracking(false), mbVO(false), mpORBVocabulary(pVoc),
    mpKeyFrameDB(pKFDB), mpInitializer(static_cast<Initializer*>(NULL)), mpSystem(pSys), mpViewer(NULL),
    mpFrameDrawer(pFrameDrawer), mpMapDrawer(pMapDrawer), mpMap(pMap), mnLastRelocFrameId(0)
{
    // Load camera parameters from settings file
    // 从设置文件中读取相机参数
    cv::FileStorage fSettings(strSettingPath, cv::FileStorage::READ);
    float fx = fSettings["Camera.fx"];
    float fy = fSettings["Camera.fy"];
    float cx = fSettings["Camera.cx"];
    float cy = fSettings["Camera.cy"];

    // 初始化相机内参矩阵 K
    cv::Mat K = cv::Mat::eye(3,3,CV_32F); // 三行三列的矩阵 （row行，column列）
    K.at<float>(0,0) = fx;
    K.at<float>(1,1) = fy;
    K.at<float>(0,2) = cx;
    K.at<float>(1,2) = cy;
    //K = [ fx  0   cx]
    //    [ 0   fy  cy]
    //    [ 0   0   1 ]
    K.copyTo(mK); //将矩阵K复制到mK中

    // 初始化畸变系数
    cv::Mat DistCoef(4,1,CV_32F);
    DistCoef.at<float>(0) = fSettings["Camera.k1"];
    DistCoef.at<float>(1) = fSettings["Camera.k2"];
    DistCoef.at<float>(2) = fSettings["Camera.p1"];
    DistCoef.at<float>(3) = fSettings["Camera.p2"];
    const float k3 = fSettings["Camera.k3"];
    // 有的相机没有参数K3，如果有就重新分配空间，将k3加入DistCoef中
    if(k3!=0)
    {
        DistCoef.resize(5);
        DistCoef.at<float>(4) = k3;
    }
    // 将DistCoef中的数据深度拷贝到mDistCoef中
    DistCoef.copyTo(mDistCoef);

    // bf是b*f（基线*焦距）
    mbf = fSettings["Camera.bf"];

    // 初始化帧率
    float fps = fSettings["Camera.fps"];
    if(fps==0)
        fps=30;

    // Max/Min Frames to insert keyframes and to check relocalisation
    // 两个关键帧最大最小帧数限制
    mMinFrames = 0;
    mMaxFrames = fps;

    // 输出相机参数
    cout << endl << "Camera Parameters: " << endl;
    cout << "- fx: " << fx << endl;
    cout << "- fy: " << fy << endl;
    cout << "- cx: " << cx << endl;
    cout << "- cy: " << cy << endl;
    cout << "- k1: " << DistCoef.at<float>(0) << endl;
    cout << "- k2: " << DistCoef.at<float>(1) << endl;
    if(DistCoef.rows==5)
        cout << "- k3: " << DistCoef.at<float>(4) << endl;
    cout << "- p1: " << DistCoef.at<float>(2) << endl;
    cout << "- p2: " << DistCoef.at<float>(3) << endl;
    cout << "- fps: " << fps << endl;

    // 读取输入图像的颜色通道顺序（ 1:RGB 0:BGR ）『R：红 G：绿 B：蓝』
    int nRGB = fSettings["Camera.RGB"];
    mbRGB = nRGB;
    // 输出一下使用的颜色通道排序
    if(mbRGB)
        cout << "- color order: RGB (ignored if grayscale)" << endl;
    else
        cout << "- color order: BGR (ignored if grayscale)" << endl;

    // Load ORB parameters
    // 读取图像信息
    int nFeatures = fSettings["ORBextractor.nFeatures"];    // 特征点的个数
    float fScaleFactor = fSettings["ORBextractor.scaleFactor"]; // 金字塔图层之间的比例系数
    int nLevels = fSettings["ORBextractor.nLevels"];        // 金字塔层数
    int fIniThFAST = fSettings["ORBextractor.iniThFAST"];   // 角点提取的阈值
    int fMinThFAST = fSettings["ORBextractor.minThFAST"];   // 降低后的阈值
    
    // 创建并初始化（显示初始化）特征提取模块（左眼）
    mpORBextractorLeft = new ORBextractor(nFeatures,fScaleFactor,nLevels,fIniThFAST,fMinThFAST);

    if(sensor==System::STEREO)
    // 如果是双目，还要初始化右眼
        mpORBextractorRight = new ORBextractor(nFeatures,fScaleFactor,nLevels,fIniThFAST,fMinThFAST);

    if(sensor==System::MONOCULAR)
    // 如果是单目，提取双倍提取特征点
        mpIniORBextractor = new ORBextractor(2*nFeatures,fScaleFactor,nLevels,fIniThFAST,fMinThFAST);

    // 输出图像信息
    cout << endl  << "ORB Extractor Parameters: " << endl;
    cout << "- Number of Features: " << nFeatures << endl;
    cout << "- Scale Levels: " << nLevels << endl;
    cout << "- Scale Factor: " << fScaleFactor << endl;
    cout << "- Initial Fast Threshold: " << fIniThFAST << endl;
    cout << "- Minimum Fast Threshold: " << fMinThFAST << endl;

    if(sensor==System::STEREO || sensor==System::RGBD)
    {
        mThDepth = mbf*(float)fSettings["ThDepth"]/fx;
        cout << endl << "Depth Threshold (Close/Far Points): " << mThDepth << endl;
    }

    if(sensor==System::RGBD)
    {
        mDepthMapFactor = fSettings["DepthMapFactor"];
        if(fabs(mDepthMapFactor)<1e-5)
            mDepthMapFactor=1;
        else
            mDepthMapFactor = 1.0f/mDepthMapFactor;
    }

}

一、GrabImageStereo()

1. 函数讲解

这个函数System.cc中被调用，重要作用有：

  1. 抓取左右目图像
  2. 将抓取的图像转换为灰度图像
  3. 初始化帧，因为这里往往被作为相机的初始帧
  4. 调用Track();跟踪此帧（这个非常非常重要，是这个追踪线程的最主要部分，代码量和难度都很大）
  5. 返回当前帧的世界坐标（当前帧相机的世界坐标）

2. 函数源码

cv::Mat Tracking::GrabImageStereo(const cv::Mat &imRectLeft, const cv::Mat &imRectRight, const double &timestamp)
{
    // 拷贝左右目图像
    mImGray = imRectLeft;
    cv::Mat imGrayRight = imRectRight;

    // 将RGB或RGBA图像转为灰度图像
    // 对于这个if，elseif表示不理解，感觉可以不用，或者合并
    if(mImGray.channels()==3)
    {
        if(mbRGB)
        {
            cvtColor(mImGray,mImGray,CV_RGB2GRAY);
            cvtColor(imGrayRight,imGrayRight,CV_RGB2GRAY);
        }
        else
        {
            cvtColor(mImGray,mImGray,CV_BGR2GRAY);
            cvtColor(imGrayRight,imGrayRight,CV_BGR2GRAY);
        }
    }
    else if(mImGray.channels()==4)
    {
        if(mbRGB)
        {
            cvtColor(mImGray,mImGray,CV_RGBA2GRAY);
            cvtColor(imGrayRight,imGrayRight,CV_RGBA2GRAY);
        }
        else
        {
            cvtColor(mImGray,mImGray,CV_BGRA2GRAY);
            cvtColor(imGrayRight,imGrayRight,CV_BGRA2GRAY);
        }
    }

    // 显示初始化双目的构造函数
    mCurrentFrame = Frame(mImGray,imGrayRight,timestamp,mpORBextractorLeft,mpORBextractorRight,mpORBVocabulary,mK,mDistCoef,mbf,mThDepth);
    // 跟踪（调用Tracking::Track()）
    Track();
    // 返回当前帧的世界坐标
    return mCurrentFrame.mTcw.clone();
}

三、 学习方法（路线）

在前面的特征提取ORBextractor.cc和帧Frame.cc的学习中，作者是一次性将整个文件学完，但是在学习MapPoint.cc等文件时，发现他们并不具备完整性，很锁碎，函数之间几乎很少有关联。所以在后续的学习中开始改变学习方法，从三个主要线程入手，碰到一个函数就进入一个函数学习，果然提高了学习效率也不再感到学了又望（因为层次明显，学完会回到上一层）。而且这样做还有一个当时未曾想到的好处，就是学完这个文件（ORB-SLAM2）后翻看所有的.cc文件，看哪些函数没有被标注过（本人看过的代码都会进行标注），就可以查缺补漏。

四、总结

这两个函数在追踪线程中有着极为重要的作用，Tracking::Tracking在初始化追踪线程时用到，GrabImageStereo() 中调用的Track();是追踪线程的主体，后续会详细讲解追踪线程中的其他函数。如果有什么问题或者建议，欢迎大家交流。

标签
#数码相机 #opencv #人工智能
Tracking::GrabImageStereo
小秋 AI SLAM 入门实战教程
05-19 663
数据拷贝：通过将参数的值赋给新的变量，特别是局部变量，可以进行数据的拷贝，避免直接对传入参数的引用进行修改。避免副作用：直接操作参数可能会对传入的参数产生副作用，修改参数的值可能会影响调用函数的上下文或其他地方使用的参数值。保留参数的原始值：将参数的值赋给类的成员变量和局部变量可以保留参数的原始值，以备后续需要使用或比较。需要注意的是，这里的赋值操作是进行了数据的拷贝，而不是简单的指针赋值。返回克隆的对象是为了确保返回的对象与原始对象的数据相互独立，避免外部对返回的对象进行修改影响到原始对象的数据。
ORB-SLAM2源码学习：Tracking.cc：GrabImageStereo、GrabImageRGBD、GrabImageMonocular处理图像
2301_76831056的博客
02-09 532
该部分函数在Tracking.cc源文件中定义，用于处理图像。
直播抠图技术100谈之29--直播中白平衡的重要性
蓝松SDK
07-01 282
直播画面通透度的关键往往在于白平衡和色温的准确调节。专业团队通过大量调试经验发现，白平衡是提升画面通透性最有效的参数，直接影响绿幕抠图效果和主播肤色表现。正确的调节顺序应是先在相机端校准白平衡，再进行软件微调。新版7.0.0软件特别强化了白平衡功能，提供更精细的调节选项，旨在确保画面色彩准确、主播肤色自然、绿幕抠图干净。白平衡校准是直播画面质量的基础，对白色衣物呈现和避免环境反光偏色尤为重要。
HarmonyOS APP《画伴梦工厂》开发第9篇：相机开发实战——调用系统相机拍照
风中追风
06-29 139
在"画伴梦工厂"中，用户需要拍摄自己的画作，然后将其转化为动画。HarmonyOS 提供了接口，让我们可以启动系统相机拍照并获取返回的图片 URI。本文将详细拆解这一流程，涵盖 Want 配置、权限申请、结果回调解析以及父子组件之间的数据同步。@Component// ...@Link：与父组件共享状态，子组件对和noticeText的修改会直接反映到父组件 UI 上。@State：组件私有状态，仅在组件内部可见，对外部透明。知识点实现方式启动系统相机权限申请封装结果解析。
mediamtx v1.19.2发布：2026年6月30日更新全解析，播放稳定性、RTSP兼容性、WebRTC容错、树莓派相机能力与依赖升级一次看懂
福大大架构师每日一题
07-01 696
从这次版本说明来看，这是一版以“修复与改进”为核心的更新，覆盖范围非常广，涉及通用能力、RTSP、WebRTC、树莓派相机支持、依赖项更新以及二进制安全校验说明。虽然没有引入大规模的新功能模块，但多个更新点都非常关键，尤其是在播放稳定性、日志安全、网络服务性能、协议兼容性以及树莓派相机编码能力方面，体现出这个版本对生产可用性和工程细节的持续打磨。对于流媒体系统来说，时间戳、偏移量、大小统计、序列值等都可能依赖大整数，一旦截断，轻则数据显示异常，重则逻辑判断错误甚至引发系统故障。这是一次非常重要的配置整理。
[Android] Doka相机-AI摄影构图质感滤镜
TB资源
07-03 336
一款功能强大的AI相机软件，主要围绕手机摄影优化，通过AI扫描分析拍摄场景，搭配AR引导线帮助快速完成优质构图，支持二次构图功能
高光谱相机全解析：技术分类、主流品牌与选型指南
wayho的博客
07-01 342
人眼看到的是红绿蓝（RGB）三原色混合而成的彩色世界，而高光谱相机则像一位“光谱侦探”，能将可见光与不可见光精细地划分为成百上千个连续的窄波段。通过分析这个立方体，我们能获取目标物独一无二的“光谱指纹”，从而在遥感监测、工业质检、精准农业、医疗诊断等领域，完成普通相机无法企及的精准识别与分析任务。总而言之，理解高光谱相机的核心分类逻辑，并结合自身对光谱分辨率、空间分辨率、成像速度以及成本的具体要求，是做出正确技术选型的关键。：光谱分辨率高，成像速度较快，是目前应用最广的类型。成像速度极快，可捕捉动态目标。
桥梁防撞系统现场标定实操：雷达相机联合校准全过程
digonganfang的博客
07-01 609
摘要：针对桥区CFAR+视觉融合方案中雷达与相机坐标不匹配、时间不同步导致的虚警高、目标错位问题，本文提出一套内河岸基桥梁防撞设备的现场离线联合标定全流程方案。涵盖相机内参标定、PTP时间同步、静态靶标粗标定、动态标定船精校准等关键步骤，提供验收标准与故障排查方法。通过时空双重配准（同步误差＜5ms，外参矩阵优化），解决安装误差、水位变化等工程痛点，确保雷达点与图像目标精准匹配（投影偏差＜15像素，匹配准确率≥97%）。附工具清单与配置文件模板，助力一线工程师快速落地。
OAK相机现已正式支持NVIDIA ISAAC SIM
oakchina的博客
07-03 325
为了解决这个问题, 我们的团队直接在 NVIDIA Isaac Sim中开发并实现了与我们相机组合的虚拟版本,如实地复制了真实地OAK设备的规格和行为。无论您是在开发自主移动机器人、工业自动化解决方案、仓库管理系统、无人机还是研究平台，OAK相机现在都可以轻松地直接集成到您的模拟工作流中。开发者则可以专注于更加重要的工作，例如：构建、测试和改进他们的机器人系统，而不是花时间重新创建传感器规格和验证不同的相机型号。, 为构建下一代自主系统的机器人开发人员和研究人员带来了全新的便捷体验和现实感。
北极花野保红外相机 | 不止是红外相机，是一套完整的野生动物监测解决方案
beijihua_的博客
07-01 328
北极花野保红外相机不止是硬件，更是一套从自动回传、AI鉴定到一键生成报告的全链条野生动物监测解决方案。
幕后花絮：厨房
CG_MAGIC的博客
06-29 237
我选中了这个，切换到编辑模式，选中了面，然后用E键挤出到房间里。对我来说，重要的是展示有一个主要的光线，即透过百叶窗洒进来的阳光，营造出傍晚或清晨的氛围。较冷的光源来自HDRi / Sky Node，在我这里它作为补光，也形成了与太阳的色彩对比，我认为这才是让画面焕发生机的关键。因为我已经有了剪纸的概念，所以我能专注于它，省略了所有不必要的部分。因为我不是建筑师，我的场景不会用于施工，所以我对几何结构比较随意，只需要墙壁、地板和天花板。在场景的左侧，我在墙上加了一个洞，让光线能进入房间。
Jacobian 矩阵推导
weixin_39354845的博客
06-30 298
因此现代 BA不会直接优化 R，而是优化一个三维旋转增量表示绕三个轴的小角度增量（优化步长） 把三维向量变成反对称矩阵世界坐标系下的点 P，经过旋转矩阵 R 变换，得到相机坐标系下的点。用李代数的小角度近似，把旋转变化转化为相机点的位移；用反对称矩阵的叉乘性质，得到点位移对旋转的偏导；再用链式法则，结合投影模型的雅可比，得到像素对旋转的雅可比，用于 BA 优化。整个 Jacobian 可以理解为回答三个问题：三维点移动 1 mm，图像上的像素会移动多少？​）
赛事直播频繁翻车？AI尚运动相机稳控赛场画面
2301_80756995的博客
06-30 224
多机位直播时设备兼容性差、同步延迟高，画面声音不同步；针对羽毛球、网球这类小球速快、精准度要求高的赛事，设备依托专属AI赛事识别算法，对焦响应速度大幅提升，可精准捕捉小球轨迹、运动员细微动作，解决普通设备对焦滞后、瞬间失焦的问题，完整留存每一个得分瞬间、精彩对决画面，为赛事复盘、精彩剪辑提供高清完整素材。赛事直播设备稳定性、AI运动相机、体育赛事AI直播记录、球类赛事直播设备、足球篮球赛事直播、匹克球赛事拍摄、体育赛事录像设备、智能赛事直播系统、运动相机赛事专用、体育赛事素材留存、赛事直播无卡顿设备。
Flame：02、画布中创建背景图
sunluyi的博客
07-01 253
最后记得在GameHomeCanvasGame中添加游戏相机控制器和背景图。农场种菜类型的游戏，背景图尺寸是1800*1624。需要新建2个文件，分别控制画布的背景图和相机视角。game_background.dart 背景图。相机视角缩放0.5倍，用于看到更多内容，默认背景图定位到正中间，可以米字形拖拽。
SLAM 学习笔记（一）相机模型（精简实用版）
a111776的博客
07-05 298
摘要：本文系统介绍了相机成像模型及其关键参数。主要内容包括：1）针孔相机模型，通过内参矩阵K实现3D到2D投影；2）透镜畸变（径向/切向）及其校正方法；3）完整成像流程的四步坐标变换；4）双目相机通过视差计算深度，RGB-D相机直接获取深度信息；5）相机标定的必要性（校正内参和畸变）及实施方法（棋盘格标定）。重点指出标定误差对SLAM等应用的严重影响，并给出标定质量评估标准（RMS<0.5像素为优）。全文以工程实用为导向，强调模型简化与实际参数校准的结合。（149字）
RK3588（OrangePi 5 Ultra）三路 USB UVC 相机稳定30FPS录制实践：从采集抖动到 RGA 硬件转换的完整排查过程
zqznbnb的博客
07-02 339
这篇文章分享了基于RK3588开发板（OrangePi 5 Ultra）实现多路USB摄像头30FPS稳定采集与录制的技术方案。作者通过系统排查，发现主要性能瓶颈在于软件色彩转换（NV16→NV12）导致CPU负载过高，最终采用RGA硬件加速方案解决问题。文章详细记录了从相机支持格式验证、底层采集测试到GStreamer管道优化的完整调试过程，并提供了关键测试命令。最终实现两路核心相机严格30FPS录制（1800帧/60秒），第三路辅助相机28.6FPS，满足项目需求。方案充分利用Rockchip MPP硬
three.js的相机
qq_53922901的博客
07-01 203
本文介绍了Three.js中的两种相机：透视相机(PerspectiveCamera)和正交相机(OrthographicCamera)。透视相机通过视锥定义视野，包含近平面、远平面、视野角度和宽高比等参数，产生透视效果。正交相机则通过定义长方体空间(left/right/top/bottom)实现平行投影，没有透视变形。文中提供了两种相机的代码实现示例，展示如何创建场景、相机、渲染器和立方体对象，并解释了相机位置设置的原因。透视相机适合3D场景，而正交相机更适用于2D或需要保持物体实际尺寸的场景。
什么是相机标定
weixin_39475026的博客
07-05 192
相机标定（Camera Calibration）是计算机视觉、自动驾驶、机器人（SLAM）以及 AR/VR 领域中不可或缺的“基本功”。简单来说，相机的镜头就像是一面哈哈镜（多多少少都有畸变），而标定的目的就是。下面为你带来一份通俗易懂、包含数学原理与代码实战的。
HarmonyOS APP《画伴梦工厂》开发第10篇：相册选择与 PhotoViewPicker——从相册导入图片
风中追风
06-29 53
第 2.1 篇我们学习了如何调用系统相机拍照。本篇将介绍另一种图片采集方式——通过从相册中选择图片。与相机模式相比，相册选择不需要繁重的CAMERA权限，甚至不需要READ_MEDIA权限，这得益于 HarmonyOS 的 Scope（作用域）访问模型。两者最终共用同一套处理流程，保持了代码的高度复用。本文介绍了使用知识点实现方式Picker 配置设置 MIME、选择数、拍照按钮调用方式返回 Promise结果获取直接获取权限模型Scope 访问，无需READ_MEDIA权限流程复用。
图漾相机如何达到最大帧率？
最新发布
折翼孤雁
07-05 161
根据遵循的1.图漾新出的属于新相机范畴，有帧率控制和包传输控制，以及纹理滤波/饱和度滤波等属性跟相机帧率相关，影响帧率因素较多。具体涉及到每个相机的帧率，请打开图漾相机规格书下面列举主要影响帧率的因素。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值