【计算机视觉】基于三维重建和点云处理的扫地机器人寻路

[摘要]

扫地机器人的使用已经越发普及，其中应用到了三维重建的知识。本项目旨在设计由一 定数量的图像根据算法完成三维模型的建立，并利用三维数据最终得到扫地机器人的行驶路 线， 完成打扫机器人成功寻路的任务 。本项目采用的方法是 SFM-MVS 、Colmap 、Kinect 三 种建模方法进行建模， 分别由组内不同成员完成， 经过亲自采集一定数量的图像集， 利用 SFM-MVS 算法获得对应的三维模型进行 2D 降维处理， 并利用该结果设计路径规划算法， 从而完成任务。此次项目三种算法之间的结果对比，为三维重建建立了更加客观的理论基础 和算法基础， 同时也拓宽了三维重建应用领域， 将三维重建真正应用到实践中。

关键词： 三维重建  SFM MVS Colmap Kinect  点云  降维  2D  路径规划

1.  项目背景

(1) 三维重建

三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算 机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客 观世界的虚拟现实的关键技术。

在计算机视觉中,三维重建是指根据单视图或者多视图的图像重建三维信息 的过程 。由于单视图的信息不完全， 因此三维重建需要利用经验知识。而多视图 的三维重建（类似人的双目定位） 相对比较容易,其方法是先对摄像机进行标定, 即计算出摄像机的图象坐标系与世界坐标系的关系。然后利用多个二维图象中的

信息重建出三维信息。

本次实验通过 SFM-MVS 、Colmap 、Kinect 三种不同的算法将多个二维图像信息重建出三维信息。

由于我主要负责 SFM-MVS 算法的设计，所以对此算法流程的描述会重点详细描述。

(2) 降维

数据降维是指采用某种映射方法，降低随机变量的数量。例如将数据点从高维空间映射到低维空间中， 从而实现维度减少。

本次实验采用的是将三维数据降维到二维数据。

(3) 路径规划

随着机器人技术 、智能控制技术 、硬件传感器的发展， 机器人在工业生产 、  军事国防以及日常生活等领域得到了广泛的应用。而作为机器人行业的重要研究    领域之一，移动机器人行业近年来也到了迅速的发展。移动机器人中的路径规划    便是重要的研究方向。移动机器人的路径规划方法主要分为传统的路径规划算法、 基于采样的路径规划算法 、智能仿生算法 。传统的路径规划算法主要有 A 算法 、 Dijkstra 算法、D 算法、人工势场法，基于采样的路径规划算法有 PRM 算法、RRT    算法， 智能仿生路径规划算法有神经网络算法 、蚁群算法 、遗传算法等。

本次实验由于时间原因，暂时设计一个简单的贪心算法来完成算法设计，并 且将其应用到降维后的数据中。

(4) SFM

SFM（从运动恢复结构， Structure From Motion）是从一系列包含视觉运动信 息的多幅二维图像序列中估计三维结构的技术。通过相机的移动来确定目标的空

间和几何关系， 是三维重建的一种常见方法。

(5) MVS

MVS（多视点立体视觉，Multi-view stereo）能够单独从图像中构造出高度细 节化的 3D 模型， 采集一个庞大的图像数据集， 用其来构建出一个用来解析图像 的 3D 几何模型。

(6) 主要问题和需求

三维重建是计算机视觉领域比较新兴潮流的领域，与以往计算机视觉领域中 分类问题不同，三维重建模型很难有具体的评价标准。分类问题可以通过模型对 测试集的结果进行正确率的计算，但是三维重建的结果是无法通过简单的计算得 到准确率的， 所以对于模型的评判结果比较主观 。所以得到三维模型固然关键， 但是随之而来的最关键问题是能够有一个标准来对三维建模模型的优劣进行判断和分析。

扫地机器人的应用是一个我们感兴趣的领域，同时扫地机器人如何做到识别 空间信息并且做出合理的路径规划是我们非常好奇的， 我们对三维重建感兴趣，

同时又好奇扫地机器人的核心算法原理，所以我们一致决定选择这个方向来进行 研究。

(7) 解决方法

本小组考虑到三维建模的评价体系欠缺量化标准，同时又想把三维重建真正   作用到实际生活应用中，我们想到了扫地机器人这个与生活息息相关的实践项目。

扫地机器人需要能够识别障碍物，然后进行路径规划，再把垃圾等放入身体 中，识别障碍物就是需要扫地机器人能够由图像建立三维模型，并且三维模型经 过一定程度的降维使扫地机器人能够计算出障碍物的具体位置。路径规划是一种

算法， 可以计算出扫地机器人可以避开障碍物清扫垃圾的最佳路线。

基于此， 我们此次项目通过完成对 SFM-MVS 、Colmap 、Kinect 的建模， 得 到一个三维模型， 并对得到的三维模型进行降维处理， 得到一个平面上的点集， 在这个过程中，设置阈值把临界值之内的点在降维后归为障碍物类。然后开始执 行路径规划算法， 就完成了扫地机器人的必要算法部分。

(8) 意义和价值

本项目完成了扫地机器人的初步版本，不仅完成了三维模型的建立过程，也 和算法相结合，解决了复杂的生活实际应用问题。通过此次项目的完成，也完成 了在生活照片上对于 SFM-MVS