ECCV2024论文解析|MVSplat Efficient 3D Gaussian Splatting from Sparse Multi-View Images-water-merged

论文标题

MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images MVSplat: 从稀疏多视图图像高效生成 3D 高斯散射

论文链接

MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images论文下载

论文作者

Yuedong Chen, Haofei Xu, Chuanxia Zheng, Bohan Zhuang, Marc Pollefeys, Andreas Geiger, Tat-Jen Cham, Jianfei Cai

内容简介

本文提出了一种高效的模型MVSplat，该模型能够从稀疏的多视图图像中预测干净的前馈3D高斯分布。MVSplat通过构建代价体表示来准确定位高斯中心，利用跨视图特征相似性为深度估计提供几何线索。该模型在大型RealEstate10K和ACID基准测试中表现出色，具有最快的前馈推理速度（22fps），并且与最新的pixelSplat方法相比，MVSplat使用的参数减少了10倍，推理速度提高了2倍以上，同时提供了更高的外观和几何质量以及更好的跨数据集泛化能力。

分点关键点

1. MVSplat模型

   • MVSplat是一个基于高斯的前馈模型，能够从稀疏的多视图图像中进行3D重建。与pixelSplat不同，MVSplat通过构建代价体来进行深度估计，从而提高了几何重建的质量。

2. 代价体表示

   • 代价体表示通过平面扫描构建，存储跨视图特征相似性，为深度估计提供几何线索。这种方法使得MVSplat能够在轻量级模型中实现高效的3D高斯散射。

3. 性能评估

   • 在RealEstate10K和ACID基准测试中，MVSplat在所有视觉指标上均超越了现有的最先进模型，且运行速度最快。模型在推理时的效率和准确性之间取得了良好的平衡。

4. 训练与实现

   • MVSplat模型在单个A100 GPU上进行训练，使用简单的渲染损失作为监督，确保了模型的可扩展性和适应性。模型的实现细节和代码可在GitHub上获取。

论文代码

代码链接：https://github.com/donydchen/mvsplat

中文关键词

1. 稀疏多视图图像
2. 3D高斯散射
3. 代价体表示
4. 深度估计
5. 前馈模型
6. 跨数据集泛化

ECCV论文合集：

ECCV论文合集

希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！