VLM系列文章7-Molmo and PixMo

近期涌入了大量的MLLM模型，包括Llama-3.2-11B-Vision-Instruct、Qwen2-VL、mPLUG-Owl3、Ovis1.6-Gemma2-9B、InternVL2、MiniCPM-V 2.6 等工作。笔者看来，多模态模型可能不仅仅在刷榜上，可能更多的需要解决实际任务。因此，更能衡量模型的好坏的评估数据集，高效的模型架构（精度和速度均衡）可能也是相关从事者需要考虑的问题，毕竟MLLM模型大小一般都是以B为单位的。另外一个方面就是发展速度、开源速度很快，包括数据集、训练代码、部署等，也是一个很好的契机可以follow其他人的工作。

0、TD;LR

Molmo 是最先进的开放式多模态人工智能模型系列。在广泛的学术基准和人类评估中，我们最强大的模型缩小了开放系统与专利系统之间的差距。我们较小的模型性能优于其 10 倍大小的模型。

• 论文地址: https://arxiv.org/pdf/2409.17146
• 代码: 暂无
• 博客地址: https://molmo.allenai.org/blog
• 数据集地址:https://d