MultiVerse: A Multi-Turn Conversation Benchmark for Evaluating Large Vision and Language Models

MULTIVERSE 论文核心总结与翻译

一、主要内容

MULTIVERSE 是一款面向视觉语言模型（VLMs）的多轮对话评估基准，旨在解决现有基准在多轮交互场景覆盖不足的问题。其核心内容包括：

• 数据集构成：包含 647 组对话（平均每轮 3.91 个回合），覆盖 484 项任务、484 个交互目标和 25 类图像领域，数据源自 12 个主流 VLM 评估基准。
• 构建流程：通过源图像收集、人物背景生成、多轮对话生成、人工审核和检查清单生成五个步骤，确保数据质量和对话真实性。
• 评估方法：采用基于检查清单的自动评估框架，利用 GPT-4o 作为评估器，从 37 个关键维度（如感知准确性、事实正确性）衡量模型性能。
• 实验结果：18 款 VLMs 在该基准上表现均未超过 50%（GPT-4o 最高达 49.63%），验证了基准的挑战性；提供真实对话历史能显著提升小模型性能，模型规模与多轮交互能力呈正相关。

二、创新点

• 覆盖广度与深度：首次整合多样化高级任务（如数学推理、编码）和高词汇多样性查询，弥补现有基准在复杂场景和任务类型上的缺口。
• 真实对话场景：通过生成虚构人物背景和场景，构建符合现实逻辑的多轮对话，避免现有基准中查询形式单一的问题。
• 精细化评估体系：设计实例专属检查清单，从多维度量化模型性能，解决传统评分方法主观性强、鲁棒性不足的问题。
• 开源可用性：公开源代码和数据集，为 VLMs 多轮交互能力的评估提供统一