From Bounding Boxes to Visual Reasoning:An On-Policy Data Annotation Tool for Vision-Language Model

论文介绍了一个名为 SCREENANNOTATOR 的新型开源数据标注工具，旨在解决现有标注工具无法满足现代视觉-语言模型（VLM）复杂训练数据需求的根本性基础设施问题。

以下是该研究内容的全面总结与概括：

1. 研究背景与痛点

• 核心矛盾：现代 VLM（如用于GUI理解和流程图解析的模型）需要融合空间坐标、开放词汇描述、结构化属性和拓扑关系的复杂训练数据。然而，现有标注工具存在三大系统性瓶颈：

  1. 表达能力有限：无法将上述多种信息绑定在单一表示中。

  2. 标注-训练脱节：标注过程是线性的离线流程，缺乏模型与标注者的实时互动反馈。

  3. 数据复用性差：为每个新任务（如属性查找、关系推理）都需要重新标注数据，成本极高。

2. 提出的解决方案 (SCREENANNOTATOR)

为了弥合基础设施鸿沟，作者设计了三个核心创新模块：

• 统一标注原子模式：将每个对象的边界框、类别标签、自由文本描述和结构化键值属性捆绑为一个独立的“原子”单元。这是所有高级推理任务的数据基础。

• 同策略标注循环：

  • 构建了一个“模型预标注 → 人工修正 → 质量控制 → 模型即时更新”的闭环迭代流程。

  • 随着标注数据积累，辅助模型（检测器+VLM）不断在最新数据上重新训练，从而在后续轮次中提出更准确的预标注，逐步将标注负担从人转移到模型。

• 贝叶斯标注验证器 (BAV)：

  • 作为质量控制器，在无需人工质量标签的情况下，通过估计每个标注的后验不确定性（认知不确定性）来智能标记疑似错误，引导人工进行针对性复查，减少质量检查成本。

• 模板驱动的多任务数据合成：

  • 通过预定义的多样化对话模板，将一组静态的“标注原子”自动转化为多种推理任务（如多跳推理、路径遍历、空间定位）的训练数据。

  • 实现了数据多样性与标注成本的完全解耦：新增任务只需设计新模板，无需重新标注图像。

3. 主要实验与结果

作者在两个场景（流程图解析和手机GUI截图）上验证了工具效果：

• 效率提升 (RQ1)：随着同策略循环轮次增加，模型的预标注接受率显著提升（流程图接近100%，GUI达77%），人工完成率和每张图片的标注时间持续下降。检测器准确率也随数据积累稳步上升（流程图达94.9%）。

• 质量控制有效性 (RQ2)：贝叶斯验证器在无需人工标签下，能够有效将真正的标注错误排在排查列表前列。与随机检查相比，在1%的检查预算下，发现错误的能力提升约3倍（提升度指标）。

• 数据复用性验证 (RQ3)：利用合成的12种流程图QA数据微调VLM，模型平均准确率从41.0%大幅提升至76.1%（绝对提升35.1个百分点），特别是在拓扑关系推理（如后继节点识别、条件推理）任务上提升显著。

4. 核心贡献总结

1. 新工具：推出了一款开源标注工具，突破了传统目标检测封闭集的限制。

2. 新机制：引入了包含贝叶斯验证的同策略标注循环，实现了模型与标注者的协同演化，显著降低人力。

3. 新范式：提出了模板驱动数据合成，实现了“一次标注，多任务复用”，极大地提高了标注数据的边际价值。

这里是自己的论文阅读记录，感兴趣的话可以参考一下，如果需要阅读原文的话可以看这里，如下所示：

项目地址在这里，如下所示：

摘要

视觉-语言模型正快速朝着复杂的基础结构化视觉推理能力迈进。为训练具备此类先进能力的模型，需要一种新型数据，该数据能将空间坐标、开放词汇描述、结构化属性和拓扑关系无缝统一到单一表示中。然而，现有数据标注工具从根本上无法满足这些复杂需求，存在三个系统性瓶颈：表达能力有限、标注-训练脱节以及数据复用性差。为弥合这一基础设施鸿沟，我们推出了一款开源标注工具 SCREENANNOTATOR。首先，我们定义了一个统一的标注原子模式，将空间、语义和结构基元绑定到一个单元中。其次，我们实现了一个嵌入贝叶斯标注验证器的同策略标注循环。最后，我们设计了一个模板驱动的多任务数据合成过程，该过程能将静态原子动态转化为多样化的多维推理任务，从而消除了冗余的重新标注。同策略循环使得流程图场景中的标注接受率接近 100%，GUI 截图场景中达到 77%，同时随着标注数据积累，每张图像的标注时间稳步减少。在流程图场景中，微调一个 VLM 可获得 76.1% 的平均准确率，绝对提升了 35.1% 个百分点。

1 引言

视觉-语言模型已从基础的视觉感知转向了基础结构化视觉推理。在 GUI 理解和流程图解析等复杂任务中，现代 VLM 通过将空间标记融入其文本思维链来执行多步推理。因此，训练这些模型需要能够将空间坐标、开放词汇描述、结构化属性和拓扑关系统一到单一表示中的数据。

图 1：SCREENANNOTATOR 的动机：弥合传统图像标注工具与现代 VLM 数据需求之间的基础设施鸿沟。

近年来，图像标注平台取得了显著进步，从手动桌面应用程序演变为与视觉基础模型集成的协作式、基于网络的系统（Sager 等，2021）。我们在表 1 中对这些代表性的开源和商业工具进行了系统比较。然而，如图 1 所示，这些当代工具从根本上无法满足现代 VLM 的复杂数据需求，因为它们仍然固守于封闭集合检测范式。现有平台存在三个系统性瓶颈：（1）表达能力有限，无法联合绑定空间位置、自由形式文本和属性；（2）标注-训练脱节，依赖线性离线流水线，缺乏交互式、同策略反馈或自监督质量控制；（3）数据复用性差，需要为不同的下游任务进行冗余的重新标注。这种滞后的基础设施已成为阻碍为高级 VLM 推理扩展高质量数据策划的关键障碍。

为弥合这一基础设施鸿沟，我们推出了 SCREENANNOTATOR，这是一款专为 VLM 训练数据设计的开源标注工具。

表 1 从四个维度调查了代表性标注工具：是否支持模型辅助预标注、是否支持基于累积标注的在线模型再训练、是否支持自动标注错误检测以进行质量控制，以及是否支持可直接用于 VLM 训练的导出格式。大多数现有平台主要设计用于传统目标检测工作流，其标注主要由类别标签和边界框组成，适用于 YOLO（Jocher 和 Qiu，2024）等检测器模型。尽管一些平台最近集成了视觉基础模型进行预标注，但它们仍然缺乏自动的同策略再训练、不确定性驱动的质量控制以及原生的 VLM 数据导出功能。

为解决表达能力有限的问题，我们定义了一个统一的标注原子模式，将空间位置、类别身份、自由形式描述和结构化属性联合绑定在一个单元内。

为消除标注-训练脱节，我们实现了一个同策略标注循环。我们的框架迭代地交替进行模型辅助预标注、人工修正和即时模型再训练。这种闭环协同演化逐步减少了人工修正负担，并产生了用于早期停止的量化性能涌现曲线。为确保数据完整性，我们嵌入了一个贝叶斯标注验证器，该验证器估计每个标注的后验不确定性，并将高风险实例路由给人工重新审查，从而在无需人工质量标签的情况下提供自监督质量控制。

为提高数据复用性，我们提出了一种模板驱动的多任务数据合成过程。一组单一的标注原子可以通过模式模板动态转换为各种 VLM 推理任务，如属性查找、关系推理和空间推理。这种方法将数据多样性与标注成本解耦，极大地提高了每次标注的边际监督效用，而无需进行新的实例级标注。

总之，我们对社区的主要贡献有三点：

ScreenAnnotator。我们提出了一款新颖的开源标注工具，扩展了传统的封闭集合检测范式。我们定义了一个统一的标注原子模式，该模式携带丰富的语义信息并支持实例级引用。
同策略标注循环。在标注过程中，辅助模型在同策略下快速更新，同时贝叶斯标注验证器检测潜在错误。在人在回路的实验中，我们观察到标注效率有明显的正反馈，每次模型更新后，人工修正量和修正时间均有所减少。
可复用的标注成果。我们提出了一种模板驱动的多任务数据合成过程，可将一次标注成果转化为可复用的多任务 VLM 训练数据。在流程图问答场景中，微调后的 VLM 实现了 76.1% 的平均准确率，相较基础模型绝对提升了 35.1 个百分点，且在所有任务类型上均有一致改进。

2 相关工作

2.1 图像标注工具与平台

表 1 从四个维度调查了代表性标注工具：是否支持模型辅助预标注、是否支持基于累积标注的在线模型再训练、是否支持自动标注错误检测以进行质量控制，以及是否支持可直接用于 VLM 训练的导出格式。大多数现有平台主要设计用于传统目标检测工作流，其标注主要由类别标签和边界框组成，适用于 YOLO（Jocher 和 Qiu，2024）等检测器模型。尽管一些平台最近集成了视觉基础模型进行预标注，但它们仍然缺乏自动的同策略再训练、不确定性驱动的质量控制以及原生的 VLM 数据导出功能。

2.2 同策略标注与质量估计

深度主动学习通过不确定性、多样性或混合获取策略选择信息丰富的样本（Zhan 等，2022；Ren 等，2022），并针对目标检测有特定任务的扩展（Hausmann 等，2020；Elezi 等，2022）。SAM 的数据引擎（Kirillov 等，2023）是同策略循环最接近的先例，它交替进行模型生成掩码、人工修正和再训练。在质量方面，众包聚合方法（Zheng 等，2017）通过多标注者冗余估计标注者可靠性。噪声标签方法如 DivideMix（Li 等，2020）和 SOP+（Liu 等，2022）在训练时容忍标签错误，但不会在标注过程中预防错误。贝叶斯不确定性估计（Lakshminarayanan 等，2017；Harakeh 等，2020）提供了一个原则性的质量信号，但迄今为止主要针对预测而非标注验证。

2.3 VLM 训练数据与基础视觉推理

VLM 的数据需求经历了三个阶段。第一代模型通过网络爬取的图像-描述对进行对齐（Sharma 等，2018；Changpinyo 等，2021；Schuhmann 等，2022）。这种机制实现了全局图像描述和视觉问答能力，但在定位方面表现薄弱。例如，GPT-4V 在相当大一部分 GUI 定位查询上失败（Niu 等，2024）。第二阶段，受需要更丰富推理能力的视觉智能体驱动，VLM 在目标检测数据集上进行训练，以将坐标直接作为文本标记输出，实现了检测和定位能力（Chen 等，2022a，b，2023；Peng 等，2023）。最新的趋势是将空间基元从最终输出转移到中间推理步骤。点和边界框作为视觉锚点，减少幻觉并提高可验证性（Mitra 等，2023；Shao 等，2024；Fan 等，2025；Lu 等，2026）。这些趋势表明 VLM 需要日益多样化的标注结构，然而现有的标注工具未能跟上这一发展步伐。

3 SCREENANNOTATOR

首先，我们定义了统一标注原子，它将空间坐标、开放词汇描述和结构化属性绑定到单一表示中。其次，我们设计了一个同策略标注循环来构建原子数据集。该循环嵌入了一个贝叶斯标注验证器用于自监督质量控制。最后，我们设计了一个模板驱动的数据合成模块，将标注原子转换为各种 VLM 推理任务，包括属性查找、路径遍历和空间推理，使得一次标注工作能够支持多个下游任务而无需重新标注。

3.1 统一标注原子模式

表 1：代表性标注工具在与 VLM 训练数据相关的五个维度上的比较。大多数现有工具针对封闭集合检测格式（COCO， VOC， YOLO），模型更新在标注工具之外执行，并依赖人工审查或标注者间一致性进行质量控制。没有工具原生产生现代 VLM 所需的基础化、开放词汇格式。✓= 原生支持；Δ= 部分支持或仅限企业版；×= 不支持。* 需要企业版。

图 2：(a) 同策略标注循环：每轮中，(1) 当前策略模型（一个检测器 + VLM）对新图像批次进行预标注；(2) 人工标注者审查并修正预测结果；(3) 贝叶斯验证器标记可疑标注进行第二轮审查；(4) 两个模型在累积的质量控制数据集上重新训练，并部署到下一轮。(b) 多任务数据合成。我们以流程图解析为例。首先将声明节点和边结构的领域特定模式加载到 LLM 中。然后 LLM 将该模式扩展为一组多样化的对话模板。每个模板包含绑定到模式字段的占位符，以及将文本答案与空间证据联系起来的定位标记（<ref>， <box>）。然后，每个模板针对每个标注样本进行实例化，因此一次标注工作可以从一个标注图像中，通过对所有兼容模板进行实例化来生成多任务 VLM 训练数据。

图 3：统一标注原子模式。每个边界框被扩展为一个标注原子，包含类别标签、自由形式描述以及由任务特定声明性模式定义的结构化键值属性。

3.2 同策略标注循环

3.3 贝叶斯标注验证器

3.4 多任务数据合成

扩展 VLM 训练的一个核心瓶颈是数据策划的碎片化性质：引入一个新的推理任务通常需要重新标注整个语料库。为克服这一点，我们的框架通过一个如图 2(b) 所示的模板驱动的多任务数据合成流水线，将数据多样性与标注成本完全解耦。在其基础上，统一标注原子 提供了一个丰富的多维表示。这些静态数据通过三层抽象动态展开为多样化的对话推理对。通过简单地在一组相同的底层标注原子之上应用不同的模板，一张已标注的图像可以立即产生丰富的训练任务光谱，例如属性查找、多跳路径推理和空间推理。这种范式最终最大化了一次初始标注的边际监督效用，使得 VLM 能力的扩展无需任何任务特定的重新标记。

4 实验

我们的实验围绕三个研究问题展开：

• RQ1. 同策略标注循环在多大程度上减少了人工标注工作量？- RQ2. 贝叶斯标注验证器能否可靠地检测标注错误？- RQ3. 标注原子能否被重用以合成适用于各种 VLM 任务的有效训练数据？

4.1 实验设置

我们在两个场景下评估 ScreenAnnotator：流程图和移动 GUI 截图。流程图需要关系型标注，带有显式源/目标引用的有向边。GUI 截图需要在视觉多样、上下文相关的 UI 元素上进行开放词汇定位。对于流程图场景，我们使用 Flowchart-QA 数据集中的 100 张图像进行训练，40 张用于评估。对于 GUI 场景，我们通过脚本驱动探索和手机手动采集收集了 120 张截图，其中 20 张留作评估。

在同策略标注循环中，我们采用一个基于 YOLOv11 的检测器和一个 Qwen3-VL-4B-Instruct（Bai 等，2025）VLM 作为初始模型，这些模型在每轮之后联合更新。具体来说，我们在流程图场景中使用 YOLOv11n（Jocher 和 Qiu，2024），在 GUI 场景中使用 YOLOv11s。

图 4：同策略标注效率 (RQ1)。(a)-(b)：流程图和 GUI 每轮的接受率和完成率。(c)：检测性能与累积标注图像数量的关系。(d)-(e)：每轮每张图像的标注时间。随着标注轮次的推进，接受率上升，完成率和每张图像标注时间均下降，检测器准确率稳步提升，证实了同策略循环逐步将标注工作从人工标注者转移到模型。

GUI 场景。所有实验均使用单张 NVIDIA L40 GPU 进行。

4.2 同策略标注效率 (RQ1)

同策略循环以每轮 5 张图像运行。我们从三个维度量化标注工作量。接受率 (AR) 是某轮中人工标注者无需任何修改而接受的模型提议标注的比例。接受率越高，表示需要的人工干预越少。完成率 (CR) 是人工必须完成的标注原子比例，因为模型未能正确识别它们。标注时间测量标注者花费在一张图像上的挂钟时间，取该轮所有图像的平均值。图 4 总结了这三个效率指标以及特定任务性能的结果（附录 A.2）。

4.3 贝叶斯标注验证器 (RQ2)

我们使用提升度指标来衡量 BAV 的错误优先排序能力。提升度衡量排序后的质量分数将真实错误置于前 kk 部分内的有效性，与随机检查相比。注意，值为 1.0 表示没有增益。提升度的正式定义见附录 A.3。BAV 以完全自监督的方式训练，通过对已接受的标注进行受控扰动，不需要人工质量标签。推理时，T=30 次 MC-Dropout 前向传播产生每个框的质量分数，阈值为 τ=0.5。然后根据此分数对标注进行排序，我们在两种场景的同策略轮次中报告预算水平为 1%、5% 和 10% 时的提升度。

4.4 模板驱动的 VLM 数据合成 (RQ3)

基于流程图模式，我们为 12 种任务类型（附录 A.6）实例化对话模板，并直接从标注原子合成 QA 对。生成的任务涵盖属性查找、关系推理、路径遍历、计数和空间推理。我们在合成数据上微调 Qwen3-VL-8B-Instruct，并在一个包含 20 张流程图图像、240 个经过人工验证的 QA 对（每张图像每个任务类型一个）的保留测试集上进行评估。每个回答由人工评审员使用一个结构化评分标准进行评分，该标准将答案分解为文本和空间组件，并带有任务特定的权重（附录 A.4）。

图 6：在合成 QA 数据微调前后，流程图测试集上的每个任务准确率 (RQ3)。

4.5 案例研究

图 7 提供了两个定性示例。图 7 (a) 显示，模板驱动的微调使模型能够对流程图拓扑执行结构化的多跳推理，这是基础 VLM 所不具备的能力。图 7 (b) 证实，同策略再训练在各标注轮次中显著提高了检测覆盖率和定位精度，这与图 4 中报告的效率趋势一致。

5 结论

文本 [[115, 825, 486, 919], [511, 380, 881, 686]]
现有的标注基础设施难以满足 VLM 对复杂推理任务日益复杂的数据需求。为解决这一关键限制，我们在本文中介绍了 SCREENANNOTATOR。具体来说，它定义了一个统一的标注原子模式，无缝地结合了空间坐标、开放词汇描述和结构化属性。此外，一个同策略标注循环确保了持续的模型-人类协同演化和自监督质量控制。最后，一个模板驱动的多任务合成过程将这些静态原子动态展开为高度多样化的对话推理任务。我们在两个标注密集型场景上验证了我们的框架：流程图解析和 GUI 截图理解。实验结果表明，我们的工具显著提高了标注效率并有效检测了标注错误。更重要的是，使用我们的工具构建的数据集显著提升了 VLM 在复杂视觉推理任务上的性能，验证了我们方法的实用价值和潜力。总体而言，SCREENANNOTATOR 为策划满足高级 VLM 推理需求的数据集提供了一个高度可扩展且易于使用的解决方案。

局限性

场景范围。我们的实验集中在流程图解析和 GUI 截图理解上，这两个领域共享密集对象、显式空间关系和半开放类别空间。这些属性与组合式标注原子和同策略循环很好地契合。将框架扩展到更大的标注量以及其他具有不同标注语义的领域，如医学成像和遥感，是未来工作的一个有前景的方向。

样本选择和不确定性粒度。目前的工作集中于预标注、人工修正和迭代再训练。图像当前以固定顺序进入流水线，训练批次是均匀采样的。结合主动样本选择策略可以进一步提高标注效率。类似地，贝叶斯标注验证器目前运行在边界框级别。将不确定性估计扩展到自由形式的描述和结构化属性仍然是一个值得探索的方向。

伦理考量

我们实验中使用的所有图像要么来自具有许可协议的公开数据集，要么由作者自行收集，所有使用均符合原始预期目的和访问条件。GUI 截图来自作者自己的设备，并经过人工检查，以确保不存在个人身份信息或冒犯性内容。参与同策略循环的人工标注者被充分告知标注任务的目的，并获得了合理的报酬。我们发布的所有工件仅用于学术研究。我们不预见这项工作会带来直接的负面社会影响，因为该框架旨在提高数据质量并减少重复性人工劳动，而不是自动化影响个人的决策。