DexGraspVLA

最新推荐文章于 2026-07-04 15:41:22 发布

原创最新推荐文章于 2026-07-04 15:41:22 发布 · 990 阅读

10 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

DexGraspVLA: A Vision-Language-Action Framework Towards General Dexterous Grasping

第一个用于灵巧手抓取的分层VLA，有网站有代码

摘要：

灵巧抓取仍然是机器人技术领域一个基础而又充满挑战的问题。通用机器人必须能够在任意场景下抓取各种物体。然而，现有研究通常依赖于限制性假设，例如单物体设置或有限环境，导致泛化能力受限。我们提出了 DexGraspVLA，这是一个用于在语言引导的通用灵巧抓取及其他领域实现稳健泛化的分层框架。它利用预先训练的视觉语言模型作为高级规划器，并学习基于扩散的低级动作控制器。实现泛化的关键在于通过基础模型迭代地将各种语言和视觉输入转换为领域不变的表示，由于领域偏移的缓解，模仿学习可以得到有效应用。值得注意的是，我们的方法在数千个具有挑战性的未知杂乱场景下实现了 90% 以上的灵巧抓取成功率。实证分析证实了内部模型行为在不同环境变化下的一致性，从而验证了我们的设计。 DexGraspVLA 还首次同时展现了自由形态长视域快速执行、对抗物体和人为干扰的鲁棒性以及故障恢复能力。其在非抓握类抓取领域的扩展应用进一步证明了其通用性。

图1 DexGraspVLA，这是一个分层 VLA 框架，在“零样本”环境下，在数千个未知的杂乱场景下，其灵巧抓取成功率达到 90% 以上。它能够稳健地处理对抗性物体、人为干扰、故障恢复以及自由形式的长时域提示。其在非抓取领域的扩展应用进一步证明了其通用性。

在本文中，我们提出了 DexGraspVLA，这是一个分层 VLA 框架，旨在通过整合基础模型和模仿学习的互补优势，在语言引导的灵巧抓取及其他领域实现稳健的泛化。其核心思想是利用基础模型将多样化的视觉和语言输入迭代地转换为领域不变的表征，由于领域偏移的缓解，模仿学习可以高效地应用于此。因此，新场景不再会导致失败，因为基础模型会将其转换为与训练过程中遇到的表征类似的表征，从而保持在学习策略的领域内。遵循这一原则，DexGraspVLA 使用预先训练的 VLM 作为高级规划器来规划整体任务并生成领域不变的可供性信号。在这些信号的引导下，低级控制器使用视觉基础模型将多模态输入进一步细化为领域不变的表征，并通过基于扩散的模仿学习动作头生成闭环动作。这种设计将基础模型的广泛世界知识和泛化能力与模仿学习的动作建模能力相结合，在现实世界场景中具有强大的性能。

值得注意的是，DexGraspVLA 在杂乱场景中的抓取成功率达到了前所未有的 90.8%。在“零样本”环境中测试了 1,287 种未见物体、光照和背景组合。其泛化性能显著超越现有基线。此外，DexGraspVLA 能够稳健地处理对抗性物体、人为干扰和故障恢复。在单物体基准测试中，其成功率达到 98.6%，比控制器直接从原始视觉输入学习的简化版本至少高出 48%。进一步分析揭示了在不同环境下一致的内部模型行为，验证了我们的设计并解释了其稳健性。除了单步任务外，DexGraspVLA 还可以执行具有具身推理的自由形式、长视界指令，成功率达到 89.6%。我们进一步将 DexGraspVLA 扩展到非抓握物体抓取（Zhou 和 Held 2023），这是一项具有挑战性的任务，通常需要灵巧的预抓握动作，这对于平行夹持器来说很困难。 DexGraspVLA 仅使用少量演示就实现了强劲性能，进一步凸显了其在各种操作场景中的通用性。这些结果确立了 DexGraspVLA 作为一个通用的指令驱动框架的地位，它能够从有限的演示中学习，并可靠地推广到现实世界场景，标志着 DexGraspVLA 朝着通用灵巧抓取及其他领域迈出了坚实的一步。

3.问题表述

我们的目标是开发一种基于视觉的控制策略，用于语言引导的灵巧抓取，并将其表述为一个顺序决策问题。首先，给出一个语言指令 l，例如“抓住玩具”，以直接指定目标物体。在每个时间步 t

策略 π 从腕部摄像头接收第一视图图像 Iw、从头部摄像头接收第三视图图像 Ih，以及机器人本体感觉 s∈R13，由手臂和手关节角度 st(arm)∈R7、st(hand)∈R6 组成。基于这些观察结果，机器人产生动作 a=(at(arm) , at(hand)) ∈R13，其中 at(arm) 和 at(hand) 分别表示手臂和手的目标关节角度，通过从动作分布 π(·|{Iw}, {Ih}, {s}, l) 中采样。该过程持续直至达到终止条件。机器人收到二元奖励 r ∈ {0, 1}，指示它是否已成功完成指令 l。策略 π 的目标是最大化预期奖励 E[r]。

更一般地，我们考虑用户提示 p 可能是一个涉及多个抓取步骤的长期任务的情况，例如“清理桌子”。这需要策略 π 对提示进行推理，将其分解为单独的抓取指令 {li}，并按顺序完成它们。

4.方法

本节介绍 DexGraspVLA，这是第一个用于灵巧抓取的分层 VLA 框架。我们将首先阐述 DexGraspVLA 框架（第 4.1 节），然后详细说明我们的数据收集流程（第 4.2 节），这两者共同构成了灵巧抓取策略的训练。

图 2：DexGraspVLA 概览。基于 VLM 的预训练高级规划器（紫色）将提示分解为带有边界框的物体级抓取指令。基于扩散的低级控制器（粉色）跟踪目标掩模，编码多模态观测值（RGB 图像、掩模、本体感觉），并通过 DiT 模型预测动作块。规划器监控执行情况，并根据更新后的场景不断提出新的指令，直到任务完全完成。

4.1 DexGraspVLA 框架

如图 2 所示，DexGraspVLA 采用分层模块化的架构，由规划器和控制器组成。下面我们将分别解释各个部分的设计。

规划器。我们认识到，要实现通用的灵巧抓取，模型必须处理多模态输入、进行视觉基础训练，并针对用户提示进行推理。基于近期进展，我们采用现成的预训练 Qwen VLM（Bai 等人，2023；团队，2025）作为高级规划器，以动态规划和监控灵巧抓取工作流程。给定用户提示 p（例如，“清理桌子”），规划器会提出抓取指令 l（例如，“抓住饼干”）作为第一步。

对于每个 l，规划器通过在初始时间步长 t 时将目标物体边界框 (x1, y1, x2, y2) 标记为头部摄像头图像 Ih 中的任务可供性来指导低级控制器。虽然语言指令的措辞和内容可能因用户和情况的不同而呈现多样性和灵活性，即表现出领域差异性，但无论语言和视觉输入如何变化，边界框对于物体定位而言都是一致的格式，即实现了领域不变性。因此，这种转变减轻了控制器的学习挑战。

在发出边界框时，规划器会监控控制器的执行情况，在每次抓取尝试后重置机器人，并提出更新的指令 l，直到提示 p 完成。

控制器。基于边界框 (x1, y1, x2, y2)，控制器旨在在杂乱环境中抓取目标物体。我们将该边界框作为输入到 SAM (Kirillov et al. 2023)，以获得目标物体的初始二值掩码 m0∈{0, 1}，然后使用 Cutie (Cheng et al. 2024) 持续跟踪该掩码，在每个时间步 t 生成 mt。这确保了在整个过程中在杂乱场景中实现准确识别。问题在于学习能够有效建模动作分布 π(·|It, Ih, s, m) 的策略 π。

(Cutie,视频目标分割(VOS, Video Object Segmentation)，第二帧的分割内容使用第一帧传播的结果，并不需要重新检测第二帧的位置，有点像单目标的追踪，即在视频帧之间保持目标对象的一致性)

为了实现通用的灵巧抓取，系统必须在各种现实世界场景中有效地泛化。然而，原始视觉输入 Iw, Ih 的高度可变性对学习任务关键型表征构成了根本性的挑战。传统的模仿学习方法即使在物体或环境条件的微小变化下也常常会灾难性地失败。为了解决这个问题，我们的解决方案仍然是将潜在的领域变化输入转换为适合模仿学习的领域不变表征。我们认识到，虽然像素级感知可能存在很大差异，但基础模型提取的细粒度语义特征往往更稳健、更一致 (Tang et al. 2023; Wang et al.)。因此，我们利用特征提取器 ϕ，DINOv2 (Oquab et al. 2023) 从原始图像中获取特征。在每个时间步长 t，我们获得头部摄像头图像特征

，以及腕部摄像头图像特征

，其中 Lh、Dh、Lw、Dw 分别表示头部和腕部特征序列的长度和隐藏层维度。如我们在 5.5 节中所示，这些提取的特征对于干扰视觉因素保持相对不变。

到目前为止，原始语言和视觉输入（包括指令 l 和图像 Ih, Iw）已通过利用基础模型迭代转换为领域不变的表示，包括掩码指令m和特征 zh, zw。这为模仿学习奠定了基础。现在，我们学习策略 π，该策略预测基于这些表示的视界 H 的动作块。

为了将物体掩码与头部摄像头特征融合，我们使用随机初始化的 ViT 将 m 投影到头部图像特征空间，得到 zm，并将其与 zh 逐个 patch 地连接起来，得到¯zh

。随后，我们将¯zh、腕部摄像头特征 zw 和机器人状态 s 映射到一个包含独立 MLP 的公共嵌入空间，得到˜zh、˜zw 和˜zs。然后，将这些嵌入连接起来，形成完整的观测特征序列

。

对于动作预测，我们采用 DiT（Peebles and Xie 2023）生成多步骤动作，遵循扩散策略范式（Chi et al. 2023；Liu et al. 2024）。在每个时间步 t，我们将接下来的 H 个动作捆绑成一个块 A=a=[a,a,...,a]。在训练期间，采样一个随机扩散步长 t=k，并将高斯噪声ϵ添加到 A，得到带噪声的动作标记 x=αA+σϵ，其中 α 和 σ 是 DDPM 系数。然后，我们将 xi 与观察特征序列 ˜zt 一起输入 DiT。每个 DiT 层对动作标记执行双向自注意力，对 ˜zt(obs)执行交叉注意力，并进行 MLP 变换，最终预测原始噪声ϵ。通过最小化噪声预测误差，模型学习重建真实动作块 A。在推理阶段，迭代去噪步骤从学习到的分布中恢复预期的多步骤动作序列，从而实现多模态行为的模拟。我们还采用了滚动时域控制策略，该策略仅执行前几个动作，然后再生成新的动作块预测，从而增强了响应速度。

总体而言，DexGraspVLA 通过基础模型，对从领域变化的输入中导出的领域不变表征进行模仿学习。该方法充分利用了基础模型的世界知识和泛化能力，同时有效地捕捉了从这些抽象表征到动作输出的映射。

4.2 数据收集

为了训练我们的灵巧抓取策略，我们手动收集了一个数据集，该数据集包含 2,094 个在杂乱场景中成功演示的样本，这些样本使用了 36 种大小、重量、几何形状、纹理、材质和类别各异的家用物品。每个场景 τ = {(Ih, Iw, s, m, a)} 记录每个时间步 t 的原始相机图像 Ih, Iw、机器人本体感觉 s、物体掩码 m 和动作 a。掩码的标记方式与控制器中的相同。对于每个物体，我们将其随机放置并收集多个抓取演示，其周围物体在场景之间随机化。这些演示以典型的人类运动速度进行，每次大约需要 3.5 秒。它们经过严格检查以确保质量。DexGraspVLA 控制器基于该数据集通过模仿学习进行训练。

5. 实验

在本节中，我们将对 DexGraspVLA 进行全面评估。所有实验均在与演示设置不同的环境中进行，确保采用“零样本”设置，以严格评估其在全新真实场景中的泛化能力。我们的实验旨在解决以下问题：(1) 大规模泛化（第 5.2 节）：DexGraspVLA 能否泛化至数千种未见过的物体、光照和背景组合？(2) 基线比较（第 5.3 节）：其性能与基线相比如何？(3) 消融研究（第 5.4 节）：基于领域不变表征的模仿学习在多大程度上提升了泛化能力？(4) 机制分析（第 5.5 节）：其内部模型行为在不同环境下是否保持一致？(5) 长视界任务（第 5.6 节）：DexGraspVLA 如何有效地处理自由形式、长视界指令？（6）扩展到非抓握抓取（第 5.7 节）：它能否扩展到抓取之外的其他灵巧操作技能？

5.1 实验设置

硬件平台。如图 3 所示，我们的配置包括一个 7 自由度 RealMan RM75-6F 机械臂和一个 6 自由度 PsiBot G0-R 机械手。腕戴式 RealSense D405C 摄像头提供第一人称视角，头戴式 D435 摄像头捕捉第三人称视角。物体放置在前方的桌子上，控制频率为 20 Hz。

基线。我们将 DexGraspVLA（我们的）与在我们数据集上微调的几个最先进的 (SOTA) VLA 基线进行比较，包括 π(Black et al. 2024)、RDT (Liu et al. 2024)、OpenVLA (Kim et al. 2024) 和 OpenVLA-OFT (Kim, Finn, and Liang 2025) 的全参数 (Full FT)训练和 LoRA 微调变体。我们还评估了我们方法的两个简化版本：1) DINOv2-train：与 DexGraspVLA 相同，但具有可训练的 DINOv2 编码器。2) ViT-small：与 DexGraspVLA 相同，但用更小、可训练的 ViT 替换了 DINOv2。从经验上看，ViT-small 变体代表了扩散策略 (Chi et al. 2023) 的增强版本，该策略是 SOTA 模仿学习的基线。所有实验的高级规划器均基于 Qwen-VLChat (Bai et al. 2023)，但在长视界任务（第 5.6 节）中，我们使用Qwen2.5-VL-72B-Instruct (Team 2025)。具体实现细节见附录 A。为了考虑推理随机性，我们在第 5.2 节中报告了 @k (k = 1, 2, 3)，其中每次测试最多允许 k 次尝试。Ours@1 等同于 Ours。在单次尝试中，策略在初始失败后进行的重新抓取是允许的，且不单独计算。

5.2 大规模泛化评估

任务。我们精心挑选了 360 个未见过的物体、6 个未见过的背景和 3 个未见过的光照条件。这些物体的尺寸、重量、几何形状、纹理、材质和类别各不相同，但都能被我们灵巧的手抓取。背景和光照条件的选择应确保视觉上清晰可辨。我们通过在杂乱场景（每个场景约 6 个物体）中的三个抓取任务来评估泛化能力：(1) 未见过的物体：360 个物体中的每一个在白色桌面上的随机场景中抓取一次（360 次测试）。（2）未见背景：103 个物体的子集 S 在白光下每个背景形成 103 个场景，共计 618 次测试。（3）未见光照：相同的 S 在白色桌面上每个光照条件下形成 103 个场景（309 次测试）。详情见附录 B。

指标。如果物体被举到距离桌面 10 厘米的高度并持续 20 秒，则抓取成功。成功率是成功次数与总测试次数之比；综合表现是按任务比例加权平均值。

结果。我们在表 1c 中展示了定量结果。从第一行（“Ours@1”）开始，DexGraspVLA 在 360 个未见物体上实现了 91.1% 的单次尝试成功率，在 6 个未见背景上实现了 90.5% 的成功率，在 3 个未见光照条件下实现了 90.9% 的成功率，最终总成功率为 90.8%。这些结果表明，在各种未见条件下，无需针对特定领域进行微调，即可实现对灵巧手从杂乱物体中抓取特定物体的稳健且精准的控制。这凸显了强大的泛化能力，并表明我们的框架显著缓解了模仿学习中的过拟合问题。我们将在 5.5 节进一步分析这种泛化能力的来源，并在 5.7 节扩展其应用。

从定性上看，DexGraspVLA 能够稳健地处理涉及透明、可变形、反光或背景伪装物体的复杂情况。它还能灵活地适应各种几何形状和姿势——例如，从侧面抓取瓶子，从顶部拿起小型耳机盒，或取回放置不当的盒子。闭环策略允许在尝试失败后重新抓取，并通过跟踪物体运动来容忍人为干扰。这种稳健性源于三个因素：首先，基于基础模型的感知确保了外观变化下的语义一致性；其次，模仿学习避免了对显式物体建模的需求；第三，基于扩散的动作头能够捕捉多模态动作分布。

从第二行和第三行（“Ours@2” 和 “Ours@3”）可以看出，允许最多三次尝试后，性能进一步提升至 96.9%，这表明成功率仍有提升空间。最后，我们的模型大约需要 6 秒才能抓取一个物体，这与人类的抓取速度接近，确保了其在实际场景中的实用性。

5.3 基线比较

任务与指标。我们采用与 5.2 节相同的设置，但规模较小，以便与基线进行比较。任务涉及 24 个未见物体、2 个未见背景和 2 个未见光照条件。我们还包含 12 个白色背景和光照下的可见物体（可见物体）。指标保持不变；详情见附录 B。

结果。如表 1a 所示，DexGraspVLA 在所有设置下均能达到 90% 以上的成功率，显著优于经过微调的 VLA 模型。π（完全 FT）在可见物体上的识别率达到 75%，但在视觉变化下其性能急剧下降。π（LoRA）和 OpenVLA（LoRA）也观察到了类似的下降，这表明在训练语言和视觉领域存在过拟合。值得注意的是，RDT 也使用了与我们类似的冻结视觉和语言基础模型，并表现出更稳定的性能，但仍然存在不足。这表明边界框比语言编码提供了更强的基础，并且 DINOv2 比 SigLIP（Zhai 等人，2023）更好地保留了视觉细节。总体而言，这些结果验证了 DexGraspVLA 的设计及其卓越的泛化性能。

5.4 消融研究

任务与指标。为了将 DexGraspVLA 与直接从原始视觉输入学习（无需冻结视觉编码器）的简化变体进行比较，我们使用 13 个可见物体和 8 个未可见物体进行了单物体抓取实验。每个物体在桌面上的五个位置进行测试，每个位置进行两次试验，最终在白色桌面和灯光下共进行了 210 次测试。

结果。表 1d 显示，DexGraspVLA（我们的）在可见和不可见物体上的识别率始终超过 98%，显著优于 DINOv2-train 和 ViTsmall 变体。（表明视觉编码器不能加进来训）。它在零样本设置下近乎完美的表现，表明其对域偏移具有强大的鲁棒性。有趣的是，它在未见物体上的表现略高于在见过物体上的表现，这表明该模型学习的是抓取任务本身，而非对训练数据的过拟合。相比之下，将原始输入映射到动作的基线模型则无法泛化，因为感知变化很容易将它们推离分布。

5.5 内部模型行为分析

为了进一步验证我们的设计，我们检查了内部模型的行为在不同的视觉条件下是否保持一致，如图 4 所示。我们在同一个杂乱场景（9 个物体，目标：“抓住中间的蓝色酸奶”）上测试了 DexGraspVLA，测试环境包括四种：白色桌子、校准板、彩色桌布以及迪斯科灯光下的同一块桌布。为清晰起见，我们仅显示桌面区域；完整图像位于附录 B 中。虽然头部图像（第一行）看起来差异显著，但 DINOv2 的特征（第二行）看起来相当一致。这些特征通过将主成分映射到 RGB 通道来实现可视化，就像 Oquab 等人 (2023) 所做的那样。在不同环境下，物体属性都得到了稳健的维护和匹配，这从根本上使在单个数据域上训练的 DexGraspVLA 能够泛化。第三行显示 Cutie 准确地跟踪了物体，并为控制器提供了正确的引导。基于领域不变掩码和 DINOv2 特征，DiT 动作头现在可以预测后续动作。在第四行中，我们对 DiT 头部图像的所有交叉注意力进行平均和归一化。我们发现所有注意力图都表现出相同的行为，即专注于目标物体，而不是被环境分散注意力。第五行将注意力图叠加在原始图像上，以确认合理的注意力模式。所有可视化细节均在附录 B 中提供。因此，我们证实 DexGraspVLA 确实将感知不同的原始输入转换为不变的表示，并有效地应用模仿学习对数据分布进行建模，解释了强大的泛化能力。

图 4：DexGraspVLA 对环境变化具有鲁棒性。同一杂乱场景（第一行）被排列在四个视觉上不同的环境中（四列）。DINOv2 特征（第二行）、蒙版（第三行）和注意力图（第四行）在不同环境变化中保持一致。第五行确认 DexGraspVLA 正在关注正确的物体。

5.6 长期任务评估

任务。我们在长视野抓取任务上评估 DexGraspVLA。我们使用四种类型的提示——“清理桌子”、“抓住所有瓶子”、“抓住所有绿色物体”和“抓住所有食物”——这些提示需要运用常识和物理推理来按顺序识别目标。每个提示在 24 个随机配置的杂乱场景中进行评估。“清理桌子”场景包含三个未见物体；其他场景包含 3-4 个未见物体，其中两个与目标相关。

指标。对于每项任务，我们将任务成功率报告为完全完成所有必需阶段的测试占比。我们进一步报告成功测试中每个物体的平均抓取尝试次数，以及指令提议、边界框预测、规划器完成度检查和控制器抓取执行的成功率。

结果。表 1b 显示，DexGraspVLA 在四个长时域提示中实现了 89.6% 的总体任务成功率，每个目标物体的尝试次数略多于一次。高级规划器根据观察结果构建提示语义，并提出正确的指令，平均成功率为 94.3%。其边界框预测准确率始终高于 98%，我们通过附录 D 中干扰条件下的评估进一步证实了这一点。低级控制器利用其稳健且可泛化的抓取策略，执行单个抓取操作的成功率超过 91%，从而实现了可靠的多步骤完成。此外，规划器能够以超过 94% 的准确率检测任务完成情况，从而避免了重复操作。这些结果凸显了 DexGraspVLA 中高级和低级模块之间的协同作用，展现了其分层框架在长时域任务中的有效性。示例见附录 C。

5.7 扩展到非抓握抓取

任务与指标。为了展示 DexGraspVLA 在灵巧抓取之外的适用性，我们将 DexGraspVLA 应用于一项非抓取性抓取任务（图 1 最后一排）。我们选取了 32 个难以直接抓取的扁平、宽面物体（例如盘子、盒子和书籍），并收集了 1,029 个杂乱场景中的真人演示。在这些演示中，机器人首先通过将物体推向桌子边缘进行预抓取操作，创建一个可操作的姿势，然后执行最终抓取。我们保持 DexGraspVLA 的规划器不变，并在此数据集上训练控制器（重新训练）；详细信息见附录 A。为了评估泛化能力，我们选取了 18 个未见过的非抓取性物体，并设计了三类任务：(1) 未见过的物体（36 次测试）：每个物体被放置在两个杂乱场景中，并在白光下以不同的姿势摆放在白色桌面上。(2) 未见过的灯光（36 次测试）：在迪斯科灯光下使用相同的方案。（3）未知背景（72 次测试）：在木质桌面或黄色桌布上进行相同测试。成功率报告方法与 5.2 节相同。

结果。如表 1e 所示，在非可抓取抓取任务中，DexGraspVLA 表现出对未知物体外观、形状、物理特性以及新背景和光照的强大鲁棒性，显著优于已淘汰的变体。我们观察到，DexGraspVLA 能够可靠地适应物体姿态，将其推至足够超出边缘，然后实现稳定抓取。这项任务对于平行爪式夹持器来说尤其具有挑战性，凸显了我们展现出的灵活性。此外，DexGraspVLA 无需架构更改即可无缝扩展到这项新任务，体现了通用性的三个关键方面：(1) 高级规划器的基础和推理能力；(2) 使用边界框作为可供性指导；(3) 将模仿学习应用于从基础模型迭代获得的领域不变表征。

6. 局限性和结论

本文介绍了 DexGraspVLA，这是一个分层 VLA 框架，旨在实现语言引导的灵巧抓取及其他领域的稳健泛化。通过利用预训练的 VLM 作为高级规划器，并在低级控制器中利用视觉基础模型，该系统将多模态输入转换为领域不变的表征，并通过模仿学习来学习稳健的闭环策略。我们的大规模评估表明，在零样本环境下，数千个未见过的杂乱场景中的抓取成功率超过 90%，并且经验证据表明其内部行为一致。DexGraspVLA 还可以处理自由形式的长时域提示，从故障中恢复，并扩展到非抓取性抓取，展现出广泛的适用性。虽然 DexGraspVLA 很有效，但它尚未解决功能性抓取和后续操作问题，也没有融入触觉感知。在未来的工作中，我们的目标是扩展高级规划器以生成更细粒度的功能，并学习集成触觉反馈的面向任务的操作控制器，从而进一步拓宽 DexGraspVLA 的范围。

附录一些细节

在本节中，我们介绍了 DexGraspVLA 实施（附录 A.1）、基线实施（附录 A.2）和数据集收集（附录 A.3）的细节。

A.1 DexGraspVLA 实现细节

规划器。高级规划器的运行方式如第 4.1 节所述。通过利用现成的 VLM 作为规划器，我们的框架获得了显著的灵活性，从而能够轻松利用更高级的模型来提升性能。我们的观察表明，Qwen2.5-VL-72BInstruct（Team 2025）在推理和指令遵循方面优于 Qwen-VL-Chat（Bai 等人，2023），从而提升了长期任务的完成率。因此，我们在长期任务中以 Qwen2.5-VL-72B-Instruct 为基础构建了 DexGraspVLA 规划器，并在下方提供我们的提示。

这些提示主要通过四个子任务指示 指导VLM 充当 DexGraspVLA 规划器，包括 (1) 指令提议：根据用户提示 p 提示当前的抓取指令 l；(2) 边界框预测：标记目标物体边界框；(3) 抓取结果验证：检查抓取是否成功，以及 (4) 提示完成检查：评估整个用户的提示是否完全满足。由于指令提议、边界框预测和提示完成检查仅需要桌面操作工作空间内的信息，因此我们从头部摄像头图像中裁剪相关区域，并用白色像素填充剩余区域。裁剪后的图像将用作规划器在这些子任务中的视觉输入。

首先，当用户收到提示 p 时，规划器会先确定接下来应该抓取场景中的哪个物体。此步骤包括结合上下文解释提示，并从当前视觉输入中选择最匹配的物体。

在确定下一个要抓取的物体后，规划器会根据以下提示预测该物体的边界框，从而在图像中定位该物体。生成的抓取指令将作为该定位模块的输入。（下面的grasping_instruction）

在控制器执行期间，规划器使用以下提示来验证对象是否已成功抓取。

成功抓取后，它会触发脚本化的放置动作。每次抓取尝试后，规划器都会将机器人重置到初始状态，并检查用户提示是否已完成，并执行后续提示。

在我们的实验中，我们要么查询这些模型的在线 API，要么自行使用 vLLM (Kwon et al. 2023) 将它们托管在一台 8-A800 GPU 服务器上。在托管 Qwen2.5-VL-72B-Instruct 时，我们使用 Qwen2.5-VL7B-Instruct 进行推测解码，以加速推理。

控制器。我们首先阐述了通用灵巧抓取实验中控制器的实现细节。所有原始图像均由头部和腕部摄像头采集，分辨率为 640 × 480 × 3。相应地，掩模分辨率为 640 × 480 × 1。通过初步模型选择我们决定使用 DINOv2 ViTB/14 作为头部摄像头图像的特征提取器 ϕ，并使用 DINOv2 ViT-L/14 作为腕部摄像头图像的特征提取器 ϕ。在将图像输入 DINOv2 之前，我们将其大小调整为 518×518×3。在训练过程中，我们通过颜色抖动应用域随机化。最后，将图像归一化并输入到 DINOv2 模型中。这导致了特征 z∈R 和 z∈R。通过使用随机初始化的 ViT 处理掩码 m，我们提取其特征 z∈R。逐块连接 z 和 z 得到 ¯z∈R。然后，我们将 ¯z, z, s 投影到具有单独 MLP 的维度 1024 的相同特征空间，得到 ˜z∈R, ˜z∈R, ˜z∈R，并将它们连接起来形成完整的观测特征序列 ˜zt = (˜z, ˜z, ˜z) ∈ R。（一些维度，过程和前面介绍一样）。最后zobs是2739*1024