随着人工智能技术的飞速发展，大型语言模型（LLMs）展现出了作为计算机代理的巨大潜力，能够在多模态任务中提升人类的生产力和软件的可访问性。然而，如何在真实环境中评估这些代理的性能，却一直是一个巨大的挑战。传统的基准测试往往局限于特定的模态或领域，如文本处理、网页导航、问答系统或代码编写等，且由于任务的多步骤和顺序性，完整的基准测试评估通常耗时数天。
为了解决这些问题，研究人员提出了Windows Agent Arena，一个专注于Windows操作系统（OS）的可重复、通用环境。在这个环境中，代理可以在真实的Windows OS中自由操作，使用与人类用户相同的各种应用程序、工具和网页浏览器来完成任务。通过将OSWorld框架（Xie et al., 2024）应用于Windows系统，研究团队创建了150多个涵盖不同领域的多样化任务，这些任务要求代理具备规划、屏幕理解和工具使用等能力。
Windows Agent Arena的另一个重要特点是其可扩展性。通过在Azure平台上进行无缝并行化处理，完整的基准测试评估可以在短短20分钟内完成。这一特性使得研究人员能够更高效地测试和评估各种AI代理的性能。
为了展示Windows Agent Arena的能力，研究团队还推出了一个新的多模态代理——Navi。在Windows领域的测试中，Navi的成功率达到了19.5%，虽然与人类用户74.5%的性能相比仍有差距，但这一结果已经展示了AI代理在复杂环境中的潜力。此外，Navi在另一个流行的基于网页的基准测试Mind2Web上也表现出了强大的性能。
研究团队对Navi的性能进行了广泛的定量和定性分析，并提供了关于使用Windows Agent Arena进行代理开发和数据生成的未来研究方向的见解。这些研究结果表明，Windows Agent Arena不仅是一个强大的评估工具，也为AI代理的进一步研究和发展提供了新的机遇。
然而，Windows Agent Arena也存在一些局限性。首先，它目前只专注于Windows操作系统，这可能限制了其在其他操作系统上的适用性。其次，虽然Navi在Windows领域的测试中表现出了一定的能力，但其成功率仍然相对较低，这表明AI代理在真实环境中的操作仍面临许多挑战。此外，Windows Agent Arena的评估结果可能受到任务设计和测试环境的影响，因此在解释和比较不同代理的性能时需要谨慎。
尽管如此，Windows Agent Arena的出现仍然是一个重要的里程碑。它为研究人员提供了一个全面、可扩展的环境来评估AI代理在真实世界中的表现，并为未来的研究提供了新的方向。通过不断改进和扩展Windows Agent Arena，我们有望看到更智能、更强大的AI代理的出现，为人类带来更多的便利和创新。
