2025_NIPS_SMACv2: An Improved Benchmark for Cooperative Multi-Agent Reinforcement Learning

文章主要内容总结

该文指出经典协作式多智能体强化学习（MARL）基准测试SMAC存在随机性不足、部分可观测性无实际意义的缺陷，导致开环策略（仅依赖时间步）即可在多数场景中取得较好性能，无法有效评估复杂闭环策略。为此，作者提出改进基准SMACv2，通过程序化生成场景（随机团队构成、随机起始位置）提升随机性，引入扩展部分可观测性挑战（EPO）增强观测约束，并调整单位视野和攻击范围。实验表明，SMACv2能有效规避SMAC的缺陷，现有顶尖MARL算法在其上表现受限，可更好地推动下一代MARL方法的研发。

创新点

1. 揭示SMAC核心缺陷：通过实验证明SMAC缺乏足够随机性，开环策略和仅基于时间步的Q值回归能实现非平凡性能，且部分可观测性无实际意义。
2. 提出SMACv2基准：采用程序化内容生成技术，随机化团队构成与起始位置，迫使智能体学习适应多样化场景的闭环策略。
3. 设计EPO挑战：通过随机屏蔽敌方观测、移除动作有效性掩码，构建有意义的部分可观测性场景，促进智能体间隐式通信。
4. 完善环境设置：调整单位真实视野和攻击范围，优化观测空间与奖励函数，保持与原SMAC的API兼容性，降低迁移成本。

Abstract 翻译

具有挑战性的基准测试对机器学习的近期发展起到了关键作用。在协作式多智能体强化学习领域，星际争霸多智能体挑战赛（SMAC）已成为集中式训练与分布式执行范式的热门测试平台。然而，经过多年对SMAC的持续优化，现有算法已达到近乎完美的性能。本文通过新的分析表明，SMAC缺乏足够的随机性