2025_NIPS_Adversarial Model for Offline Reinforcement Learning

文章核心总结与创新点

主要内容

本文提出一种基于模型的离线强化学习（RL）框架ARMOR，核心是通过对抗训练马尔可夫决策过程（MDP）模型，实现对任意参考策略的稳健性能提升，不受数据覆盖范围限制。ARMOR基于“相对悲观主义”理念，在理论上保证了鲁棒策略改进（RPI）特性——在合理超参数范围内，所学策略绝不会劣于参考策略；若参考策略被数据覆盖且超参数调优得当，还能与数据覆盖范围内的最优策略竞争。实验层面，ARMOR采用单一MDP模型（无需集成模型），在D4RL基准测试中展现出与最先进模型无关和模型基离线RL算法相当的性能，且验证了其在不同超参数下的RPI特性。

创新点

1. 扩展鲁棒策略改进（RPI）适用范围：首次实现对任意参考策略的RPI，突破现有算法仅能对标数据收集策略的局限，即使参考策略未被数据覆盖也能保证性能不退化。
2. 对抗训练的模型基设计：通过对抗训练MDP模型构建相对性能下界，无需依赖模型集成，降低计算成本，同时适配高容量世界模型。
3. 理论与实践兼顾：既提供严格的理论保证（绝对性能与RPI特性），又设计了可扩展的深度学习实现，在连续控制任务中验证了有效性。
4. 灵活适配多场景：可作为标准离线RL算法使用，也能通过设置超参数退化为模仿学习，还支持残差策略初始化以应对参考策略与数据分布差异较大的场景。

翻译部分（Markdown格式）

Abstract

我们提出一