2025_NIPS_Robust Knowledge Transfer in Tiered Reinforcement Learning

文章总结与翻译

一、主要内容

本文聚焦分层强化学习（Tiered RL）这一并行迁移学习框架，核心目标是在低层级（源任务）与高层级（目标任务）并行求解的前提下，将源任务知识迁移至目标任务，以降低目标任务的探索风险，且不预设两任务的动力学或奖励函数相同，重点解决无任务相似性先验知识下的鲁棒知识迁移问题。

1. 问题背景：现有多任务强化学习（MT-RL）平等对待所有任务，难以保障特定任务（如目标任务）性能；传统迁移强化学习（Transfer RL）要求源任务完全求解后再学习目标任务，缺乏实用性。分层RL虽提出并行迁移思路，但仅适用于源任务与目标任务完全一致的场景，限制了实际应用。
2. 核心条件与概念：提出“最优价值优势（OVD）”条件，证明其是实现鲁棒迁移目标的必要条件；定义“可迁移状态”，刻画目标任务能从源任务获得迁移收益的状态集合。
3. 算法设计：
   • 单源任务场景：提出平衡“基于悲观主义的源任务利用”与“基于乐观主义的目标任务在线学习”的算法，在任务相似时目标任务可获得常数遗憾，任务不相似时仍保持近最优遗憾，且源任务无性能损失。
   • 多源任务场景：设计“Trust till Failure”源任务选择机制，融合所有源任务信息，在更大的状态-动作空间实现可证明的迁移收益，仅增加对数级别的遗憾代价。
4. 理论与实验验证：通过下界分析验证OVD条件的必要性及Δmin对迁移性能的约束；实验在玩具示例