文章核心总结与翻译 一、主要内容 本文聚焦人类反馈强化学习(RLHF)的理论研究,针对KL正则化上下文老虎机框架,探究了贪心采样的有效性。RLHF与传统强化学习(RL)相比,以人类偏好反馈替代绝对奖励信号,且目标函数包含KL散度惩罚项。文章同时针对通用偏好模型和布拉德利-特里(BT)模型,在在线和离线两种场景下展开分析,通过理论证明和实验验证,证实了基于经验估计的贪心采样在RLHF中具有高效性。 二、核心创新点 突破模型局限:首次在通用偏好模型下,实现在线场景O(log(T))O(log(T))O(lo