股票_期货量化交易：神经网络用历史的数据学习预测未来的算法交易

强化学习建立在与环境互动过程时从环境中获得的最大奖励之上。显然，学习过程需要与环境不断互动。不过，状况有所不同。在解决某些任务时，我们与环境交互时可能会遇到各种限制。对于这种状况，一个可能的解决方案是使用离线强化学习算法。它们允许您依据与环境初步交互期间收集的有限轨迹存档（当它可用时）上训练模型。

当然，赫兹量化软件离线强化学习也有一些瑕疵。特别是，当我们与有限的训练样本打交道时，研究环境的问题变得更加尖锐，它无法适应环境的所有多变性。在复杂的随机环境中尤其如此。在上一篇文章中，我们讨论过解决该任务的选项之一（ExORL 方法）。

不过，有时与环境的交互限制可能至关重要。环境探索的过程可以伴随着积极和消极的回报。负面奖励可能是高度不受待见，且可能伴随着经济损失、或其它一些您无法接受的不必要损失。但任务很少是“凭空诞生的”。大多数情况下，我们会优化现有流程。在我们这个信息技术时代，我们几乎总能从以往解决类似上述任务的过程中，找到正在探索环境的互动经验。可以使用来自实际的与环境交互的数据，这些数据可在某种程度上覆盖所需的动作和状态空间。在《依据真实数据源的真实世界离线强化学习》一文中讲述了使用此类经验解决真实机器人应对新任务的实验。该论文的作者提出了一个训练模型的新框架：真实-ORL。

1. 真实-ORL框架

离线强化学习（ORL）针对马尔可夫（Markov）决策环境进行建模。假定访问提前生成的数据集，其形式是使用单个或混合行为政策收集的轨迹。ORL 的目标是利用离线数据集来训练一个几乎最优的政策 π。一般来说，由于探索不足和训练数据集有限，学习不可能得到最优政策 π*。在这种情况下，我们的目标是基于可用数据集进行训练，找到最优政策。

大多数离线强化学习算法都包含某种形式的正则化或保守主义。可以采取以下形式，但不限于：

• 政策梯度的正则化

• 近似动态规划

• 利用