DERL：基于强化学习的投资组合配置与市场信息的动态嵌入，收益率α超过0.03%（年化7.5%）

“Reinforcement-Learning Portfolio Allocation with Dynamic Embedding of Market Information”

摘要

本研究介绍了一种创新的深度学习投资组合管理方案，旨在应对市场信息高维、非平稳及低信噪比的难题。通过动态嵌入技术降低复杂状态空间的维度，提高了决策效率。该方案融合了生成自编码器与在线元学习的强化学习机制，专注于对投资组合调整至关重要的市场数据。实验表明，相较于传统投资组合基准和基于机器学习的预测-优化策略，此方法在500只美股中的表现更优，尤其在市场波动加剧时。其成功之处在于精妙的市场时机选择减少了风险，这超越了经典因子模型的解释范围。此外，通过消融实验验证了算法在不同强化学习策略下的稳定性，证明了嵌入技术和元学习在处理复杂金融市场信息方面的有效性。

简介

股票市场的高维随机性增加了提取有用信息（如收益率和相关性）的难度。由于金融市场具有动态非平稳特性，基于历史数据进行长期预测变得异常复杂，这对预测准确性提出了挑战。快速变化的经济指标、地缘政治事件及投资者情绪等因素，使得传统模型难以适应。在高维投资组合优化中，任何预测误差都可能被放大，从而影响整体投资组合的表现。

本文介绍了一种名为动态嵌入强化学习（DERL）的新框架，旨在应对动态非平稳市场环境下的高维投资组合配置难题。该框架利用生成编码器提炼并总结金融市场信息，将复杂的高维数据简化为易于处理的低维嵌入表示。同时，通过在线元学习技术动态调整编码器，实现对市场表现的实时更新，捕捉市场模式的变化。采用强化学习直接制定投资组合配置策略，确保能够根据最新的市场信息进行实时调整，以优化投资者的效用函数。实证实验基于三十年间的美国股市数据，使用市值排名前500的股票进行测试，在考虑交易成本的情况下，追求最大化净投资组合收益的夏普比率。本研究不考虑杠杆或卖空操作，符合共同基金管理的一般限制条件。

实证结果

DERL框架在夏普比率和索提诺比率方面显著超越了传统的两步预测优化方法及其他投资组合策略，尤其在市场高波动期间表现更加突出。DERL实现了超过0.03%的超额收益（α），这部分收益无法完全由Fama-French三因子或四因子模型解释，并且在不同的测试时期和波动环境中保持显著性。DERL展示了出色的市场时机选择能力，在市场波动加剧时减少市场暴露，倾向于选择低系统风险并在短期内波动后趋于稳定的股票。通过Lasso回归分析发现，DERL的决策与短期反转和长期动量效应相关联，同时在市场不稳定期间减少对高系统风险股票的投资。消融实验进一步证实了深度学习组件的重要性，其中嵌入技术在市场回报下降或VIX上升时，显著增强了模型处理噪声数据的能力，而元学习则在波动模式发生变化时提升了模型的表现。

本文贡献

本研究的创新之处在于仅依赖价格-成交量信息及常用技术指标，减少了手工特征工程的需求。通过使用生成对抗自编码器，能够自动创建低维特征，有效捕捉数据分布特性。同时，引入在线元学习使模型可以持续适应市场变化，降低了计算复杂度。

本文提出了一种全新的端到端强化学习框架，为每个资产每日提供具体的投资权重。尽管Cong等（2020）率先探索了策略性强化学习在动态投资组合配置中的应用，但本框架与之不同，它直接确定每项资产的配置比例，而不是根据评分来挑选股票。基于价格-成交量数据和技术指标，该方法支持每日调整，并拥有动态市场嵌入功能。实验表明，这种端到端的方法在性能上超越了传统的两步法框架。

01方法

本文介绍了一种通用的强化学习框架，旨在投资组合配置中整合多类型市场信息输入。文中详细描述了生成编码器的工作机制，该编码器负责将原始市场数据转换为易于处理的低维嵌入形式。同时，解释了如何运用在线元学习技术动态地更新这些嵌入，以适应市场的不断变化。结合以上三个要素，本文全面展示了动态嵌入强化学习（DERL）框架的构建与运作方式。

基于强化学习的投资组合配置

投资者利用强化学习来优化其投资组合，旨在最大化未来T期的投资收益，采用夏普比率作为评估标准。该策略基于马尔可夫决策过程（MDP）模型，其中状态由市场信息、资产权重和总财富组成，动作则为调整资产权重的向量，并且遵循不允许杠杆和卖空的原则。交易活动依据每日收盘价进行，决策制定依赖于价格和成交量数据，同时也支持纳入其他市场信息作为灵活输入。状态转移的概率受到市场回报和指标不确定性的影响，而交易成本则涵盖了佣金和买卖价差。在每个时间点，投资者都会获得即时回报，其长期效益通过计算夏普比率来衡量，这反映了投资组合在未来k天的表现。