使用 32 位、8 位和分页 AdamW 优化器微调 LLMs

微调大型语言模型（LLMs）已成为一项关键但资源密集的任务，需要消耗大量 GPU 内存——尤其是使用 AdamW 优化器时，该优化器会迅速耗尽可用资源。对于每个模型参数，AdamW 需要在内存中存储两个额外的优化器状态，每个状态通常采用 float32 格式。这意味着每个参数需要额外占用 8 字节内存，以 80 亿参数的 Llama 3.1 模型为例，仅管理优化器状态就需要消耗约 64GB 内存。采用量化分页优化器可显著降低内存开销。bitsandbytes 等库推动了这些内存高效方法的普及，使其日益受到青睐。

本文将对 32 位 AdamW 优化器、其 8 位版本以及分页式 AdamW 优化器进行对比分析，考察它们对内存消耗、学习曲线和训练时间的影响。我们的目标是明确何时需要采用内存高效的优化器，并评估其在训练速度和模型精度方面的权衡。第一部分将回顾 8 位 AdamW 及其分页变体，随后我们将通过 Llama 3.1 和 3.2 的微调对各类 AdamW 变体进行基准测试。

AdamW 是 Adam 优化器的改进版本，广泛应用于 LLMs 的训练中。它专门解决了 Adam 在处理权重衰减时的一个缺陷，这对于控制过拟合并提升模型泛化能力至关重要。

AdamW 优化器会根据历史梯度为每个参数调整学习率。

梯度

在机器学习中，梯度表示模型误差随每个参数（如权重）微小变化而产生的变化量。优化器通过沿着正确的梯度方向调整模型参数，从而在训练过程中减少误差并提高准确性。

AdamW 优化器在训练过程中会跟踪两个指标：

第一矩（均值）：过去梯度的指数移动平均值，有助于引导优化朝正确方向进行。

二阶矩（方差）：梯度平方的