大模型训练显存快速计算办法

以下两套「拿来即用」的显存估算公式，并分别用 14 B 模型举例。
所有数字都以 单卡、混合精度（FP16/BF16）、AdamW 优化器 为缺省条件，单位 GB。

一、通用估算框架
显存 ≈ 静态占用 ＋ 动态占用

表格

复制

Φ = 参数量；14 B ⇒ Φ = 1.4 × 10¹⁰。

二、SFT（全参数微调）示例

1. 代入公式

   复制

   静态 = (2 + 2 + 8) × Φ = 12 × Φ
        = 12 × 14 GB ≈ 168 GB
   动态 = 20 GB（batch=1, seq=2048 经验值）
   框架 = 8 GB
   总计 ≈ 196 GB

2. 快速记忆法
   “12 × 参数量 GB” 即可粗略得出 SFT 峰值显存需求。
   14 B ⇒ 约 200 GB；7 B ⇒ 约 100 GB。

三、LoRA 示例

LoRA 只训练 低秩矩阵，设秩 r=16、α=32，常见比例：

表格

复制

经验公式：
LoRA 峰值显存 ≈ 2 × 参数量 GB + 20 GB
14 B ⇒ 约 50–60 GB；7 B ⇒ 约 35 GB。

四、一张速查表（FP16 + AdamW）

表格

复制

如需更精确的数字，可把 batch、seq、层数代入 activation 公式
Activation ≈ 34 × b × s × h + 5 × b × s² × a × L。

结论

• SFT 全参数：简单记为 12 × 模型大小 GB；

• LoRA：简单记为 2 × 模型大小 GB + 20 GB；

• 若再启用 QLoRA / ZeRO-3 / 梯度检查点，可在上表基础上继续砍半甚至更多。