133、主流模型家族横评：GPT、Claude、Gemini、DeepSeek、Qwen 架构差异

133、主流模型家族横评：GPT、Claude、Gemini、DeepSeek、Qwen 架构差异

上周五凌晨两点，我盯着终端里那个诡异的loss曲线——训练一个基于Qwen的对话模型，batch size从8调到16，loss直接炸到NaN。排查了三个小时，最后发现是Qwen的RMSNorm实现里有个float16精度陷阱，而同样的代码在GPT架构上跑得好好的。这种“同源不同命”的坑，逼着我必须把主流模型家族的架构差异彻底捋清楚。

从Transformer到“变形金刚”

所有大模型都源自2017年的Transformer，但各家在“如何变形”上走出了截然不同的路。别以为都是“decoder-only”就万事大吉，细节差异大到能让你调参时怀疑人生。

GPT系列（OpenAI） 是最正统的causal decoder架构。它的核心是“因果掩码+自回归”，每个token只能看到前面的token。GPT-3用了1750亿参数，但架构上其实很“朴素”——就是堆叠decoder block，每个block里是Masked Multi-Head Attention + FFN，LayerNorm放在残差连接之前（pre-norm）。这里踩过坑：GPT的pre-norm用的是LayerNorm，但它的实现里有个小trick——对输入做归一化时，gamma和beta的初始化方式会影响训练稳定性。如果你自己复现，记得把gamma初始化为1.0，beta初始化为0.0，别用默认的随机初始化，