从GPT到BERT：图解Transformer家族的核心差异与适用场景

从GPT到BERT：图解Transformer家族的核心差异与适用场景

如果你最近在尝试为你的项目选择一个合适的预训练语言模型，面对GPT、BERT、T5这些名字，是不是感觉有点眼花缭乱？几年前，当我第一次需要为一个文本分类项目做技术选型时，也经历过同样的困惑。当时BERT刚出来不久，风头正劲，而GPT-2也展示了惊人的文本生成能力。我花了不少时间研究论文和代码，才逐渐理清它们各自的“脾气秉性”。

简单来说，你可以把Transformer家族想象成一个庞大的技术家族。GPT像是家族里那个擅长讲故事、写文章的“作家”，它总是能根据你给出的开头，流畅地续写下去。而BERT则更像是一个严谨的“分析师”或“侦探”，它擅长深入分析一段文本，理解其中的含义、关系和情感，然后给出判断或答案。它们都源自同一个强大的“基因”——Transformer架构，但因为训练目标和结构设计的不同，走上了截然不同的道路，也因此在不同的任务场景下大放异彩。

这篇文章，我们就来彻底拆解这个家族的核心成员。我不会只给你一堆枯燥的公式和定义，而是会结合大量可视化的对比、实际的任务效果，以及我本人在项目中踩过的坑，帮你建立起一个清晰的认知地图。你会明白，为什么有些任务用BERT就是比GPT效果好，而有些场景下GPT又无可替代。更重要的是，我会提供一份实用的“决策指南”，让你在面对具体业务需求时，能快速、准确地找到最适合的那个模型。

1. 核心架构差异：单向解码器 vs. 双向编码器

要理解GPT和BERT的根本不同，我们必须回到它们的“祖先”——Transformer模型。2017年，那篇著名的《Attention Is All You Need》论文提出了Transformer，它主要由两部分组成：编码器（Encoder） 和解码器（Decoder）。

• 编码器：它的任务是“理解”输入。它像是一个精密的文本分析仪，可以同时看到一句话里的所有词语，并分析它们之间的相互关系和上下文含义。它输出的是一系列富含语义信息的“特征向量”。
• 解码器：它的任务是“生成”输出。它通常以自回归的方式工作，就像我们写文章一样，从左到右，一个字一个字地生成。在生成当前词时，它只能“看到”和“利用”已经生成出来的词，以及编码器提供的全部信息。

理解了这一点，GPT和BERT的定位就一目了然了。

1.1 GPT：专注生成的“单向解码器”

GPT（Generative Pre-trained Transformer）系列模型，本质上就是只使用了Transformer解码器部分的模型。它移除了原始解码器中用于关注编码器输出的那个“交叉注意力层”，只保留了自注意力层和前馈神经网络。

关键限制：单向注意力掩码（Causal Mask） 这是GPT最核心的特征。在训练和生成时，模型对每个位置词语的注意力，只能放在该位置之前的词语上，不能“偷看”未来的信息。这确保了模型在预测下一个词时，完全依赖于历史上下文，符合人类语言生成的逻辑。

# 一个简化的单向注意力掩码（Causal Mask）示意图
# 假设序列长度为5，1表示可以关注，0表示被屏蔽
causal_mask = [
    [1, 0, 0, 0, 0],  # 位置0只能看自己
    [1, 1, 0, 0, 0],  # 位置1可以看0和1
    [1, 1, 1, 0, 0],  # 位置2可以看0,1,2
    [1, 1, 1, 1, 0],  # 位置3可以看0,1,2,3
    [1, 1, 1, 1, 1],  # 位置4可以看所有（但在训练时，自己的位置通常也会被mask掉用于预测）
]

代码块说明：这个矩阵直观展示了GPT在计算注意力时，每个位置能“看到”的上下文范围。它是一个严格的下三角矩阵，确保了信息只能从左向右流动。

这种结构让GPT天然适合自回归生成任务，比如：

• 文本续写、创作
• 对话生成
• 代码补全
• 翻译（以生成目标语言句子的形式）

1.2 BERT：深度理解的“双向编码器”

BERT（Bidirectional Encoder Representations from Transformers）则走了另一条路。它只使用了Transformer编码器部分，并且去掉了其中所有的注意力掩码限制。

核心优势：全上下文双向注意力 在BERT中，每个词语在计算自己的表示时，都可以同时关注输入序列中的所有其他词语，包括它左边和右边的。这使得BERT能够获得极其丰富的上下文信息，对词语的理解更加深入和准确。

为了在标准的语言模型训练中实现这种“双向”学习，BERT的作者设计了一个巧妙的预训练任务：掩码语言模型（Masked Language Model, MLM）。

提示：MLM任务就像是让模型做“完形填空”。随机遮盖掉输入句子中15%的词语，然后让模型根据所有未被遮盖的上下文，来预测被遮盖的原始词语是什么。这个过程迫使模型必须同时利用左右两边的信息进行推理。

# MLM任务示例
原始句子： "人工智能正在深刻地改变世界。"
遮盖后输入："人工智能正在[MASK]地改变世界。"
模型任务： 预测[MASK]处的原词应为“深刻”。

此外，BERT还引入了下一句预测（Next Sentence Prediction, NSP） 任务，让模型学习句子间的关系，这对问答、自然语言推理等任务非常有帮助。

1.3 结构对比一览表

为了让差异更清晰，我们用一个表格来总结：