MicroGPT：200 行代码解锁 GPT 奥秘

安德烈·卡帕西编写 200 行 Python 脚本，可从零训练并运行 GPT。本文将以更直观方式剖析脚本，带你了解大语言模型背后的算法原理。

数据集与任务

该模型用 32000 个英文人名训练，任务是学习名字统计模式以生成新名字。训练后能生成类似真实的名字，这和 ChatGPT 根据对话提示续写类似。每个名字可看作一个‘文档’，模型学习字符间的关联。

数字处理与分词

神经网络只能处理数字，所以需将文本转为整数序列。简单分词器为每个唯一字符分配整数，还添加 BOS 标记。生产级分词器如 tiktoken 处理字符块，词汇量约 100000 个标记，但原理相同。

预测游戏与概率转换

核心任务是根据当前标记预测下一个标记。模型输出的对数几率需通过 Softmax 函数转换为概率，该函数可防止溢出。训练目标是最小化交叉熵损失，它能衡量预测误差。

反向传播与模型构建

反向传播通过链式法则计算参数变化对损失的影响。模型构建从标记表示开始，标记从嵌入表查找向量，位置也有嵌入表。标记之间通过注意力机制交互，不同注意力头学习不同模式。

完整流程解析

模型对每个标记依次进行嵌入、归一化、注意力计算等操作。多层感知机是每个位置独立思考的地方，最终投影到输出对数几率。这就是 MicroGPT 的完整处理流程。

编辑观点：MicroGPT 用 200 行代码展示了 GPT 核心原理，降低了学习门槛。它让更多人能理解大语言模型，未来有望推动更多创新应用。