看不懂LLM生成逻辑？4大核心流程拆解，彻底搞懂Transformer如何预测下一个Token

前言

很多人天天调用大模型，却始终搞不懂底层原理：
同样一句话，为什么AI每次输出不一样？代词it怎么精准匹配前文名词？词语顺序颠倒语义完全不同模型是如何识别的？
网上Transformer教程全是复杂数学公式，新手越看越懵。

读完本文你能收获：

1. 完整吃透LLM自回归生成全链路：分词Token→Embedding→位置编码→自注意力→概率预测
2. 通俗拆解Token子词分词逻辑，明白为什么Token是AI计费最小单位
3. 搞懂高维语义向量Embedding，看懂词语语义距离、语义迁移原理
4. 拆解位置编码解决语序歧义的底层逻辑
5. 详解Self-Attention自注意力QKV机制，举实例看懂代词指代计算
6. 无复杂公式，全案例+通俗比喻，零基础也能看懂
   

全文抛开晦涩数学推导，搭配中英文实战示例，适合AI初学者、调参工程师、算法入门同学阅读。

一、LLM核心本质：只会做一件事——预测下一个Token

市面上所有大模型（GPT、Claude、DeepSeek等）底层逻辑完全统一：自回归生成。
简单一句话：
输入一串文字，模型拆分转为数字Token ID，不断计算下一个词的概率，选出概率最高的词输出，循环往复直到结束。

举个直观例子：
输入：中国的首都是
模型计算各词汇概率：
北京 92%、北平4%、长安3%、南京1%
优先输出「北京」；
再把中国的首都是北京作为新输入，继续预测下一个词，循环生成完整回答。

完整处理总流程

自然语言文本 → Token分词（转Token ID） → Embedding语义向量 → 叠加位置编码 → Self-Attention自注意力计算 → 概率分布预测 → 输出下一个Token

下面逐层拆解每一步底层细节。

二、第一步：Token分词，大模型的最小计算货币

1. 什么是Token？

Token不是完整词语，是模型计算、计费的最小单位，可以是完整单词、子词、单字、标点、字母。
类比：Token就像AI世界的货币，输入输出全部按Token计价。

2. 为什么要拆分子词，不直接用完整词汇？

如果直接存储全部英文单词、几百万中文词汇，查找表体积爆炸，计算成本极高。
拆分基础子词后，模型仅需几万基础“文字积木”，大幅缩小词表，提升运算效率。

示例英文拆分：
unhappiness → un + happi + ness

示例中文拆分：
原文：我爱人工智能，自然语言处理很有趣
分词结果：["我","爱","人工智能","，","自然语言处理","很","有趣"]

3. Tokenizer工作流程

1. 编码器Encode：人类文字 → 切割子词 → 映射为唯一数字Token ID（模型仅能识别数字）
2. 解码器Decode：模型输出一批Token ID → 还原为人类可读自然语言

踩坑提醒

1. 中英文分词规则差异极大，OpenAI、Qwen等模型词表互不通用；
2. 长句子、生僻词、网络符号会被拆成大量小Token，直接拉高计费成本；
3. 相同文字在不同模型下Token数量不一致，预估消耗时不能通用计算。

三、第二步：Embedding 把数字转为高维语义向量

经过分词后，文字只会变成一串无意义数字（例如“你”对应Token ID=57668）。
单纯数字无法表达语义，因此引入Embedding语义向量。

1. 通俗理解Embedding

模型内置一张超大Embedding矩阵（向量查找表），每个Token ID对应一个固定高维坐标向量（常见维度1024维）。
拿到Token ID，直接查表取出对应向量，这个过程就是Embedding。

2. 核心特性：语义由向量距离决定

高维空间中，向量是带方向的坐标点：

• 语义相近的词，向量空间距离很近
• 语义无关的词，向量距离很远

经典案例：

1. 国王、王后向量距离接近；
2. 向量运算实现语义迁移：国王向量 - 男性向量 + 女性向量 ≈ 王后向量；
3. 苹果和国王向量距离极远。

关键认知

单纯Token ID无法做加减运算，只有转为Embedding向量，模型才能理解词语之间的关联、差异。

四、第三步：位置编码，解决语序歧义问题

Embedding向量只存储词语本身语义，不携带词语先后顺序。
相同文字颠倒顺序，语义天差地别：

• 我咬了狗
• 狗咬了我

为了让模型识别语序，需要给每一个Token向量叠加位置编码（PE）。

叠加后，每个Token同时携带两类关键信息：

1. 语义信息：这个词是什么（Embedding）
2. 位置信息：这个词出现在句子第几位（位置编码）

五、第四步：Self-Attention自注意力QKV，看懂代词指代逻辑

场景痛点

句子：the animal didn't cross the street. because it was too tired.
it到底指代animal还是street？
全靠自注意力机制计算词语之间关联权重。

QKV通俗拆解

每一个Token都会生成三组独立向量：

1. Q Query（查询）：我要寻找和我相关的内容
2. K Key（键）：我对外展示的特征名片
3. V Value（值）：我携带的完整语义内容

计算逻辑

1. 代词it的Q向量，和句子中所有单词的K向量做点积运算，得到注意力分数；
2. 分数越高，代表两个词语相关性越强；
3. 本例中it与animal点积分数远高于street，模型判定it指代animal。

完整简化公式：
注意力分数 = Q(it) × K(animal)
注意力分数 = Q(it) × K(street)

自注意力核心价值

让每个词能结合全文上下文获取关联语义，解决代词指代、长文本信息关联问题，也是Transformer架构的核心灵魂。

六、第五步：概率预测，输出下一个Token

经过自注意力层完成上下文信息融合后，模型会把向量映射回词表，生成全部候选Token的概率分布。

• 概率最高的词汇优先输出；
• 把新生成的Token拼入原有输入，重复整套流程，持续预测下一词；
• 循环直到生成终止符，完整回答输出完成。
  这套循环机制统称为自回归生成。

七、全文核心总结

1. LLM底层唯一任务：循环预测下一个Token，自回归生成完整文本；
2. Token是AI计算、计费最小单位，通过子词拆分压缩词表，降低计算开销；
3. Embedding将无意义数字ID转为高维语义向量，依靠向量距离判断词语相似度；
4. 位置编码补充语序信息，解决相同文字颠倒顺序语义不同的问题；
5. Self-Attention自注意力QKV机制，计算词与词关联权重，实现代词、长文本上下文理解；
6. 完整链路：文本分词→Embedding→位置编码→自注意力→概率预测→循环生成。