2026.3Datawhale组队学习 推荐算法入门 Task2生成式架构的基石

生成式推荐的两大核心架构：Transformer与Diffusion

生成式推荐将推荐问题建模为序列生成任务，其技术基石为Transformer和Diffusion模型两大架构范式，二者生成机制不同但可互补协同，适配不同推荐场景。以下是对两大架构的核心原理、关键设计及推荐场景应用的系统梳理：

一、Transformer架构

自2017年提出后，Transformer凭借自注意力机制和并行计算特性，成为NLP、CV等领域主流，并在生成式推荐中展现显著优势，核心是自回归逐token生成序列，擅长捕捉序列因果依赖。

1. 核心组件：自注意力机制

自注意力是Transformer的核心，能让模型自适应关注用户历史行为中的重要信息，精准预测下一步行为，核心是查询（Q）-匹配（K）-聚合（V） 模式。

（1）QKV计算三步骤

1. 线性变换生成Q/K/V：将输入序列表示矩阵X通过三组独立权重矩阵，映射为Query（预测需求）、Key（信息索引）、Value（实际内容），三者语义独立，提升匹配灵活性。
2. 计算注意力权重：通过Q和K的内积计算相似度，除以缩放因子$d_k$避免内积过大导致的梯度消失，再经Softmax归一化为概率分布，得到各位置的关注权重。
3. 加权聚合Value：根据注意力权重对所有Value加权求和，权重越高的位置，对输出贡献越大，实现从历史行为中自适应提取信息。

（2）多头注意力的价值

单个注意力头仅能学习一种关注模式，多头注意力并行计算h组独立的Q/K/V，每组为一个“专家”，学习不同关注策略（如同品牌、同类别、最近行为），最后拼接结果并投影融合。相比同参数量的单头注意力，多头能学习不同子空间表示，避免信息混杂，提升表达能力。

2. 序列建模：位置编码

自注意力机制对序列顺序不敏感，位置编码为序列注入位置信息，让模型感知行为先后顺序，推荐场景中还需结合时间信息优化，分为两类核心编码方式：

（1）基础位置编码

• 绝对位置编码：为每个位置分配固定/可学习的编码向量，与输入表示相加。经典的正弦绝对编码具备唯一性、可学习相对关系、可外推的优势；可学习编码更灵活，但无法处理超出训练长度的序列。
• 相对位置编码：在注意力计算中引入位置相对关系偏置，直接建模$i-j$的差异，泛化能力更强，更适配变长序列。

（2）推荐场景的时间序列建模

用户行为序列包含真实时间间隔（如密集短期行为vs跨周期行为），标准位置编码无法区分，因此推荐中会引入时间戳信息：

1. 将时间戳离散为小时/天/周等粒度，学习独立嵌入后求和；
2. 采用相对时间位置编码，将位置间的时间间隔做对数变换后编码，兼顾长期和短期行为建模。

3. 两大核心架构范式

Transformer在生成式推荐中主要分为Encoder-Decoder（编码器-解码器） 和Decoder-Only（仅解码器） 两种架构，二者设计、特性、适用场景差异显著。

（1）结构与核心差异

（2）优劣权衡

• Encoder-Decoder：优势是结构化信息处理，解耦“用户理解”和“推荐生成”，双向注意力捕捉用户长期偏好，交叉注意力实现动态查询，适配输入输出异构场景（如多模态输入+物品ID输出）；劣势是参数冗余、计算开销大，交叉注意力随序列长度线性增长，规模化潜力受限。
• Decoder-Only：优势是简洁统一，参数效率高（无结构冗余）、工程实现简单（易硬件优化，MFU可达20%以上）、兼容LLM生态（可复用GPT/LLaMA的架构、训练策略和框架）；劣势是单向建模无法利用“未来”信息，无独立编码器压缩输入，长序列计算开销大。

（3）推荐任务的架构选择策略

1. 按任务类型：异构输入输出、检索式生成、多任务推荐选Encoder-Decoder；序列续写类任务（给定历史预测后续行为）选Decoder-Only更高效。
2. 按数据/模型规模：大规模预训练（10B/100B参数）、数据充足选Decoder-Only（扩展性强）；小模型（1B以下）、数据有限选Encoder-Decoder（易优化训练）。
3. 按系统部署：Encoder-Decoder可离线缓存编码器输出，降低在线推理量；Decoder-Only可通过KV Cache、Speculative Decoding等优化，实时生成场景更高效（毫秒级延迟）。

4. 自回归核心：因果掩码机制

因果掩码是实现自回归生成的关键，通过在注意力矩阵中对未来位置施加-∞，确保预测第t个token时仅能依赖前t-1个token，保证训练推理一致性。

• 训练效率：虽生成是逐token的，但训练时可并行计算所有位置的损失，一次前向传播完成多步预测，大幅提升效率。
• 推荐场景定制掩码：可根据业务需求修改掩码矩阵，如会话级掩码（仅关注当前会话行为）、任务特定掩码（为CTR/CVR设计不同掩码）、双向前缀掩码（静态特征双向关注，行为序列因果关注），精准控制信息流动。

二、Diffusion模型

Diffusion模型是与Transformer互补的生成范式，核心是从随机噪声中迭代去噪恢复数据，采用“全局并行去噪”方式，突破了自回归模型的序列生成限制，为生成式推荐提供了全新技术路径。

1. 生成范式的核心差异

Transformer是序列化自回归生成，逐token依次生成，依赖因果关系，保证逻辑一致性但生成速度慢、难以并行；Diffusion模型是全局并行去噪生成，从纯噪声出发，通过多步迭代逐步恢复目标数据，无严格顺序约束，生成更灵活，且可与Transformer结合（如以Transformer作为去噪网络骨干）。

2. 核心机制：两个互逆的马尔可夫过程

Diffusion模型的核心是前向扩散和反向去噪的互逆过程，训练目标是学习反向去噪过程，实现从噪声到真实数据的恢复：

1. 前向扩散过程：从真实用户/物品数据出发，逐步添加高斯噪声，经过T步后得到近似纯噪声的状态，类似将雕像侵蚀为模糊石料。
2. 反向去噪过程：从随机噪声开始，通过学习到的去噪网络逐步去除噪声，最终恢复出真实数据，类似从石料中雕琢出雕像。

（1）两大类型

• 数据空间扩散模型：直接在原始数据空间扩散/去噪，更直接但计算开销大；
• 潜在空间扩散模型：先将数据压缩到低维潜在空间，再进行扩散/去噪，效率更高，是推荐场景的主流选择（适配大规模用户行为序列）。

（2）条件扩散模型

为让生成过程受用户历史行为约束，通过直接拼接、交叉注意力或分类器引导，将条件信息注入去噪网络，实现可控的推荐生成。

3. 推荐场景的核心应用

Diffusion模型凭借生成能力和并行特性，在推荐系统中主要用于解决数据稀疏、序列生成、多模态融合等问题，核心应用方向包括：

1. 特征增强与表示学习：对用户/物品表示进行扩散去噪，生成鲁棒的embedding，缓解数据稀疏；将扩散过程作为数据增强，为下游任务提供丰富样本（如DiffuASR、CausalDiffRec）。
2. 序列生成与推荐：直接用于生成推荐物品序列，并行去噪无严格顺序约束，突破自回归模型的限制（如DiffRec、DreamRec）。
3. 多模态信息融合：将文本、图像等多模态特征编码到统一潜在空间，通过条件扩散生成融合结果，实现跨模态语义对齐（如MCDRec、LD4MRec）。
4. 协同过滤与图结构建模：在用户-物品交互图的潜在表示上进行扩散，捕捉高阶邻居关系和全局协同信号，提升协同过滤效果（如CF-Diff、GiffCF）。

4. 工业部署挑战

Diffusion模型的多步迭代采样过程会导致推理延迟，工业部署中需在生成质量和实时性之间权衡，通过采样加速、模型蒸馏等技术，满足线上推荐的延迟要求。

三、两大架构的核心互补性

Transformer和Diffusion模型并非互斥，而是生成式推荐的互补技术：

1. Transformer擅长自回归序列生成，捕捉因果依赖，推理速度（优化后）快，适配实时、顺序性强的推荐场景；
2. Diffusion模型擅长并行去噪生成，灵活性高、生成质量好，适配特征增强、多模态融合、非严格顺序的序列推荐场景；
3. 实际应用中可结合二者优势，如以Transformer作为Diffusion模型的去噪网络骨干，兼顾序列建模能力和并行生成特性。

整体而言，生成式推荐的架构选择需结合任务特性、数据规模、部署约束，同时可探索混合架构（如Encoder-Decoder加入Lazy Decoder、Decoder-Only加入双向预训练），进一步提升模型性能和效率。