大模型训练过程中KVCache与MLA

最新推荐文章于 2025-07-04 11:29:36 发布
原创 最新推荐文章于 2025-07-04 11:29:36 发布 · 602 阅读 · 8 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#大模型

基础内容

在Transformer模型中，每个token有qkv三个属性，分别通过神经网络变换得到。1
根据Transformer中注意力公式，每个token的q需要和之前所有的k计算注意力，然后经过Softmax函数后乘以之前所有token的V，得到最终的结果。
也就是说，面对新的token,q是向量，KV是矩阵；q和k的点乘可以看做当前token和之前所有token之间的注意力

-
每个token作为K矩阵中一列和V矩阵中一行
为K计算新列，为V增加新行2
注意的是，只有自注意力层进行KVcache的交互，其他部分不需要(position embedding、Laynorm、Feedforward 不需要)

显存大小计算

以Qwen-72B为例3，模型80层，每层64个头，每个头的维度是128.
那么，一个token对应的qv的数量为2*64*80=10240;如果是半精度存储，每个参数为两个字节；那么为10240*2*128/1024/1024=2.5MB
还需要考虑B和长度大小L；有兴趣可以看3

Example
过程中注意
由于生成第一个token前没有KVcache，所以延迟较高，需要为提示中每一个token计算KV矩阵

可以观察到，GPT不同长度的token收费标准不同；主要原因在于处理/生成文本越多，占用的GPU内存多，收费就比较高

改进优化

MQA

kv共享
kv数量从2*层数*头的数量变为2*层数

GQA

kv数量从2*层数*头的数量变为2*层数*分组数

MLA


根据4deepseek V3 报告。

参考链接

  1. https://www.youtube.com/watch?v=80bIUggRJf4 ↩︎

  2. https://github.com/wdndev/llm_interview_note/blob/main/06.%E6%8E%A8%E7%90%86/llm%E6%8E%A8%E7%90%86%E4%BC%98%E5%8C%96%E6%8A%80%E6%9C%AF/llm%E6%8E%A8%E7%90%86%E4%BC%98%E5%8C%96%E6%8A%80%E6%9C%AF.md ↩︎

  3. https://zhuanlan.zhihu.com/p/16730036197 ↩︎ ↩︎

  4. https://arxiv.org/html/2412.19437v1 ↩︎

如何计算模型中的参数数量
hawk2014bj的博客
10-09 1143
不同的 Transformer 模型的参数的算法不太一些样，如果使用的 GQA，KV Matrix 和 Q Matrix 维度不同，计算时需要查看 Model 的配置信息，在模型仓库 config.json 文件中。
llama大模型中，为什么推理部分使用kv cache，而训练部分不使用kv cache
a533855的博客
10-17 2695
在 LLaMA 等大语言模型中，推理和训练过程在使用上存在差异的主要原因可以归结为计算效率和内存使用的不同需求。
LLM注意力Attention，Q、K、V矩阵通俗理解
Code1994的博客
01-14 3591
要理解大语言模型效果的底层实现原理，很大一部分就是理解Transformers Block里面的QKV矩阵。，比如注意力、量化、低秩压缩等等。其，在推理过程中，QKV存储量还会随着上下文长度的增长而线性增长，计算量也平方增加。可以说，现在大模型对外销售OpenAPI的价格战，；围绕QKV，各大模型厂商使出浑身解数，在本文，我们将从纯概念的角度，增进对QKV的理解。
多头注意力机制（multi-head attentions）中k、v的多头数可以和q不同
m0_63372012的博客
07-30 1566
通过允许查询和键/值具有不同的头数，模型可以在不显著增加计算和存储成本的情况下，提高其表示能力和灵活性。这种设计在大型模型和资源受限的情况下特别有用。
LLM推理：KV Cache【在训练过程中，KV缓存并不必要（模型在训练时使用教师强制，直接使用真实的目标token进行训练，而不是依赖模型生成的前一个token）】【KV Cache是用在推理阶段】
u013250861的博客
01-28 390
每个新token的生成都会计算查询（Query）、键（Key）和值（Value），并将新的键值对添加到KV缓存中。KV缓存帮助加速计算，避免重复计算，并维持生成过程中的上下文信息。通过合理管理KV缓存，模型可以更高效地生成长序列并保持上下文的连贯性。LLM推理入门指南②：深入解析KV缓存【LLM】6：大语言模型中的 KV 缓存机制为什么LLM推理加速有KV Cache而没有Q Cache？一文读懂大模型推理必备技术：KV Cache。
DeepSeek中的MLA技术
qq_43527718的博客
02-27 1549
On2)On)WQWVWKWDKVCtKV​WUKWUV。
【大模型】DeepSeek核心技术之MLA (Multi-head Latent Attention)
酒酿小圆子呀～
03-01 3240
在讲解MLA之前，需要大家对几个基础的概念（KV Cache， Grouped-Query Attention (GQA), Multi-Query Attention (MQA)，RoPE）有所了解，这些有助于理解MLA是怎么工作的，为什么需要这么做。
DeepSeek技术解读1：彻底理解MLA
ytt0523_com的博客
02-28 1308
本文试图通过引入更多基础知识和辅助信息，来深入理解MLA。内容比较长，可能觉得比较啰嗦。这是本人在理解MLA过程递归总结的一些扩展信息，最终整理了一个系统的脉络，发出来供大家参考。我的DeepSeek部署资料已打包好（自取↓）
【AI学习】Transformer深入学习（二）：从MHA、MQA、GQA到MLA
bylander的博客
01-04 2740
从MHA、MQA、GQA到MLA的简单分析和对比
LLM系列：KVCache及优化方法(非常详细）从零基础到精通，收藏这篇就够了！
Javachichi的博客
07-04 2601
KV矩阵只有一份，大幅减少内存。如下以GPT2结构第i层推理过程为例，分析KV Cahche计算过程，其中WQi，WKi，WVi，WOi，Wupi，WdowniW_Qi，W_Ki，W_Vi，W_Oi，W_{up}i，W_{down}iWQi​，WKi​，WVi​，WOi​，Wupi​，Wdowni​表示第i层decoder权重矩阵。第i层输入xix^ixi（[b,s,h]），self-attention块 xKi，xVi，xQix_Ki，x_Vi，x_Q^ixKi​，xVi​，xQi​（[b,s,h]）
驱动冲突伴随 DWG 图纸文字问号怎么办？下载冲突解决合集.zip
06-19
彻底解决CAD图纸文字变问号、文字变乱码，以及其他所有字体缺失带来的烦恼
【对架无人机进行规范控制和点对点运动的模拟】可变桨叶四旋翼控制的优化推力分配：翻转动作的比较研究（Matlab代码实现）
06-19
内容概要：本文围绕可变桨叶四旋翼无人机的规范控制与点对点运动模拟展开，重点研究优化推力分配策略在翻转动作中的应用与性能比较。通过Matlab代码实现，构建了四旋翼动力学模型，并设计了多种控制算法以实现精确的姿态调整与轨迹跟踪。研究对比了不同推力分配方案在执行高机动性翻转动作时的稳定性、能耗效率与响应速度，旨在提升无人机在复杂飞行任务中的动态性能与控制精度。该仿真研究为无人机飞控系统的设计与优化提供了理论依据和技术支持。; 适合人群：具备一定自动控制理论基础和Matlab编程能力，从事无人机控制、飞行器动力学或机器人系统研究的科研人员及研究生。; 使用场景及目标：① 实现四旋翼无人机在三维空间中的精确点对点运动控制；② 对比分析不同推力分配策略在执行翻转等高难度动作时的控制效果与能耗表现，优化飞行性能；③ 为无人机自主飞行、特技飞行及复杂环境下的机动控制提供算法验证平台。; 阅读建议：此资源以Matlab仿真为核心，建议读者结合相关控制理论知识，深入理解代码实现细节，重点关注动力学建模、控制律设计与推力分配模块。在学习过程中，应动手调试参数，复现文中翻转动作的仿真结果，并尝试拓展至其他复杂飞行任务，以加深对无人机控制机理的理解。
易语言源码易语言access数据库操作
06-19
易语言源码易语言access数据库操作
C++编程while循环结构测试题解析：程序输出与循环控制逻辑训练
06-19
内容概要：本文档是一份关于C++语言中while循环的专项测试卷，包含20道单项选择题和10道判断题，题目来源于GESP和CSP-J等权威编程等级考试真题。内容涵盖while循环的基本语法、执行逻辑、条件判断、循环控制、常见死循环原因及与其他循环结构的区别，重点考察循环条件的真假判断、循环体执行次数、变量变化过程以及相关逻辑推理能力。附带完整答案解析，有助于巩固C++循环基础知识。; 适合人群：准备参加GESP或CSP-J等青少年编程等级考试的学生，具备初步C++编程基础的学习者（如中小学阶段初学者）；适用于学习流程控制结构中的循环知识点。; 使用场景及目标：①用于检测对while循环掌握程度，查漏补缺；②辅助教师进行教学测评或学生自我练习；③帮助理解循环执行顺序、条件表达式含义及避免死循环等核心概念； 阅读建议：建议在完成每道题目后对照答案认真分析错误原因，结合代码调试加深理解；尤其注意条件赋值与比较的区别（如k=0）、逻辑非运算的应用及循环变量更新机制。
卓海海洋生态平台.pptx
06-19
卓海海洋生态平台.pptx
易语言源码易语言36进制转换模块源码
06-19
易语言源码易语言36进制转换模块源码
批量处理图纸乱码方案下载，高效解决大量文件文字异常问题.zip
06-19
彻底解决CAD图纸文字变问号、文字变乱码，以及其他所有字体缺失带来的烦恼
VariCAD 2021安装教程与下载
最新发布
06-19
VariCAD 2021 VariCAD 2020 VariCAD 2019 VariCAD 2018 VariCAD 2017 以上都包含
景工工艺优化平台解决方案.pptx
06-19
景工工艺优化平台解决方案.pptx
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值