CPU GPU cache异同总结

最新推荐文章于 2026-06-27 11:58:40 发布
原创 最新推荐文章于 2026-06-27 11:58:40 发布 · 8.2k 阅读 · 6 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文探讨了GPU缓存抖动的原因及其对性能的影响，并介绍了CPU中用于缓解抖动的技术，如Cache bypassing和Thread throttling。针对GPU特有的挑战，文章详细阐述了GPU缓存管理策略，包括Cache-conscious Wavefront Scheduling，旨在通过减少内战竞争和提高命中率来优化GPU性能。

1. GPU cache 由于GPU 大规模多线程的特性，导致局部性很差。


2. GPU cache同样有抖动出现，这些thrashing是由于warp之间竞争引起的，当一些warp被调度到同一个SIMT核时，就造成了thrashing的出现。由于应用的工作集通常比cache大小大很多，一些高级的替换策略也没办法解决GPU的这个问题。


3. GPU同时有成百上千线程执行，每个线程分到的cache资源更少，CPU cache line生命周期更段，很多cache line在重用之前就被替换。


CPU中解决抖动的方法

1. Cache bypassing[1]：防止cache line被过早的evict出去，选择性地让某些内存请求绕过cache，从而为其他请求省下了cache空间，从而达到减少竞争。但是这个方法用到GPU上时，由于会有很多的cache miss发生【包括由于bypass的内存请求造成的】会导致MSHR或者片上网络堵塞，因此而限制内存提升。

【idea：stacking + bypass】 

2. Thread throttling: 首先将应用解构为计算任务和内存任务的组合。为了防止内存请求互相干预，限制并行执行的内存任务数[3]。

GPU中解决抖动的方法

1. Cache-Conscious Wavefront Scheduling利用thread/warp throttling来减少inter-warp竞争，并且提高GPU中的L1 cache命中率。提出两种机制，一种static wavefront limiting (SWL)在每个warp调度器使用静态确定的最多活动warp数目【maximum active warps (MAW)】。另一种利用运行时信息确定MAW数目。然而这种warp throttling的方法损失了大规模多线程能够隐藏延迟的优势，造成片上网络以及DRAM带宽利用率低下，限制了提升性能的空间。






[1] MICRO-12-Improving cache management policies using dynamic reuse distances

[2] PACT-14-MRPB: Memory request prioritization for massively parallel processors

[3] MICRO-10-Memory Latency Reduction via Thread Throttling



【微机原理】GPU的功能和架构
Rvosuke的博客
06-25 3362
GPU ， 图形处理器（graphics processing unit），又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上做图像和图形相关运算工作的微处理器。
Locality-Driven Dynamic GPU Cache Bypassing
qq_37026934的博客
07-31 1275
locality-Driven
(转)GPU的存储结构
qq_22677425的博客
06-25 3056
学习了一下GPU的存储结构，有一篇很好的文章，收藏一下 【CUDA】学习记录（7）- Global Memory Memory kernel性能高低不仅仅和线程的执行方式相关，还和存储器的访问和管理密切相关。众所周知，memory的操作在讲求效率的语言中占有极重的地位。low-latency和high-bandwidth是高性能的理想情况。但是购买拥有大容量，高性能的memory是不现实的，或者不...
GPU上缘何没有大量的cache
gaoxiang的专栏
05-29 4748
近年来，GPU广泛应用与高性能领域，其通用计算能力也得到了进一步的利用。与传统的CPU相比，GPU在处理能力和储存器带宽上有着明显的优势，在成本和功耗上也不需要付出太大的代价。         在当前主流的CPU+GPU架构中，CPU和GPU一般经过北桥芯片相互连接，各自有各自的外部储存器，分别为内存和显存。在这种混合架构中CPU负责逻辑性较强的事物运算，而GPU主要负责计算密集度较高的部分。其
第五章 基于GPU的优化处理
weixin_34186931的博客
11-10 573
早期的三维场景绘制，显卡只是为屏幕上显示像素提供一个缓存，所有的图形处理都是由CPU单独完成，而渲染一个复杂的三维场景，需要在短时间内处理几百万个三角形顶点和光栅化上百万个像素，擅长于执行串行工作的CPU实际上难以胜任这项任务，速度上达不到要求。所以，若要求在PC上实时生成三维图像，则将牺牲质量，导致画面很粗糙。现阶段，GPU的发展极大地提高了计算机图形处理的速度和图形质量，并促使图形处理功...
HBM CPU Cache / GPU Cache 的关系
m0_51389066的博客
08-18 1032
摘要：CPU和GPU采用不同的存储架构。CPU内置SRAM实现的L1/L2/L3缓存（1-10ns延迟），配合主板上的DDR4/5主存（100ns延迟）。GPU同样有芯片内部SRAM缓存（ns级延迟），但主存采用堆叠封装的HBM（30-100ns延迟），相比CPU的DRAM具有更高带宽（TB/s级）。HBM属于主存而非缓存，与CPU的DRAM层级对应，但通过先进封装技术实现更优性能。存储系统均遵循"缓存快容量小，主存慢容量大"的设计原则。
CCM(TCM,QMEM,SPM)与Cache的异同
tugouxp的专栏
12-24 3806
CCM是Closely coupled memories的缩写，中文名称是紧耦合存储器，哈佛架构下，一般有两种CCM，分别是ICCM和DCCM， ICCM主要用来存储指令和数据，DCCM仅用来存储数据。一般中低端MCU没有提供多级Cache,兼之指令和数据规模较小，会配备CCM存储器，多用于高可靠，高世实时场合。而高性能AP级处理器一般提供了多级CACHE减少存储访问的Latency,不采用CCM的方式。
山东大学2018-2019第一学期 计算机体系结构 考题回忆版
OuterHeaven
01-02 3416
总共7道大题。 回忆可能有偏差 尽信书不如无书 第一题考amdal定律计算题，属于简单题。其中有问到CPI和MIPS。 第二题 考到了循环展开的效率（MD这个知识点完全没有复习到。。。） 第三题 统一cache和指令/数据cache，两种类型的cache分别计算缺失率和缺失代价，这里两种CACHE都分了L1和L2 第四题 GPU,操作系统，CPU都有线程的概念，说一说其中的异同。 第五题...
山东大学软件学院2025多核平台上的并行计算复习笔记
嘻嘻
06-09 1782
考试时间：2025.6.6lwg、yzk考试内容：与lwg老师在最后一节课强调的重点内容完全吻合总之是强烈推荐这门课！去选！都去选！
Alpaca-LoRA本地部署实战：消费级GPU跑类ChatGPT的完整指南
wjxbj的博客
06-23 139
大语言模型（LLM）本地化部署是保障数据安全、降低API依赖、提升定制灵活性的关键路径。其核心原理在于利用低秩适配（LoRA）技术对预训练模型进行高效微调，在冻结主干参数前提下，仅训练少量可插拔矩阵，实现92%以上全参微调效果。该方案显著降低显存占用与硬件门槛，使RTX 3060等消费级显卡即可稳定运行7B级指令模型。技术价值体现在可审计性、可复现性与边缘部署可行性，广泛适用于教育科技、医疗问答、企业知识库等需数据不出域、响应可追溯、逻辑可调试的垂直场景。本文聚焦Alpaca-LoRA这一典型轻量级落地范式
数据摄取构建模块简介（预览版）(二)
utMlY072x的博客
04-16 167
其底层数据存储在对象存储中（S3、COS、OSS、ceph），在用户和对象存储层中加一个中间层，作为文件系统层，负责将文件系统与对象存储的操作进行翻译转换，从而实现POSIX兼容。在介绍之前，首先需要理清楚文件系统与对象存储的区别是什么，文件系统对接对象存储需要做哪些工作，之后才考虑性能的优化与可靠性的优化。对象存储的 FUSE 并不是完美的。操作接口：基于RESTful API()，主要操作是PUT（上传/覆盖），GET（下载），DELETE（删除），HEAD（获取元数据），不支持seek或部分写入。
大模型量化原理：GPTQ、AWQ与Bitsandbytes核心技术解析
最新发布
06-27 440
大模型量化并非简单数值压缩，而是面向Transformer架构的精度-效率协同优化技术。其核心原理在于依据权重重要性、误差传播路径及硬件计算特性，动态分配不同模块的量化粒度与数据格式。GPTQ通过Hessian引导的逐层误差最小化实现高保真静态量化；AWQ基于激活感知的重要性评估，支持通道级自适应bit分配；Bitsandbytes则重构CUDA内核，原生支持NF4等专有4-bit浮点格式。三者共同构成从离线压缩、智能裁剪到高效执行的完整技术栈，在边缘部署、多任务并发与低成本微调等场景中释放显著工程价值。
DDD难落地？就让AI干吧！ - cleanddd-skills介绍
KYLtlciB0的博客
04-28 159
其底层数据存储在对象存储中（S3、COS、OSS、ceph），在用户和对象存储层中加一个中间层，作为文件系统层，负责将文件系统与对象存储的操作进行翻译转换，从而实现POSIX兼容。在介绍之前，首先需要理清楚文件系统与对象存储的区别是什么，文件系统对接对象存储需要做哪些工作，之后才考虑性能的优化与可靠性的优化。对象存储的 FUSE 并不是完美的。操作接口：基于RESTful API()，主要操作是PUT（上传/覆盖），GET（下载），DELETE（删除），HEAD（获取元数据），不支持seek或部分写入。
OpenClaw 安装 + 接入QQ 保姆级教程！附上门卸载服务噬
ZFdoK652K的博客
04-11 182
其底层数据存储在对象存储中（S3、COS、OSS、ceph），在用户和对象存储层中加一个中间层，作为文件系统层，负责将文件系统与对象存储的操作进行翻译转换，从而实现POSIX兼容。在介绍之前，首先需要理清楚文件系统与对象存储的区别是什么，文件系统对接对象存储需要做哪些工作，之后才考虑性能的优化与可靠性的优化。操作接口：基于RESTful API(HTTP)，主要操作是PUT（上传/覆盖），GET（下载），DELETE（删除），HEAD（获取元数据），不支持seek或部分写入。无法修改对象的中间部分。
MetalLB才是给Ingress这个老登做负重前行的那个男人
xm7T2zOO8的博客
04-19 248
其底层数据存储在对象存储中（S3、COS、OSS、ceph），在用户和对象存储层中加一个中间层，作为文件系统层，负责将文件系统与对象存储的操作进行翻译转换，从而实现POSIX兼容。在介绍之前，首先需要理清楚文件系统与对象存储的区别是什么，文件系统对接对象存储需要做哪些工作，之后才考虑性能的优化与可靠性的优化。对象存储的 FUSE 并不是完美的。操作接口：基于RESTful API()，主要操作是PUT（上传/覆盖），GET（下载），DELETE（删除），HEAD（获取元数据），不支持seek或部分写入。
Unity发布京东小游戏
Ino16125L的博客
04-28 188
其底层数据存储在对象存储中（S3、COS、OSS、ceph），在用户和对象存储层中加一个中间层，作为文件系统层，负责将文件系统与对象存储的操作进行翻译转换，从而实现POSIX兼容。在介绍之前，首先需要理清楚文件系统与对象存储的区别是什么，文件系统对接对象存储需要做哪些工作，之后才考虑性能的优化与可靠性的优化。对象存储的 FUSE 并不是完美的。操作接口：基于RESTful API()，主要操作是PUT（上传/覆盖），GET（下载），DELETE（删除），HEAD（获取元数据），不支持seek或部分写入。
NexaSDK CLI：解锁本地AI推理的完整工作流指南
gitblog_00930的博客
06-22 805
在当今AI技术飞速发展的时代，将前沿大语言模型和视觉语言模型部署到本地设备已成为开发者追求效率与隐私保护的重要选择。NexaSDK CLI作为一款跨平台的本地AI推理框架，让开发者能够在GPU、NPU和CPU上无缝运行最新模型，实现从云端到边缘的平滑过渡。本文将带你深入探索NexaSDK CLI的完整工作流，从环境配置到高级应用，助你掌握这一强大工具的核心技巧。 ## 基础入门篇：环境配置与核心
大模型系统工程与专项能力双轨架构解析
weixin_30693683的博客
06-17 323
大模型已从基础可用阶段迈入生产可信阶段，其核心挑战在于系统级稳定性与任务级爆发力的协同平衡。本文围绕‘系统工程能力’与‘专项推理能力’两大技术范式，深入剖析KV Cache语义化管理、动态计算图剪枝、符号感知分词、逻辑链路建模等关键机制，揭示模型在长上下文调度、跨文档引用、数学符号理解、多粒度结果验证等真实场景中的底层实现逻辑。特别聚焦开源大模型在金融、芯片、医疗等高要求垂直领域的落地瓶颈与工程解法，为算法选型、应用集成与性能调优提供可复用的技术契约与实操路径。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值