显存不足问题（OOM、RuntimeError: CUDA out of memory）

原创 已于 2022-04-01 16:19:34 修改 · 2.4k 阅读 · 8
文章标签：

#pytorch

于 2022-04-01 16:15:06 首次发布
这篇博客介绍了在训练YOLO系列模型（如YOLOv3, YOLOv4）时遇到的CUDA内存不足（OOM）问题，指出即使Windows系统显示4GB显存也可能在运行时不足。问题的原因在于batch_size过大。解决方案是适当减小batch_size，但需要注意由于BatchNorm2d的影响，batch_size不能设置为1，至少应为2。提供了多个YOLO实现的GitHub仓库链接供参考。

显存不足问题（OOM、RuntimeError: CUDA out of memory）。

记录一次pytorch yolov3爆显存（windows使用任务管理器查看显存为4G）。在这里插入图片描述

2G显存：SSD、YOLOV4-TINY
4G显存：YOLOV3
6G显存：YOLOV4、Retinanet、M2det、Efficientdet、Faster RCNN等
8G+显存：随便选吧。
解决方法：减小batch_size，需要注意的是，受到BatchNorm2d影响，batch_size不可为1，至少为2。

问：为什么提示 RuntimeError: CUDA out of memory. Tried to allocate 52.00 MiB (GPU 0; 15.90 GiB total capacity; 14.85 GiB already allocated; 51.88 MiB free; 15.07 GiB reserved in total by PyTorch)？
答：这是pytorch中出现的，爆显存了，同上。

 # 相关代码仓库可以参考下表所示

相关仓库

模型 路径
YoloV3 htt
最低0.47元/天 解锁文章
成功解决 RuntimeError: Out of memory: CUDA out of memory 报错
博客
02-03 769
本文针对vLLM 0.5.0在超长上下文(≥8k)推理时出现的"CUDA out of memory"错误进行深入分析。该问题源于KV Cache分配逻辑漏洞，导致显存计算错误。解决方案包括：升级vLLM至0.5.1+版本、拆分超长上下文、使用FP16混合精度、优化KV Cache管理、调整批量大小等。通过综合运用这些方法，开发者可在有限显存条件下稳定运行大模型长文本推理任务。文章还提供了显存监控和上下文分块处理的具体实践建议。
【全网最详细yolov6】yoloV6调试记录（含训练自己的数据集及常见报错及解决方法）--持续更新ing
m0_46611008的博客
06-27 2万+
本文手把手教你如何调试最新的yolov6，复现运行COCO2017及训练自己的数据集，目前该项目刚发布，BUG会比较多，调起来一般不会那么顺利，本文含windows+ubuntu，并给出了一些常见问题和解决方法：目录1.项目简介2.注意和推荐3.项目配置（含COCO数据集配置）4.训练自己的数据：5.踩坑小记与解决方法：6.自己训练的尝试和tips（供大家参考）最近由美团发布了yoloV6，声称达到了如下的效果： 其中YOLOv6-nano在COCO val2017数据集上达到了35.0 mAP......
OOM异常解决
huangxuanheng的专栏
02-03 1315
02-03 08:56:12.411: E/AndroidRuntime(10137): FATAL EXCEPTION: main 02-03 08:56:12.411: E/AndroidRuntime(10137): java.lang.IllegalStateException: Could not execute method of the activity 02-03 08:56:12
Qwen Pixel Art新手必看：常见报错（CUDA OOM/Model not found）解决方案
最新发布
weixin_42146230的博客
03-25 180
本文介绍了在星图GPU平台上自动化部署Qwen-Image-2512 + Pixel Art LoRA镜像的常见问题解决方案。针对新手在部署和运行中易遇到的CUDA显存不足及模型加载失败等报错，提供了详细的排查步骤与配置优化指南，帮助用户快速搭建环境，顺利开启像素风格图片的AI生成与创作。
YOLOV ：基于YOLOX，使静态图像对象检测器在视频对象检测方面表现出色，注意力机制的魅力 Loss计算部分
qq_64693987的博客
10-12 470
输入是第几个batch、真实框的数量、所有框的数量（5379）、真实框、真实框的类别、每一帧图像的预测框（5376x4）、三个特征图与原图的缩放比、左上角的xy坐标、类别预测（8x5376x30）、框的预测（8x5376x4）、置信度预测（8x5376x1）、类别、图像。3.1.1由于每一个格子有一个预测框，因此计算每一个格子的中心点，判断在真实框和自己设计的4.5x4.5大小的框中的中心点，去除不在这些框中的中心点。1.将在预测框的中心点在真实框和自己设计的4.5x4.5大小框中的预测框选出来。
OutOfMermory系列
闻臻
12-09 314
java.lang.StackOverflowError（方法的深入的调用加载，递归调用，栈内存512m~1024m） java.lang.OutofMemoryError: Java heap space（堆内存不够用导致） java.lang.OutofMemoryError: GC overhead limit exeeded（GC回收时间过长，几乎一直在进行垃圾回收） java.lang....
记一次linux oom内存溢出排查过程
enchanterblue的专栏
08-16 2万+
  一，背景 收到应用服务报警，然后登录上服务器查看原因，发现进程不再了。   二，问题分析 1，那么判断进程被干掉的原因如下： （1），机器重启了 通过uptime看机器并未重启 （2），程序有bug自动退出了 通过查询程序的error log，并未发现异常 （3），被别人干掉了 由于程序比较消耗内存，故猜想是不是oom了，被系统给干掉了。所以查messages日志，发现的...
RuntimeError: CUDA out of memory
qq_46600553的博客
07-29 1万+
报错内容： RuntimeError: CUDA out of memory. Tried to allocate 16.00 MiB (GPU 0; 2.00 GiB total capacity; 1.34 GiB already allocated; 14.76 MiB free; 1.38 GiB reserved in total by PyTorch) 查资料的过程发现另一种报错： RuntimeError: CUDA out of memory. Tried to allocate 12.50
【总结】RuntimeError: CUDA out of memory 问题解决
踏归 的博客
01-06 4345
RuntimeError: CUDA error: out of memory解决
全网最全RuntimeError: CUDA error: out of memory解决方法
qq_37668436的博客
11-19 5万+
第一种情况 如果这个报错后面跟了想要占用多少显存但是不够这样的字眼，如下： 解决办法就很简单了： 改小batchsize，batchsize砍半可以差不多省掉一半的显存 推理阶段加上with torch.no_grad()，这个可以将修饰的代码段不要梯度，可以省掉很多显存 改小input的shape，例如(224,224)->(112,112)这样可以省掉一半的显存 换小的网络结构 用多卡训练，torch可以用model = nn.DataParallel(model)启用多卡训练，终端用CUDA
OOM 内存溢出的原因和处理方法
dakaniu的博客
06-20 3万+
1 OOM的可能原因?1.数据库的cursor没有关闭。2.构造adapter没有使用缓存contentview。3.调用registerReceiver()后未调用unregisterReceiver().4.未关闭InputStream/OutputStream。5.Bitmap使用后未调用recycle()。6.Context泄漏。7.static关键字等。8.非静态内部类可能导致的内存泄露...
UserWarning: RuntimeError: 文中的错误应该怎么解决求答案
love_you_li的博客
11-18 1942
模型训练，keras的学习和使用
CUDA out of memory的一种神奇解决方法
jasminefeng的博客
02-24 4325
我的输入样本维度是(1000,12,24,72)，一开始我是这么输入数据的： trainer.train(x_train, t_train, x_val, t_val) 发现必溢出，后来我取出其中400个样本输入： trainer.train(x_train[:400], t_train[:400], x_val, t_val) 发现不溢出了，训练正常，然后我把400删掉，但没删冒号： trainer.train(x_train[:], t_train[:], x_val, t_val) 竟然也没有溢
解决：RuntimeError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0； 2.00 GiB total capacity； 1
热门推荐
地中海の养成记
01-31 6万+
1. 问题2. 分析3. 解决 1. 问题 训练模型时报错： RuntimeError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0; 2.00 GiB total capacity; 1.49 GiB already allocated; 57.03 MiB free; 6.95 MiB cached) 2. 分析 这种问题，是GPU内存不够引起的 3. 解决 方法一： 换高性能高显存的显卡 方法二：修改代码 报错的训练代码为.
【YOLOX 论文+源码解读】YOLOX: Exceeding YOLO Series in 2021
qq_38253797的博客
12-07 5736
YOLOX源码解析
YOLO项目服务器配置及云硬盘挂载问题
pengxiang1998的博客
02-02 1807
依次执行就可以，本次博主又换了一个服务器，这次在安装过程中遇到了一些问题，最终也解决了，实验数据集换成了CADCD，输入尺寸为1280x1024，很明显此时的显存占用要比640x640的大了很多，下面是本次GPU使用情况：batch-size为16，迭代次数为200次。在使用这个服务器的过程中意识到每次更换服务器需要重新上传项目和数据集，这让人很苦恼，因此可以采用加装一个云硬盘的方式，这样就不需如此频繁更换了，然而也是刚刚意识到该问题，博主的GPU服务器是硅谷二区的，但并未找到可用区的硬盘，呜呜呜。
解决CUDA out of memory. Tried to allocate 2.10 GiB (GPU 0； 14.76 GiB total capac
weixin_44136501的博客
01-29 1万+
解决CUDA out of memory. Tried to allocate 2.10 GiB (GPU 0; 14.76 GiB total capac......问题解决方案 问题 在进行网络训练时报错 CUDA out of memory. Tried to allocate 2.10 GiB (GPU 0; 14.76 GiB total capacity; 1.06Gib already allocated; 138.44Mib free; 18.32Mib cached) 解决方案 降低ba
《南溪的目标检测学习笔记》——训练PyTorch模型遇到显存不足的情况怎么办(“OOM: CUDA out of memory“)
墨门
11-04 1万+
1 前言 在目标检测中，可能会遇到显存不足的情况，我们在这里记录一下解决方案； 2 如何判断真正是出现显存（不是“软件误报”） 当前需要分配的显存在200MiB以下， 例如： RuntimeError: CUDA out of memory. Tried to allocate 60.00 MiB (小于200MiB) (GPU 0; 10.76 GiB total capacity; 8.71 GiB already allocated; 59.00 MiB free; 8.81 GiB reserve
win10环境下搭建yolov4环境及测试
weixin_44868057的博客
06-02 2664
需要的软件 vs2015 cuda9.2（其他人应该是推荐10.1，但是博主原来装了9.2） cudnn7.6.5（支持cuda9.2） opencv3.4.5 cmake3.15 安装步骤 1.去yolo v4的github上下载，也可以直接git下来 （https://github.com/AlexeyAB/darknet） 然后解压 2.在vs2015里面配置opencv3.4.5 可以参考我之前的vs2015配opencv4.2，只不过需要在配一下release模式 https://blog.csd
【机器学习】全网最全模型评价指标（性能指标、YOLOv5训练结果分析、轻量化指标、混淆矩阵详解）【基础收藏】
深度学习
03-27 1万+
【机器学习】全网最全模型评价指标（性能指标、YOLOv5训练结果分析、轻量化指标、混淆矩阵详解）【基础收藏】
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Sun_Raiser

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值