显存充足，但提示CUDA out of memory

最新推荐文章于 2025-05-08 08:29:02 发布
原创 最新推荐文章于 2025-05-08 08:29:02 发布 · 7.6k 阅读 · 6 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#python #深度学习 #pytorch
博主在处理大型数据集时遇到CUDA内存不足问题，通过检查GPU显存、调整batch_size并考虑使用Horovod进行分布式训练，分享解决过程和经验。
Qwen3-32B-Chat 私有部署镜像 | RTX4090D 24G 显存 CUDA12.4 优化版

Qwen3-32B-Chat 私有部署镜像 | RTX4090D 24G 显存 CUDA12.4 优化版

Qwen
文本生成
Qwen3

本镜像基于 RTX 4090D 24GB 显存 + CUDA 12.4 + 驱动 550.90.07 深度优化，内置完整运行环境与 Qwen3-32B 模型依赖，开箱即用。

详细错误如下：

RuntimeError: CUDA out of memory. Tried to allocate 32.00 MiB (GPU 1; 23.70 GiB total capacity; 21.69 GiB already allocated; 26.81 MiB free; 22.00 GiB reserved in total by PyTorch)

认真阅读这个错误后，就去查看了GPU 1，发现显存充足：
在这里插入图片描述

但是这里的显存充足，可能并不是真的充足，我每次查看显存时，都是在程序崩掉后，再nvidia-smi，这时显示的已经是程序退出时的结果了，但我在程序运行的时候，再查看，发现：
在这里插入图片描述
这里显示的才是运行过程中某个时间点的显存

不过最后尝试把batch_size不断调小，调到10，仍然不行，猜想是数据集太庞大，可能要试试使用from horovod.torch import hvd了，明天试试~

您可能感兴趣的与本文相关的镜像

Qwen3-32B-Chat 私有部署镜像 | RTX4090D 24G 显存 CUDA12.4 优化版

Qwen3-32B-Chat 私有部署镜像 | RTX4090D 24G 显存 CUDA12.4 优化版

Qwen
文本生成
Qwen3

本镜像基于 RTX 4090D 24GB 显存 + CUDA 12.4 + 驱动 550.90.07 深度优化，内置完整运行环境与 Qwen3-32B 模型依赖，开箱即用。

pytorch: 四种方法解决RuntimeError: CUDA out of memory. Tried to allocate ... MiB
xiyou__的博客
07-06 20万+
Bug：RuntimeError: CUDA out of memory. Tried to allocate … MiB 解决方法： 法一： 调小batch_size，设到4基本上能解决问题，如果还不行，该方法pass。 法二： 在报错处、代码关键节点（一个epoch跑完…）插入以下代码（目的是定时清内存）： import torch, gc gc.collect() torch.cuda.empty_cache() 法三（常用方法）： 在测试阶段和验证阶段前插入代码 with torch.no_gr
显存充足 RuntimeError: CUDA error: out of memory
AsajuHuishi的博客
11-05 4575
如果平时训练测试都没问题，忽然有一天测试的时候出现RuntimeError: CUDA error: out of memory，很有可能是因为当时训练时使用的卡号和现在使用的卡号不一致。 我今天用0卡的时候发现 RuntimeError: CUDA error: out of memory 首先nvidia-smi，发现0卡显存充足。 然后查看之前的日志，发现打印的变量在1卡上。 这说明我们之前用1卡运行是没有问题的，需要将cuda 1映射到cuda 0。 修改测试代码即可，将 checkpoint .
深度学习CUDA Out of Memory原因总结和方法
PeterClerk的博客
06-30 2883
CUDA Out of Memory原因总结和方法
CUDA out of memory.(已解决）
热门推荐
weixin_43398590的博客
04-08 15万+
CUDA out of memory.(已解决） 有时候我们会遇到明明显存够用却显示CUDA out of memory，这时我们就要看看是什么进程占用了我们的GPU。 按住键盘上的Windows小旗子+R在弹出的框里输入cmd，进入控制台。 nvidia-smi 这个命令可以查看GPU的使用情况，和占用GPU资源的程序。我们看到python再运行完以后没有释放资源导致GPU的内存满了。 可以...
找不到GPU资源——[显存充足，但是却出现CUDA error:out of memory错误]
椰子奶糖的博客
02-03 3万+
说明: 系统：Centos（Redhat） 环境：python3.6+pytorch1.4.0（gpu）+tensorflow2.0.0（cpu） Cuda：9.2 Cudnn：7.0.6？ 模型 YOLOv3 描述 图找不到了，就去隔壁偷了一张（传送） 在运行git上的yolov3目标检测项目的时候尝试使用GPU加速，结果爆出CUDA error:out of memory 隔壁说是找不...
Pytorch：测试保存训练模型时，显存充足，却提示cuda out of memory的问题
qq_45656271的博客
05-26 3258
在训练网络结束后，测试训练模型，明明显存还很充足，却提示我cuda out of memory 出现这种问题，有可能是指定GPU时出错（注意指定空闲的GPU），在排除这种情况以后，通过网上查找，说有可能是测试时的环境与训练时的环境不一样所导致，例如在网络训练时所使用的pytorch版本和测试时所使用的版本不同。由于我训练和测试用的同一虚拟环境，故排除这种情况。 还有一种说法，是因为pytorch的版本和cuda的版本不匹配所导致，经检查，也不是这方面的问题。 最后发现，在加载模型的时候，原代码为
一文解决 RuntimeError: CUDA out of memory. 全网最全
m0_50502579的博客
07-29 9万+
RuntimeError: CUDA out of memory. Tried to allocate 50.00 MiB (GPU 0; 4.00 GiB total capacity; 682.90 MiB already allocated; 1.62 GiB free; 768.00 MiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to
【已解决】探究CUDA out of memory背后原因，如何释放GPU显存？
FRIGIDWINTER的博客
04-11 9万+
本文探究CUDA的内存管理机制，总结RuntimeError: CUDA out of memory的背后原因，并给出解决方案
CUDA out of memory，但是显存明明有大量剩余
weixin_45788091的博客
04-27 5290
CUDA out of memory，但是显存明明有大量剩余。
CUDA：out of memory的解决方法（实测有效）
最新发布
大摆王的博客
05-08 1万+
CUDA out of memory问题通常发生在深度学习训练过程中，当GPU的显存不足以容纳模型、输入数据以及中间计算结果时就会触发。：深度学习模型尤其是大型模型，如Transformer或大型CNN，拥有大量的参数，这些参数在训练时需要被加载到GPU显存中。同时，如果批量大小（batch size）设置得过大，一次性处理的数据量也会增加，进一步加大显存的负担。
CUDA out of memory 解决办法
qq_42925267的博客
01-26 4万+
CUDA @TOC 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行
显存充足却提示out of memory(allocated memory try setting max_split_size_mb to avoid fragmentation)
睦生
10-28 1万+
在训练模型的过程中，遇到如下问题：显存有一半以上的空间却仍然报out of memory的错误。本文总结网上的相关解决方案，由于这些方案对本问题均无效，本文经过实践提出了一种新的解决方法。
显卡显存充足，但是报错：CUDA error: out of memory
惊魂呓梦的博客
08-15 5826
显卡显存充足，但是报错：CUDA error: out of memory
YOLOX训练：显存足够，但依旧CUDA out of memory（Tried to allocate 5.58 GiB，8.00 GiB total capacity，6.40 GiB free）
ELSA001的博客
10-20 2万+
刚刚我尝试训练自己的yolox_s模型，但我batch_size不管改成多少，甚至改成1，都直接报CUDA out of memory，我很苦恼，这里明明显示我的显存是足够的，但是依旧OOM。 训练命令如下： (mypytorch) E:\YOLOX>python tools/train.py -f exps/example/yolox_voc/yolox_voc_s_bm.py -d 1 -b 2 --fp16 -o -c weights/yolox_s.pth 我在这里加载了GitHub的预训练
显存充足，pytorch却报错CUDA out of memory？(已解决)
weixin_45914748的博客
11-25 3万+
明明显存充足，但是train的时候总是提示“CUDA out of memory”。注意！这里的allocated是你自己程序所占用的，我之前理解错了，以为是被别人占用的（然而并没有其他进程）。
cuda out of memory（pytorch）问题的解决
张壮壮的博客
03-03 1万+
最近在训练网络，发现无法使用GPU，一直报错cuda out of memory.查阅了网上很多方法，记录一下我的解决过程。 可能原因及解决方法 （一） 原因：大量其他进程占用了GPU 解决：kill占用GPU的进程，释放GPU 参考博文：链接 （二） 原因：batch_size过大 解决：将batch_size调小一点，再次测试看能否运行。 （三） 原因：不知道这个怎么描述，没有用到所有的GPU？ 解决：在代码中添加os.environ['CUDA_VISIBLE_DEVICES']="0, 1"，这个序
如何解决“RuntimeError: CUDA Out of memory”问题
AI公园
03-22 1万+
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Nitin Kishore编译：ronghuaiyang导读一些可以尝试的解决“RuntimeError: CUDA Out of memory”的方案。当遇到这个问题时，你可以尝试一下这些建议，按代码更改的顺序递增：减少“batch_size”降低精度按照错误说的做清除缓存修改模型/训练在这些选项中，如果你使用的是预训练模型，则最容...
CUDA out of memory解决办法
家鸽的代码屋
12-31 1万+
CUDA out of memory解决办法 当使用Pytorch GPU进行计算时经常遇到GPU存储空间过满，原因大致有两点： 1.Batch_size设置过大，超过显存空间 解决办法： 减小Batch_size 2.之前程序运行结束后未释放显存 解决办法： 按住键盘上的Win+R在弹出的框里输入cmd，进入控制台, 然后输入命令 nvidia-smi 查看GPU的使用情况，和占用GPU资源的程序，我们看到 PID 2492 运行着python占用很大空间 可以使用如下命令杀死进程 taskkill
运行novelAI cuda.OutOfMemoryError GPU内存不足 但是GPU内存有空间
ZnS_oscar的博客
11-03 7681
如果您有更多 VRAM，并且想要制作比通常更大的图像（例如，1024x1024 而不是 512x512），请使用。python launch.py --lowvram --always-batch-cond-uncond --opt-split-attention 成功运行。如果您有 4GB VRAM，并且想要制作 512x512（或最高 640x640）的图像，请使用。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值