pytorch 踩坑记录

最新推荐文章于 2022-10-23 10:48:03 发布
原创 最新推荐文章于 2022-10-23 10:48:03 发布 · 1.8w 阅读 · 45

其他坑一些别人踩过的坑，知乎上的回答

1.Broadcast function not implemented for CPU tensors

     这是因为model不在gpu上所致。model.to(device)。DataParallel会对模型参数所在的gpu位置进行检查，见源码

   DataParallel是每次forward时对模型进行broadcast，当模型不在第一个GPU上时，就会出现错误

   https://github.com/pytorch/pytorch/issues/17065

 

2.all tensors must be on devices[0]

   这是因为model不在DataParallel设置的ids中的第一个上。输入的变量可以随便放在一个GPU上，而模型必须在你设置DataParallel的ids中的第一个

 

3. 多GPU模型转换到cpu上

   通过DataParallel包装的model会再加一层module。所以state_dict会多一个module前缀。假设net1 是通过DataParallel包装的模型Net的实例，我们要把它装换到cpu上。方法就是重新建一个对象，把参数迁移过去
       

    state_dict = net.module.state_dict()
    net = Net()
    net.load_state_dict(state_dict)

4.使用DataParallel包装模型时，如果gpu>1且模型是多输出的，会出现梯度为None的错误

            参数的梯度永远都是None，这个是pytorch 1.0 的一个bug 或见FloWaveNet issues,

标签
#pytorch
最低0.47元/天 解锁文章
PyTorch模型训练：梯度反向传播错误排除指南
与其临渊羡鱼,不如退而结网
04-04 2222
在梯度反向传播过程中，我们可以通过损失函数来计算每个参数对于最终的损失值的贡献，然后利用链式法则来计算每个参数的梯度。然而，有时候我们会遇到一些梯度反向传播相关的错误，这些错误可能会让我们的模型无法正常训练。这个错误通常会在GPU上训练模型时出现，它的意思是在卷积层反向传播的过程中出现了NaN值（Not a Number）。这个错误通常是在使用GPU训练模型时出现的，它的意思是输入数据在CPU上而不是GPU上。这个错误通常会在计算梯度时出现，它的意思是有一个张量的梯度没有被计算。
QGIS隐藏技能：不用写代码，用‘彩色地貌’功能为你的灰度图批量上色（附配置文件模板）
最新发布
weixin_30265103的博客
04-16 312
本文揭秘QGIS中‘彩色地貌’功能的隐藏技能，教你如何无需编写代码即可为单波段灰度图批量上色。通过详细的配置文件和操作指南，帮助GIS用户快速实现专业级彩色地图制作，提升工作效率。特别适合处理遥感影像分类结果和模型输出图的用户。
【Pytorch坑点集合】
NOVAglow646的博客
10-23 4651
1. One of the differentiated Tensors appears to not have been used in the graph解决办法
RuntimeError: module must have its parameters and buffers on device cuda:0 (device_ids[0]) but found
qq_41487723的博客
12-09 5563
问题 RuntimeError: module must have its parameters and buffers on device cuda:0 (device_ids[0]) but found one of them on device: cuda:1 RuntimeError: module必须在设备cuda:0 (device_ids[0])上有它的参数和缓冲区，但在设备:cuda:1上找到其中一个 解决： 将 model = torch.nn.DataParallel(model)
One of the differentiated Tensors appears to not have been used in the graph. Set allow_unused=True
yz1019117968的博客
08-09 4098
One of the differentiated Tensors appears to not have been used in the graph. Set allow_unused=True if this is the desired behavior.
pytorch经onnx使用TensorRT部署转换踩坑记录
baidu_33738335的博客
12-17 7612
老版本踩坑 1. Pytorch模型中不能有条件支路 因为Pytorch模型转onnx模型的过程中，需要传给模型一个假的输入，然后做一次前向传播，再根据前向传播的结果来做模型的转换 2. Pytorch中的某些操作在TensorRT中不支持 x = x.view(x.size(0), -1)不支持，换成x = x.flatten(1) torch.unsqueeze(x[:, 0], 1)不支持，需要去掉 动态size是不支持的，比如h = x.size()[2]，改成具体数值 3. Pytorch中的
Pytorch踩坑记录之GPU训练模型
07-10 1449
Pytorch踩坑记录之GPU训练模型 Case-1. 确定机器的cuda是否可用、GPU的个数 a)torch.cuda.is_available() # check cuda是否可用 b) nvidia-smi # 窗口 print 显卡信息 c)torch.cuda.device_count() ...
pytorch安装踩坑记录
qq_36692187的博客
08-10 2343
换了新电脑，装pytorch，本来很简单的时被我搞得太复杂了，记录一下踩坑过程。 踩坑1： miniconda安装的是32位的，由于这一点没有注意到，导致后面一系列安装出问题。 pytorch默认是安装64位的版本，安装时出了问题，最后选择重装系统kali，Ubuntu都试了，最后无疾而终，选择装回Windows。安装win的时候，由于不是联想原版本系统，又出了一系列问题，最后选择此版本的win系统成功搞定，系统的问题。 magnet:?xt=urn:btih:AB78595A7854DCF9E2
PyTorch踩坑记录
nan1104的博客
10-04 1476
使用Pytorch也一年多了，记录一下自己遇到的各种问题。 各种踩坑记录 loss.backward()报错 一种非常常见的错误，在网络前向传播时没问题，但是当loss.backward()时会报错 导致这个错误的原因非常多样 in-place操作导致，具体的in-place操作有很多，例如squeeze_(), x[:]=y, 等等，网上相关资料很多，不细写 loss需要是一个标量，如果是向量的话，需要x.sum(); 有些向量不需要传递梯度时，使用x.detach()截断梯度传递； 一个非常有用的命令
Pytorch踩坑记录
mystyle_的博客
04-13 719
1、 使用现有模型时，如resnet、vgg16时，进行改进后，如果只想训练自己改进后的参数，可以先将原来网络参数的requires_grad = False net = resnet50(pretrained = True) for param in net.parameters(): param.requires_grad = False #添加自己定义的层 net.fc = n...
Pytorch C++部署 之 TorchScript 踩坑记录
热门推荐
ll_cookie的博客
04-04 1万+
小白一枚，最近尝试用c++调pytorch模型，网上搜了一对资料，大同小异，都是需要先将模型文件转换成torch script。 pytorch官网提供两种方式，1：trace 2：注释。 这两种方式怎么操作，官网以及很多博客都有详细介绍，不细扣，我也扣不明白，毕竟我是个小白，放链接供参考： https://blog.csdn.net/dou3516/article/details/829124...
Anaconda安装pytorch踩坑记录
watermelon_learn的博客
03-14 1569
创建新环境 首先是在Anaconda上构建了一个新的环境，我这个是专门为了深度学习创建的环境，所以叫DeepLearning，创建方式是点击下面的create，之后取名就好了。这里也能看到python版本，记住了后面安装pytorch要用，我这里是python3.9.7。点击DeepLearning后面那个播放键，能打开这个环境的Terminal终端。后续的代码也都是在终端中输入的 安装Pytorch 如何查看CUDA版本 查看Anaconda Tensorflow CUDA 版本 学习笔记_R
记录一些在配置tensorflow，pytorch踩过的坑
qq_39482236的博客
09-27 636
安装条件为2080Ti，win10，安装cuda，cudann的过程，和相关资源，基本按照原文链接一文中的安装版本进行安装，即安装Cuda10.0，cudann7.4.1，但是没有装VS，因为作者本人比较懒。。。目前还没有发现存在什么错误。 tf的安装完全按照上面链接中安装，没有发生错误 但是在安装torch的过程中，一种出现了“from torch._C import * ImportError: DLL load failed: 找不到指定的模块”，尝试了各种解决方法都无效，作者本人尝试过的方法如下：
PyTorch中使用TensorBoard的踩坑记录
qq_45218240的博客
08-01 1606
TensorBoard踩坑分享
【pytorch】pytorch 转 onnx 踩坑记录
sunnyblogs的博客
09-02 1147
import io import torch import torch.onnx import numpy as np from model.detnet import detnet '''onnx的输入为array''' #device = torch.device("cuda" if torch.cuda.is_available() else "cpu") device = torch.device("cpu") def test(): model = detnet() model = m
pyinstaller打包pytorch踩坑与解决记录
weixin_44093497的博客
05-11 4832
最近集中学习pytorch，前两天做了个小实例突然想打包给别人耍耍，结果发现打包失败，搜索网上的方法也难以解决。整了两整天总算搞出来了，现在将整个踩坑与解决方法记录一下。当然这里同样的问题由于环境问题未必同样解法就能用，请自行决定取用。注：下述对我失败的方法网上也存在成功的情况。 目录首先坑1. ImportError: DLL load failed1.1法一（失败）1.2法二（失败）1.3法三（成功）坑2. file already exists but should not: XXX/torch_C.
pytorch分布式训练踩坑记录
qq_38766844的博客
11-21 5352
pytorch分布式训练踩坑记录 近期工作涉及到Backbone，所以会涉及到ImageNet1K(120w+张图像)的预训练 先说说手上有啥，一台PC，配置如下 2 张 2080ti 500G SSD 2T 硬盘 64 内存 cpu i7 8核 任务是图像分类，虽然简单但是大型数据库的训练极其耗时。 无奈实验室设备就那么多（留下没多张V100的泪水）硬着头皮也得上 git 上的Pipeline 其实也不少，这里我推荐俩 https://github.com/JaminFong/dali-pytorch
ssd.pytorch 踩坑记录
weixin_45881512的博客
05-11 470
ssd.pytorch 踩坑记录 由于实验室需求，从github上下载了一个基于pytorch的ssd代码，调试过程中出现了蛮多bug，记录一下，方便以后调试的时候继续参考。数据集为实验室制作的遥感图像数据集。 参考代码：https://github.com/amdegroot/ssd.pytorch 1. 训练时出现loss: nan 问题 检查发现，loss_l为nan，寻找错误半天，找到原来是数据集ground truth中，标签格式并非是「xmin,ymin,xmax,ymax]而是，「x1,y1,
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值