DDP/DistributedDataParallel 报错RuntimeError: Address already in use

最新推荐文章于 2024-09-03 19:06:13 发布
原创 最新推荐文章于 2024-09-03 19:06:13 发布 · 5.2k 阅读 · 6 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#pytorch #人工智能 #python
本文讲述了在使用PyTorch进行多卡训练时遇到的'Address already in use'错误，原因在于其他任务占用了默认端口。解决办法包括手动指定空闲端口和通过`python-mtorch.distributed.launch`启动并指定master_port。提供端口占用检查方法和实用建议。

在测试pytorch多卡的时候报错：
store = TCPStore(master_addr, master_port, world_size, start_daemon, timeout)
RuntimeError: Address already in use

经查，是还有另外一个任务也在用DDP跑，解决方案：
手动指定一个空闲端口

python -m torch.distributed.launch --master_port 145622

查看端口占用情况：
终端输入
netstat -nultp

Pytorch中DDP ：The server socket has failed to bind to [::]:29500 (errno: 98 - Address already in use）
flyingluohaipeng的博客
09-16 4万+
由于中途关闭DDP运行，从而没有释放DDP的相关端口号，显存占用信息，当下次再次运行DDP时，使用的端口号是使用的DDP默认的端口号，也即是29500，因此造成冲突。手动释放显存，kill -9 pid 相关显存占用的进程，，从而就能释放掉前一个DDP占用的显存和端口号。
分布式训练DDP的那些坑
weixin_40313940的博客
02-05 2657
DistributedDataParallel(DDP)是个好东西，对小白来说就是坑有点多。
Pytorch distributed RuntimeError: Address already in use
Orientliu96的博客
03-01 2万+
Pytorch distributed RuntimeError: Address already in use 如果是使用pytorch distributed 单机多卡训练方式，出现该错误，非常好解决。 Traceback (most recent call last): File "main1.py", line 279, in <module> train(args...
解决方案：RuntimeError: Address already in use、urllib.error.HTTPError、Resource punkt not found错误分析
白洞，白色的明天在等着我们
09-12 4277
问题一：RuntimeError: Address already in use 问题二：urllib.error.HTTPError: HTTP Error 403: Forbidden 问题三：Resource punkt not found.
目标检测 YOLOv5 - 多机多卡训练
二分掌柜的
08-18 1万+
目标检测 YOLOv5 - 多机多卡训练 flyfish 环境： Python>=3.6.0 PyTorch>=1.7 YOLOv5:v5 分两种类型机器一个master，其他都是slave master机器运行的命令 python -m torch.distributed.launch --nproc_per_node G --nnodes N --node_rank 0 --master_addr "192.168.1.2" --master_port 1234 train.py --b
RuntimeError: Address already in use
Twilightzr的博客
08-23 1426
(cp3) zhangrui@test:~/project/cp3/CenterPoint$ python -m torch.distributed.launch --nproc_per_node=4 ./tools/train.py ~/project/cp3/CenterPoint/work_dirs/voxsc_centerpoint_voxelnet_0075voxel_fix_bn_z.py ***************************************** Setting OMP
pytorch 分布式多卡训练DistributedDataParallel 踩坑记
热门推荐
comway_Li的博客
07-23 4万+
前言： 　　近几天想研究了多卡训练，就花了点时间，本以为会很轻松，可是好多坑，一步一步踏过来，一般分布式训练分为单机多卡与多机多卡两种类型； 主要有两种方式实现： １、DataParallel: Parameter Server模式，一张卡位reducer，实现也超级简单，一行代码 DataParallel是基于Parameter server的算法，负载不均衡的问题比较严重，有时在模型较大的时候（比如bert-large），reducer的那张卡会多出3-4g的显存占用 ２、Distr...
Pytorch：关于nn.dataParallel我所踩过的坑
Hanze的博客
03-31 3743
这个报错的大概意思说你的模型内部又新定义了一个tensor，并且它没有与计算图关联，dataParallel不会把这个tensor分发给其他的卡，但是我一开也意识到了这点，所以给这个tensor定义了 device=‘cuda:1’，于是就有了上面的error，如果没有这个操作，那么就与报错一相同。可以使用watch -n 1 nvidia-smi这个命令来查看每1s各个GPU的运行情况，如果发现每个GPU的占用率均低于50%，基本可以肯定你使用多GPU计算所花的时间要比单GPU计算花的时间更长了。
RuntimeError: Address already in use的解决方法
KerasCat的博客
04-20 2万+
Traceback (most recent call last): File "train.py", line 159, in <module> train(args=args) File "train.py", line 50, in train rank = args.local_rank File "/home/wby/anaconda3/envs/...
解决bug: RuntimeError: Address already in use，一个linux下pytorch多卡训练tcp端口占用的bug
最新发布
beneficial的博客
09-03 852
时间：2024.9.3。
torch进行多GPU卡训练时，报错RuntimeError: Address already in use
morein2008的专栏
10-14 1991
torch进行GPU卡训练时，报错RuntimeError: Address already in use参考：https://www.it610.com/article/1279180977062559744.htm问题在于，TCP的端口被占用，一种解决方法是，运行程序的同时指定端口，端口号随意给出：--master_port 29501例如：nohup python3 -m torch.di...
pytorch分布式训练问题汇总
csdn_tclz的博客
01-06 1970
单机多卡训练 问题1 Traceback (most recent call last): File "train_tasks.py", line 493, in <module> main() File "train_tasks.py", line 237, in main torch.distributed.init_process_group(backend="nccl") File "/root/anaconda3/envs/vilbert/lib/pytho
46- 怎么老是出现“地址已经被使用”？
Edward_LF的博客
04-22 7779
1、 怎么老是出现“地址已经被使用”？ 开篇词 上一讲我们讲到 UDP 也可以像 TCP 一样，使用 connect 方法，以快速获取异步错误的信息。 今天将讨论 服务器端程序重启时，地址被占用的原因和解决方法。 网络编程中，服务器程序需要绑定本地地址和一个端口，然后就监听在这个地址和端口上，等待客户端连接的到来。 在实战中，你可能会经常碰到一个问题，当服务器端程序重启之后，总是碰到“Address in use”的报错信息，服务器程序不能很快地重启。 那么这个问题是如何产生的？我们又该如何避免呢？ 今天我
pytorch在同一台服务器上同时训练多个任务
hajungong007的博客
09-24 8782
使用pytoch在同一台服务器上同时训练多个任务时会出现以下问题： File "./torch-dist/mnist-dist.py", line 201, in <module> init_processes(args.rank, args.world_size, run, args.batch_size, backend=args.backend) File "./to...
【论文阅读+复现】AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation
weixin_57974242的博客
03-29 4591
生成肖像动画的挑战：唇部动作、面部表情和头部位置的复杂协调，以创造出逼真的效果。它们依赖于有限容量的生成器来创建视觉内容，如gan[3,17]、NeRF[14,13]或基于运动的解码器[16,8]。这些网络泛化能力有限，并且在生成高质量内容时缺乏稳定性。最近，扩散模型的出现[2,5,9]促进了高质量图像的生成。一些研究在此基础上结合了时间模块。建立在扩散模型的进步，我们介绍AniPortrait，旨在生成高质量的动画肖像由音频和参考图像驱动。AniPortrait分为两个不同的阶段。
PyTorch训练模型出现“Address already in use”问题解决
qq_27061325的博客
01-16 993
通过环境变量指定端口。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值