MPI 学习笔记（二）——集合通信函数图解

最新推荐文章于 2026-05-27 11:01:48 发布
原创 最新推荐文章于 2026-05-27 11:01:48 发布 · 2.3k 阅读 · 16
这篇博客深入解析了MPI的集合通信函数，包括MPI_Bcast、MPI_Scatter、MPI_Gather等，通过图形化的方式展示了各函数的工作原理和数据流动，帮助理解MPI并行计算中的数据分布与同步。

接上一篇笔记

详细图解了 MPI 集合通信函数.

以下图中, 矩形代表进程, 较小的带颜色的矩形代表数据.

MPI_Bcast

数据广播，给每个进程都发送一份相同的数据

MPI_Scatter

在这里插入图片描述

MPI_Gather

在这里插入图片描述

MPI_Allgather

在这里插入图片描述

MPI_Alltoall

在这里插入图片描述

MPI_Reduce

标签
#MPI
最低0.47元/天 解锁文章
并行处理及分布式系统 第三章 用MPI进行分布式内存编程
qq_52808734的博客
09-27 1534
并行处理及分布式系统，计算机科学与技术课程，学习笔记，初学者
NCCL 集合通信--Collective Operations
greatcoder的博客
07-25 2921
N个设备参与的broadcast，root是函数中指定的introot（以上图为例则是2)，初始状态下，rank为root（上图中2）的设备上的sendbuffer长度为count。运行结束后，所有参与broadcast的N个设备上的recvbuffer长度为count，且所有N个rank的recvbuffer部分的数据均来自于root设备的sendbuffer的拷贝。,in_N-1，运行结束后，N个设备上的recvbuffer内容均相同，长度均为。..................
集合通信库
weixin_72858395的博客
05-07 419
集合通信库（Collective Communication Library，简称 CCL）是实现的核心软件库，广泛用于分布式 AI 训练、超算集群等场景，负责多 GPU / 服务器间的高效协同数据传输。
MPI学习五 组通信MPI程序设计
s_sunnyy的博客
02-27 1993
集合通信是包含在通信因子中的所有进程都参加操作  集合通信一般实现三个功能 通信：组内数据的传输同步：组内所有进程在特定的地点在执行进度上取得一致计算：对给定的数据完成一定的操作 集合操作的三种类型： 通信：广播(broadcast)、分散(scatter)、收集(gather)、全互换(alltoall)等同步(barrier)：集合中所有进程都到达后，每个进程再接着运行规约
MPI 集合通信函数 MPI_Reduce()，MPI_Allreduce()，MPI_Bcast()，MPI_Scatter()，MPI_Gather()，MPI_Allgather()，MPI_S
yu132563的专栏
11-10 9578
MPI 集合通信函数 MPI_Reduce()，MPI_Allreduce()，MPI_Bcast()，MPI_Scatter()，MPI_Gather()，MPI_Allgather()，MPI_Scan()，MPI_Reduce_Scatter() ▶ 八个常用的集合通信函数 ▶ 规约函数 MPI_Reduce()，将通信子内各进程的同一个变量参与规约计算，并向指定的进程输出计算结果 ●...
MPI——通信集合
绝尘
09-19 5799
通信集合 树形结构通信 一开始1、3、5、7号进程都将它们的值发送给0、2、4、6。然后0、2、4、6进程都将接收到的值加到它们自己原有的值，整个过程重复两次。 但是这个解决的方案不是最理想的，因为其中一半的进程的工作量与原来方案相同。原来的方案需要0号进程接收comm_sz-1=7次。而新的方案中0号进程只需要3次接收和3次加法，并且其他进程所有的接收与加法操作不超过2次。所以，如果所有进程几...
从零到一：基于MPI的矩阵乘法并行化实战与性能调优
weixin_33725807的博客
05-18 435
本文详细介绍了基于MPI的矩阵乘法并行化实战与性能调优方法。从MPI环境搭建、数据分块、通信模式选择到内存布局优化，逐步讲解如何将串行矩阵乘法改造为高效并行实现。通过实际测试数据展示不同优化策略的效果，帮助开发者掌握高性能计算中的矩阵乘法并行化关键技术。
保姆级图解：NCCL Bootstrap网络连接如何一步步建起环形通信网（附源码流程）
最新发布
weixin_32612263的博客
05-27 272
本文深入解析了NCCL（NVIDIA Collective Communications Library）中bootstrap网络连接的建立过程，详细图解了从环形拓扑构建到高效通信的实现步骤。通过源码分析，揭示了NCCL如何利用bootstrap机制在多GPU环境中建立去中心化、高容错的环形通信网络，为分布式深度学习训练提供底层支持。
大模型分布式训练
ld326的专栏
03-21 528
大模型分布式计算，是一个系统工程，下面通过基本概念、模型训练基础、通信息、并行策略、分布式训练框架等五个方面去初步疏理。
保姆级图解：NCCL的bootstrap网络到底是怎么“手拉手”连成环的？
weixin_42568801的博客
05-14 203
本文通过图解方式详细解析了NCCL（NVIDIA Collective Communications Library）中bootstrap网络的构建过程，从生成唯一ID到形成通信环的每一步骤。重点阐述了分布式训练中GPU如何通过NCCL实现高效通信，包括设备发现、连接建立和数据同步等核心问题，为开发者提供了深入理解NCCL底层机制的实用指南。
保姆级图解：NCCL的bootstrap网络连接到底是怎么“手拉手”建起来的？
weixin_28713947的博客
05-15 321
本文通过生动的图解和类比，详细解析了NCCL的bootstrap网络连接建立过程。从分发唯一标识符到构建环形通信环路，逐步揭示分布式训练中GPU节点如何'手拉手'建立连接，并分享了大集群场景下的优化技巧，帮助开发者深入理解NVIDIA NCCL的核心通信机制。
Fastfold:将训练时间从11天减少到67hours
m0_51347013的博客
12-10 262
1.：数据并行是最基本、应用最广泛的并行方法。每个设备都有一套，并处理。在训练阶段，每个设备使用自己的小批量计算，然后使用 all-reduce 通信对全局梯度进行平均。然后根据平均梯度更新模型参数。2.模型并行将，根据分布方式可分为。2.1在管道并行中，模型在设备之间。然而，由于不同设备上的计算之间的依赖性，该方法引入了。为了提高资源利用率，小批量通常分为微批量，这允许不同设备上的计算之间有更多的重叠。
TFSEQ Part I: 分布式训练的方案和效率对比
ZHUIYI_AI的博客
05-30 694
TFSEQ Part I: 分布式训练的方案和效率对比 本文作者：追一科技算法工程师 欧泽彬 1. 前言 TFSEQ 这个系列总结了笔者在使用 tensorflow 进行自然语言处理的一些经验和思考。计划写三篇文章： 分布式训练的方案和效率对比 序列模型的实现细节 Batch size大小，优化和泛化 此为第一篇。 在增大数据集的同时增大模型参数量(Scaling)是提高准确率的一个有效方案，...
【信息科学与工程学】【物理/化学科学和工程技术】知识体系073——电学基础04
weixin_49199313的博客
06-30 2271
​。
MPI学习笔记
好好学习天天向上
04-02 1826
文章目录MPI学习笔记MPI准备概述前置知识补充环境部署1.修改IP及主机名2.关闭防火墙3.实现免密码SSH登录4.配置MPI运行环境5.测试程序的执行编译语句运行语句MPI编程4个基本函数MPI点对点通信函数非阻塞MPI_Send/MPI_Recv阻塞MPI_IsendMPI集合通信函数1-n/n-1n-n常用函数测试案例sendMPI_Scatter 与 MPI_Gather MPI学习笔记 研究课题需要用到并行化，这里记录学习笔记 MPI准备 概述 MPI(Message Passin Inte
MPI: 虚拟拓扑和近邻通信
weixin_42849849的博客
12-04 1350
MPI虚拟拓扑和近邻通信
MPI 集体通信（collective communication）
保持写作习惯，完成知识沉淀
01-28 1888
MPI_REDUCE将组内每个进程输入缓冲区中的数据按给定的操作op进行运算，并将其结果返回到序列号为root的进程的输出缓冲区中。
集合通信的底层逻辑全解析
qq_41914036的博客
12-02 1311
集合通信通过"逻辑节点"和"逻辑链路"抽象物理硬件，屏蔽GPU/服务器等底层差异，使通信算法更具通用性。逻辑节点为虚拟参与方（rank标识），逻辑链路为虚拟通信通道，两者共同简化通信管理。集合通信库（如NCCL）负责算法实施和资源调度，集群调度系统（如Slurm）管理物理资源分配，AI框架（如PyTorch）提供高层接口。这种分层协作使开发者无需关注底层细节，只需调用简单接口即可完成高效通信。典型场景如64卡GPU集群的AllReduce操作，各层自动协同完成最优通信
【并行计算】用MPI进行分布式内存编程（二）
weixin_30242907的博客
05-02 986
通过上一篇中，知道了基本的MPI编写并行程序，最后的例子中，让使用0号进程做全局的求和的所有工作，而其他的进程却都不工作，这种方式也许是某种特定情况下的方案，但明显不是最好的方案。举个例子，如果我们让偶数号的进程负责收集求和的工作，情况会怎么样？如下图： 对比之前的图发现，总的工作量与之前的一样，但是发现新方案中0号进程只做了3次接收和3次加法（之前的7次接收和7次加法），如果...
集合通信（Collective Communication）：定义、核心组成与实现逻辑
qq_41914036的博客
12-01 1470
集合通信是多节点协同的全局数据交互模式，区别于点对点通信，它通过标准化的通信原语（如AllReduce、Broadcast）、优化的网络拓扑（全互联/树形/环形）、同步机制和底层传输协议（RDMA/TCP），实现高效的多节点数据协同。这种通信范式是分布式AI训练和超算的核心技术，支持千亿参数模型的梯度同步等关键操作。通信库（如NCCL）自动优化传输路径，开发者只需调用封装接口即可实现高性能通信，无需关注底层细节。集合通信通过原子化操作和硬件感知优化，比手动组合点对点通信效率提升10-100倍，成为大规模分布
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值