Infiniband网络抓包

ibdump用于捕获和转储InfiniBand网络的流量。这种工具通常用于调试和分析InfiniBand网络问题，包括性能瓶颈和配置错误。`ibdump`工具在Mellanox InfiniBand环境中较为常用，现由NVIDIA提供支持。

目录 一、抓包命令 ibdump 抓包命令 tcpdump抓包命令 二、RDMA抓包 1.ibdump 2.tcpdump (docker，Linux内核从4.9以上) 3.Offloaded Traffic Sniffer(tcpdump，ConnectX®-4以上的版本，libpcap库v1.9或更高版本) 数据收发测试工具： 三、...

目录 一、RDMA抓包 1.ibdump 2.tcpdump (docker，Linux内核从4.9以上) 3.Offloaded Traffic Sniffer(tcpdump，ConnectX®-4以上的版本，libpcap库v1.9或更高版本) ibdump 用法说明 数据收发测试工具： 二、抓包结果分析 RDMA抓包 目录 ...

本文深度解析了PyTorch Lightning分布式训练中NCCL报错的网络接口问题，揭示了NCCL在多机多卡训练中的关键作用。通过系统性诊断方法论和实战案例，帮助开发者从底层网络接口绑定、协议栈配置到高级抓包分析，彻底解决`ncclInternalError`等常见问题，提升分布式训练稳定性和性能。

上图第二个切片也是最后一个，其IP包的大小为548字节，也就是着总的数据传输量为2048(1500+548)字节，其中1个icmp头(8B), 2个ip头(20B+20B)和icmp的数据部分(2000). 所以可以看到，即便发送数据量超过了MTU的值，在IP层也会进行切片来适配所设置的MTU大小。一般情况下网卡的MTU大小是1500(最大可配置到9000)，然后为了在高性能的网络环境下（增加）数据的传输效率，可以通过增加MTU只来实现，换句话说通过MTU的增加，每帧(Frame)传输的数据量就会更大。

使用 tcpdump 需要对源码进行编译，才可以抓取 RDMA 网卡数据包。本文通过使用tcpdump抓取mlx5网口的RoCE数据包，再使用wireshark进行简单分析

摘要 本文探讨了AI训练集群网络优化的关键问题。作者通过实际案例指出，微秒级网络延迟波动会严重影响分布式训练性能，建议从协议栈底层入手优化。文章分析了以太网MTU设置、TCP拥塞控制算法的选择陷阱，详细解读了RDMA技术原理及RoCEv2的UDP实现特点，并对比了InfiniBand架构优势。针对AI集群场景，提供了协议选型建议：全新部署推荐InfiniBand，现有以太网升级建议采用RoCEv2并确保交换机支持DCB特性。最后强调网络性能监控的重要性，建议AI基础设施团队培养专业的网络调试能力。

目录 诊断工具--翻译中 RDMA抓包 ibdump tcpdump (docker，Linux内核从4.9以上) Offloaded Traffic Sniffer(tcpdump，ConnectX®-4以上的版本，libpcap库v1.9或更高版本) 诊断工具--翻译中 摘自《Mellanox_OFED_Linux_User_Manu...

RDMA（远程直接内存访问）是一种高性能网络编程技术，它通过内核旁路和零拷贝机制，极大降低了网络通信的延迟与CPU开销。其核心原理在于将数据传输的控制逻辑从CPU卸载到智能网卡，从而允许应用直接访问远程内存。这项技术在追求极致性能的AI/ML训练、高性能计算和分布式存储场景中具有关键价值。RoCEv2、RRoCE和InfiniBand是实现RDMA的三种主流协议，它们分别基于以太网、可路由IP网络和专用网络，在报文封装、寻址和路由能力上存在显著差异。理解这些底层报文结构，是进行高效网络调试、性能优化和故障定

本文深度剖析了AI算力网络中RoCE与InfiniBand的技术选型，重点对比了两种RDMA技术在性能、成本、运维复杂度等方面的差异。通过实测数据和典型场景分析，为构建高效算力机房提供实战指南，帮助企业在AI大模型训练等场景中做出最优网络架构决策。

本文深入解析InfiniBand网络中Mellanox子网管理器（SM）高可用配置失败的五大关键陷阱，包括管理网络组播流量问题、硬件异构兼容性、防火墙拦截、VIP配置细节和版本差异。通过实战案例和诊断命令，帮助运维人员有效避免常见错误，确保网络高可用性。

AF_INET是"兼容性驱动设计"的典范，通过分层抽象支持异构网络，代价是可预测的性能损耗。AF_PACKET体现了"控制权优先"的思想，为特权应用打开后门，但也带来安全风险。是"性能至上主义"的产物，通过颠覆传统架构满足极端需求，但牺牲了通用性。这三种设计没有绝对的优劣，只有适用场景的不同：当需要连接互联网服务时，AF_INET 是不二之选；当开发网络监控工具时，AF_PACKET 提供必要的能力；当构建超算集群时，RDMA 的微秒级延迟成为关键。理解这些差异，才能在海量网络技术中做出精准选择。

本文通过Wireshark抓包实战，深入解析RoCEv2、RRoCE与IB协议的报文结构差异，揭示它们在RDMA技术中的核心特点。从协议基础到实验环境搭建，再到关键字段解析和性能优化，帮助读者掌握这三种协议的技术差异与应用场景选择。

现在mellanox/tcpdump-rdma bash 开始捕获RDMA设备mlx5_1的数据包，并将数据包保存在容器内外/ tmp/ traces目录中的capture1.pcap文件中。进入mellanox/tcpdump-rdma bash之后，运行以下命令。-s：截取报文的内容，默认截取96字节，-s 0表示截取全部。-i：指定监听的网口。

本文详细介绍了如何使用Wireshark抓包分析RDMA RoCEv2网络中的PFC与ECN报文，帮助读者理解流控机制。从实验环境搭建到Wireshark配置技巧，再到PFC帧和ECN报文的深度解析，提供了全面的实战指南。适用于网络工程师和RDMA技术研究人员，助力优化高性能计算网络。