GPU Direct DMA RDMA 与FPGA 通讯在Jetson 平台的测试表现

GPU Direct DMA RDMA 技术文档

参考 https://docs.nvidia.com/cuda/gpudirect-rdma/index.html

1. 技术原理

1.1 什么是 GPU Direct RDMA

GPU Direct RDMA（Remote Direct Memory Access）是 NVIDIA 提供的一种高性能数据传输技术，允许第三方 PCIe 设备（如 FPGA、网卡、视频采集卡）绕过 CPU 和系统内存，通过 PCIe 总线直接与 GPU 显存进行数据交换。

传统数据路径（FPGA → GPU）：

FPGA ──DMA──→ CPU内存 ──cudaMemcpy──→ GPU显存
         ↑                    ↑
      PCIe传输            内存总线拷贝
      (第1次)              (第2次)

GPU Direct RDMA 路径（FPGA → GPU）：

FPGA ──PCIe DMA──→ GPU显存
         ↑
    仅一次PCIe传输
    零CPU拷贝

1.2 核心优势

1.3 适配设备与平台

1.4 工作流程

1. GPU 缓冲区分配 (cudaHostAlloc / cudaMalloc)
2. Pin 操作: 将 GPU 虚拟地址映射为物理页面，锁定在内存中
3. DMA 传输: FPGA 直接读写 GPU 物理页面（通过 PCIe BAR）
4. Unpin 操作: 释放页面锁定

关键点：Pin 操作仅需执行一次，后续可无限次复用同一 Handle 进行 DMA 传输，避免了传统方式中每次传输都需要的地址转换开销。

2. 测试环境

2.1 硬件平台

星测电子JetKU 硬件，FPGA 与 Jetson NX 之间是PCIe Gen3x4， FPGA 有2GB 缓存，使用XIlinx XDMA IP

2.2 软件环境

2.3 驱动架构

用户空间:  HelloFPGACore.so (TransferMode API)
               │
               ├─ CPU模式: open(/dev/HelloFPGA0_c2h_*) → read/write
               │
               └─ GPU Direct模式: open → ioctl(XDMA_IOC_GPU_PIN/XFER/UNPIN)
                        │
内核空间:  HelloFPGA.ko (XDMA + xdma_gpu_direct + xdma_gpu_tegra)
                        │
硬件:      FPGA XDMA IP ←──PCIe──→ GPU BAR (物理地址直通)

3. 测试方法

3.1 测试工具

测试程序: gpu_direct_api_test.cu

支持两种运行模式：

• 快速功能测试: 验证 API 正确性 + 性能对比（约 2 分钟）
• 长稳态压力测试: 12 小时持续运行，每 10 分钟记录数据（--long 参数）

3.2 测试对比方案

3.3 测试项目

3.4 关键参数

• 传输块大小: 4MB（长测试） / 4KB~8MB（快速测试）
• FPGA 地址步进: 64MB（遍历 0~2GB，32 个测试点/轮）
• 采样频率: 每 10 分钟（长测试）
• 每采样点迭代: 5 次取平均
• 功耗采集: INA3221 传感器 (VDD_IN 通道)

4. 测试结果

4.1 多尺寸性能对比（快速测试）

时延对比 (μs，越小越好)

表格格式: Read / Write

带宽对比 (GB/s，越大越好)

GPU Direct 峰值带宽达 2.84 GB/s，逼近 PCIe Gen2 x4 理论极限

4.2 TransferMode 兼容模式性能

用户代码零修改（仍调用 HelloFPGA_DMA_MM_*），仅通过 2 行配置切换模式：

格式: Write / Read

4.3 多缓冲区 vs 单缓冲区对比

模拟实际图像采集场景：4 个 GPU 缓冲区轮转 vs 单缓冲区重复读写（100 次迭代，1MB/帧）

结论：多缓冲区地址查表匹配开销可忽略不计，不影响性能。

4.4 12 小时长稳态测试

• 测试时长: 12.00 小时
• 采样点数: 72 次（每 10 分钟）
• 传输块大小: 4MB
• 地址遍历: 0 ~ 2GB（完成 2 轮完整遍历）

性能统计

加速比

性能稳定性

时间趋势（无退化）

功耗统计

地址空间一致性

FPGA 全 2GB 地址范围（0MB ~ 1984MB，64MB 步进）的 GPU Direct 传输时延无显著差异（标准差 < 15μs），表明 FPGA 端 DDR 控制器对全地址空间性能一致。

5. 结论

5.1 性能结论

1. GPU Direct 相比传统全路径 (FPGA→CPU→GPU) 加速 ~2x

   • Read 加速 1.97x，Write 加速 2.49x（4MB 块，12h 平均）
   • 消除 cudaMemcpy 中间拷贝是主要收益来源

2. GPU Direct 相比 CPU DMA 仅加速 ~1.5x

   • 即使不计算 cudaMemcpy，GPU Direct 仍因零拷贝架构优势快 50%

3. 峰值带宽达 2.84 GB/s

   • 接近 PCIe Gen2 x4 理论峰值（~2GB/s 实际可用约 3.2GB/s 含协议开销）

5.2 稳定性结论

1. 12 小时无性能退化：前 4h 与后 4h 性能差异 < 0.3%
2. 无内存泄漏：Pin/Unpin 生命周期管理正确
3. 无热节流：功耗稳定在 18.2~18.9W，无过热降频
4. 2GB 全地址空间一致：无 FPGA 端 DDR 热点

5.3 兼容性结论

1. 完全向后兼容：老代码无需任何修改即可继续使用
2. 最小侵入接入：仅需新增 2 行代码（SetGPUBuffer + SetTransferMode）
3. 多缓冲区无开销：4 帧轮转性能与单帧一致，适合图像流应用

5.4 适用场景建议

5.5 建议与限制

• 最小传输块建议 ≥ 64KB：小数据包中 DMA 建立开销占比大，GPU Direct 优势有限
• Pin 操作仅需一次：应在初始化阶段完成，避免传输循环中频繁 Pin/Unpin
• 4K 对齐要求：GPU 缓冲地址和大小必须 4096 字节对齐
• 需 root 权限：GPU Direct ioctl 需要特权访问设备文件