为 infiniband 设置 GPUDirect答案

【问题标题】：Setting up GPUDirect for infiniband为 infiniband 设置 GPUDirect
【发布时间】：2017-03-25 14:19:33
【问题描述】：

我尝试将 GPUDirect 设置为直接在设备内存上使用 infiniband 动词 rdma 调用，而无需使用 cudaMemcpy。我有 2 台装有 nvidia k80 gpu 卡的机器，每台机器的驱动程序版本为 367.27。安装了 CUDA8 和 Mellanox OFED 3.4 还安装了 Mellanox-nvidia GPUDirect 插件：

-bash-4.2$ service nv_peer_mem status
nv_peer_mem module is loaded.

根据这个帖子“How to use GPUDirect RDMA with Infiniband” 我具备 GPUDirect 的所有要求，并且以下代码应该可以成功运行。但它没有，并且 ibv_reg_mr 失败并出现错误“错误地址”，就好像 GPUDirect 没有正确安装一样。

void * gpu_buffer;
struct ibv_mr *mr;
const int size = 64*1024;
cudaMalloc(&gpu_buffer,size); // TODO: Check errors
mr = ibv_reg_mr(pd,gpu_buffer,size,IBV_ACCESS_LOCAL_WRITE|IBV_ACCESS_REMOTE_WRITE|IBV_ACCESS_REMOTE_READ);

要求的信息：
使用 mlx5。
最后的内核日志：

[Nov14 09:49] mlx5_warn:mlx5_0:mlx5_ib_reg_user_mr:1418:(pid 4430): umem get failed (-14)

我错过了什么吗？我需要一些其他数据包还是必须以某种方式在我的代码中激活 GPUDirect？

【问题讨论】：

您使用的是mlx4 还是mlx5 驱动程序？您是否在内核日志中看到任何其他相关的错误或警告？
只是为了确定，您能检查一下cudaMalloc() 调用没有失败吗？
cudaMalloc 没有失败。
注意：我在另一台机器上测试了相同的代码。在那里它工作正常。
有趣。这两台机器有什么明显的区别吗？

标签： cuda infiniband gpudirect

【解决方案1】：

nv_peer_mem 模块失败的一个常见原因是与统一内存 (UVM) 的交互。您能否尝试禁用 UVM：

export CUDA_DISABLE_UNIFIED_MEMORY=1

如果这不能解决您的问题，您应该尝试从 https://github.com/NVIDIA/gdrcopy 运行 validation 和 copybw 测试以检查 GPUDirectRDMA。如果它有效，则说明您的 Mellanox 堆栈配置错误。

【讨论】：

export CUDA_DISABLE_UNIFIED_MEMORY=1 确实使它工作。谢谢