将 MPI 与 CUDA 一起使用需要哪些硬件设置？答案

【问题标题】：What hardware setup is required to use MPI with CUDA?将 MPI 与 CUDA 一起使用需要哪些硬件设置？
【发布时间】：2013-09-18 23:40:31
【问题描述】：

我是 MPI 的新手。我想将 CUDA 与 MPI 一起使用。我有三台 PC，每台都有一个 GPU，我想用它来做一些简单的处理（矩阵乘法）。

但我不确定将 MPI 与 CUDA 一起使用需要哪些硬件设置？请赐教。

更新我在问这个问题，因为很多地方都提到了带有 infiniband 的集群。我没有这样的设置。我只有办公室里的普通局域网。最重要的基本想法是了解 MPI 和 CUDA 如何协同工作并进行小型小型测试运行——无论性能如何。

【问题讨论】：

标签： cuda mpi

【解决方案1】：

一台或多台机器配备支持 CUDA 的 nVidia GPU。

MPI 和 CUDA 彼此没有任何关系。您只需在每个 MPI 进程中使用 CUDA。

【讨论】：

所以你的意思是如果我连接我的电脑，在普通局域网中，我们在办公室有显卡——它会工作吗？我不需要infiniband之类的东西吗？对吗？
当然，你可以使用普通的以太网。 MPICH 和 OpenMPI 都可以在您的操作系统支持的任何情况下工作。请注意，矩阵乘法是一个紧密耦合的问题，并且非常占用带宽。因此，对于像 GbE 这样的慢速互连，它会很慢。
@gpuguy 很多学术集群只是一堆连接到交换机的 PC。您听说 Infiniband、Gemini 或 Myrinet 互连的唯一原因是它们速度更快。对于许多类型的问题，互连速度是瓶颈。

【解决方案2】：

但是，如果可以的话，是对 OP 原始问题的跟进方式吗？

我知道@gpuguy 的 Q 是关于硬件，但他不是必须运行 Nvidia CUDA 编译器支持的操作系统选项之一吗？（IE、Linux、Win、OSX）

没有与 CUDA 等效的 OpenSource，是吗？

【讨论】：