多 GPU 与 GPU 集群

Question

我正在使用 cuda 编程来进行有效和快速的计算。在研究过程中，我发现 multi gpu 和 gpu cluster 是进一步有效计算的另一种手段，但我对这两个术语感到困惑。

这两者在 cuda 编程方面的实际区别是什么？

Answer 1

我假设您是指具有多个 GPU 的 PC 和具有单个 GPU（集群）的许多 PC

如果是这种情况，对于多 GPU 的 PC，您可以轻松地使用 CUDA 库本身，并且如果您将 GPU 与 SLI 桥接器连接，您将看到性能的改进。

如果您想使用带有 GPU 的集群，您可以使用 CUDA-Aware MPI。它是 MPI 标准和 CUDA 库的组合解决方案。我建议你查看这篇博文：https://devblogs.nvidia.com/parallelforall/introduction-cuda-aware-mpi/