并行效率不一致地下降

Question

我的问题可能是微不足道的。我使用 MPI 库并行化了 CFD 代码，现在我正在尝试调查我的并行效率。首先，我创建了一个案例，该案例将在等级之间提供相等的负载，并且计算量与传输数据的比率恒定。因此，我的期望是，当我增加等级时，任何运行时变化都将仅归因于通信延迟。但是，我意识到不调用等级通信的子例程（因此它们只进行域计算，因此它们处理所有等级的相同负载）贡献显着——实际上是最大的运行时间增加。我在这里想念什么？这甚至有意义吗？

Answer 1

这有意义吗？

是的！

您创建的进程越多 (every process has a rank)，您就越能达到系统以真正并行方式执行进程的能力极限。

您的系统（例如您的计算机）可以并行运行一定数量的进程，当超过此限制时，一些进程会等待执行（因此并非所有进程都并行运行），这会损害性能。

例如，假设一台计算机有 4 个核心，而您创建了 4 个进程，那么每个核心都可以执行一个进程，因此进程之间的通信（如果有的话）会损害您的性能。

现在，在同一台计算机上，您创建了 8 个进程。会发生什么？

其中 4 个进程将开始并行执行，但其他 4 个进程将等待一个内核可用，以便它们也可以运行。这不是真正的并行执行（某些进程将以线性方式执行）。此外，根据操作系统的调度策略，某些进程可能会交错，导致每次切换都会产生开销。