MPI初始化错误

Question

我有一个关于并行性的问题。我有一部分代码应用了并行化的概念，这部分代码必须在循环中重复 N 次，但我无法在循环中初始化 MPI，因为显示“MPI_Init(89): 无法调用 MPI_INIT 或MPI_INIT_THREAD 不止一次”，如果我在循环之前启动每个进程，它将处理所有循环，这不是目标。

for (int i = 0; i <N; i ++)
{
the parallel area
}

我希望对于循环中的每个 i，K 个进程执行并行区域。

Answer 1

在您的情况下分配计算的规范方法是在所有 MPI 进程中运行循环，并使除 0 级以外的每个等级跳过串行部分：

// Obtain the rank
int rank;
MPI_Comm_rank(MPI_COMM_WORLD, &rank);

for (i = 0; i < N; i++)
{
   if (rank == 0)
   {
      // Some serial calculations
   }

   //
   // Parallel part
   //

   if (rank == 0)
   {
      // More serial calculations within the loop
   }
}

如果您需要在串行计算中传递 rank 0 中产生的数据，您可以在并行部分的开头使用点对点操作或 MPI_Bcast 或 MPI_Scatter 等集合。然后，您可以在并行块末尾使用MPI_Gather 或MPI_Reduce 将分布式数据带回等级 0 以在第二个串行部分中进行进一步处理。

另一种规范的方法是使用主从模式，其中一个进程（主进程）将工作项分配给一组工作进程，这些进程只是在接收工作的循环中旋转 -> 处理工作 -> 返回结果。

---

关于 MPI 的多次初始化，可以检查是否已经完成：

int done_already;

MPI_Initialized(&done_already);
if (!done_already)
   MPI_Init(NULL, NULL);

请注意，一旦您通过调用 MPI_Finalize 完成 MPI，它无法在程序当前执行期间重新初始化。