MPI：检查是否有进程被终止

Question

我正在使用Catch2 为一些使用 MPI 的代码编写单元测试。 Catch2 中的失败测试基本上是带有有用错误消息的失败断言。 现在，在某些情况下，mpirun 似乎无法检测到测试何时仅在一个进程上失败。然后可能会发生死锁。

是否有或多或少优雅的方法来检查代码中的特定点，是否所有进程都还活着？如果不是，所有进程都将终止。

Answer 1

如果大多数 MPI 启动器发现任何一个等级过早退出而没有调用 MPI_Finalize()，就会终止整个 MPI 作业。如果您的测试失败排名都正常退出并通过调用MPI_Finalize() 清理 MPI 环境，启动器将愉快地继续执行剩余的作业。如果您希望一个失败的等级确定终止整个 MPI 作业，它必须调用MPI_Abort(something, MPI_COMM_WORLD) 在调用MPI_Finalize()。 something 是一个错误代码，根据 MPI 实现，可能成为 MPI 启动器的进程退出代码（在您的情况下为 mpirun）。我不熟悉 Catch2，因此您应该调查如何以及在何处合并对 MPI_Abort 的调用。

如果您希望一个等级的失败测试在所有其他等级的测试中失败，然后允许开始下一个测试，这是一个完全不同的故事。这里的问题是，如果一个或多个 rank 未能通过测试并停止参与通信，而其余的 rank 继续运行，程序可能会进入一种状态，其中存在一些涉及失败的 rank 的通信，这将阻塞，因此导致死锁。 MPI 没有用户可见的超时机制，也没有办法优雅地中断阻塞调用，除非您明确使用非阻塞操作，因此中止整个作业是您的最佳选择。