来自多个线程的 MPI RMA

Question

在我的应用程序中，与 MPI 单向通信 (RMA) 相比，我通过 TBB 流程图实现了我所谓的“稀疏向量减少”。该算法的核心部分如下所示：

auto &reduce = m_g_R.add<function_node<ReductionJob, ReductionJob>>(
  serial,
  [=, &reduced_bi](ReductionJob rj) noexcept
  {
    const auto r = std::get<0>(rj);

    auto *buffer = std::get<1>(rj)->data.data();
    auto &mask = std::get<1>(rj)->mask;

    if (m_R_comms[r] != MPI_COMM_NULL)
    {
      const size_t n = reduced_bi.dim(r);

      MPI_Win win;

      MPI_Win_create(
        buffer,
        r == mr ? n * sizeof(T) : 0,
        sizeof(T),
        MPI_INFO_NULL,
        m_R_comms[r],
        &win
      );

      if (n > 0 && r != mr)
      {
        MPI_Win_lock(MPI_LOCK_SHARED, 0, 0, win);

        size_t i = 0;

        do
        {
          while (i < n && !mask[i]) ++i;

          size_t base = i;

          while (i < n && mask[i]) ++i;

          if (i > base) MPI_Accumulate(
            buffer + base, i - base, MpiType<T>::type,
            0,
            base, i - base, MpiType<T>::type,
            MPI_SUM,
            win
          );
        }
        while (i < n);

        MPI_Win_unlock(0, win);
      }

      MPI_Win_free(&win);
    }

    return rj;
  }
);

这是针对参与计算的每个等级 r 执行的，reduced_bi.dim(r) 指定每个等级拥有多少元素。 mr 是当前等级，并且以这样一种方式创建通信器，即目标进程是它们每个的根。 buffer 是 T = double 的数组（通常），mask 是 std::vector<bool> 标识哪些元素非零。循环的组合将通信拆分为非零元素块。

这通常可以正常工作并且结果是正确的，与我之前使用MPI_Reduce 的实现相同。但是，将此节点的并发级别设置为serial 似乎很重要，这表明最多有一个并行 TBB 任务（因此最多有一个线程）执行此代码。

我想将其设置为 unlimited 以提高性能，而且确实在我的笔记本电脑上运行 MPICH 3.4.1 的小型作业可以正常工作。然而，在我真正想要运行计算的集群上，使用 OpenMPI 4.1.1，它运行了一段时间，然后因段错误和涉及一堆 UCX 函数的回溯而崩溃。

我现在想知道，是否不允许有多个线程并行调用这样的 RMA 操作（在我的笔记本电脑上它只是偶然工作），还是我遇到了集群上的错误/限制？从文档中我没有直接看到我想做的事情不受支持。

当然，MPI 是用MPI_THREAD_MULTIPLE 初始化的，我再次重复上面发布的 sn-p 工作正常，只有当我更改 serial --> unlimited 以启用并发执行时，我才会遇到问题在集群上。

---

在回复下面的 Victor Eijkhout 评论时，这里有一个完整的示例程序，可以重现该问题。这在我的笔记本电脑上运行良好（专门使用 mpirun -n 16 进行了测试），但是当我以 16 个等级（分布在 4 个集群节点上）运行它时，它在集群上崩溃。

#include <iostream>
#include <vector>
#include <thread>

#include <mpi.h>

int main(void)
{
  int requested = MPI_THREAD_MULTIPLE, provided;

  MPI_Init_thread(nullptr, nullptr, requested, &provided);

  if (provided != requested)
  {
    std::cerr << "Failed to initialize MPI with full thread support!"
              << std::endl;
    exit(1);
  }

  int mr, nr;

  MPI_Comm_rank(MPI_COMM_WORLD, &mr);
  MPI_Comm_size(MPI_COMM_WORLD, &nr);

  const size_t dim = 1024;
  const size_t repeat = 100;

  std::vector<double> send(dim, static_cast<double>(mr) + 1.0);
  std::vector<double> recv(dim, 0.0);

  MPI_Win win;

  MPI_Win_create(
    recv.data(),
    recv.size() * sizeof(double),
    sizeof(double),
    MPI_INFO_NULL,
    MPI_COMM_WORLD,
    &win
  );

  std::vector<std::thread> threads;

  for (size_t i = 0; i < repeat; ++i)
  {
    threads.clear();
    threads.reserve(nr);

    for (int r = 0; r < nr; ++r) if (r != mr)
    {
      threads.emplace_back([r, &send, &win]
      {
        MPI_Win_lock(MPI_LOCK_SHARED, r, 0, win);

        for (size_t i = 0; i < dim; ++i) MPI_Accumulate(
          send.data() + i, 1, MPI_DOUBLE,
          r,
          i, 1, MPI_DOUBLE,
          MPI_SUM,
          win
        );

        MPI_Win_unlock(r, win);
      });
    }

    for (auto &t : threads) t.join();

    MPI_Barrier(MPI_COMM_WORLD);

    if (mr == 0) std::cout << recv.front() << std::endl;
  }

  MPI_Win_free(&win);
  MPI_Finalize();
}

注意：我在这里故意使用纯线程来避免不必要的依赖。它应该与-lpthread 链接。

我在集群上遇到的具体错误是这样的，使用 OpenMPI 4.1.1：

*** An error occurred in MPI_Accumulate
*** reported by process [1829189442,11]
*** on win ucx window 3
*** MPI_ERR_RMA_SYNC: error executing rma sync
*** MPI_ERRORS_ARE_FATAL (processes in this win will now abort,
***    and potentially your MPI job)

来自ompi_info的可能相关部分：

Open MPI: 4.1.1
Open MPI repo revision: v4.1.1
Open MPI release date: Apr 24, 2021
Thread support: posix (MPI_THREAD_MULTIPLE: yes, OPAL support: yes, OMPI progress: no, Event lib: yes)

已用 UCX/1.10.1 编译。

Answer 1

C++ 中的风格是将* 或& 与类型，而不是标识符。这是在 Stroustrup 的第一本书的开头特别提到的，这是与 C 风格的有意区别。

---

创建 -- 锁定 -- 解锁 -- 免费

⧺R.1 使用资源句柄和 RAII（资源获取即初始化）自动管理资源

使用包装类，要么为此目的而编写，为此 C API 设计，通用资源管理器模板，要么使用带有自定义删除器的 unique_ptr，而不是必须的显式调用匹配正确的行为。

RAII/RFID 是 C++ 的基本优势之一，使用它可以大大减少代码错误并及时维护。

---

使用解构语法。

const auto r = std::get<0>(rj);
auto *buffer = std::get<1>(rj)->data.data();
auto &mask = std::get<1>(rj)->mask;

您可以直接命名组件，而不是引用get<0> 和get<1>。

const auto& [r, fred] = rj;
auto* buffer = fred->data.data();
auto& mask = fred->mask;