MPI 的 Scatterv 操作答案

【问题标题】：MPI's Scatterv operationMPI 的 Scatterv 操作
【发布时间】：2014-06-03 15:00:27
【问题描述】：

我不确定我是否正确理解 MPI_Scatterv 应该做什么。我有 79 个项目来分散数量可变的节点。然而，当我使用MPI_Scatterv 命令时，我得到了荒谬的数字（好像我的接收缓冲区的数组元素未初始化）。下面是相关代码sn-p：

MPI_Init(&argc, &argv);
int id, procs;

MPI_Comm_rank(MPI_COMM_WORLD, &id);
MPI_Comm_size(MPI_COMM_WORLD, &procs);

//Assign each file a number and figure out how many files should be
//assigned to each node
int file_numbers[files.size()];
int send_counts[nodes] = {0}; 
int displacements[nodes] = {0};

for (int i = 0; i < files.size(); i++)
{
    file_numbers[i] = i;
    send_counts[i%nodes]++;
}   

//figure out the displacements
int sum = 0;
for (int i = 0; i < nodes; i++)
{
    displacements[i] = sum;
    sum += send_counts[i];
}   

//Create a receiving buffer
int *rec_buf = new int[79];

if (id == 0)
{
    MPI_Scatterv(&file_numbers, send_counts, displacements, MPI_INT, rec_buf, 79, MPI_INT, 0, MPI_COMM_WORLD);
}   

cout << "got here " << id << " checkpoint 1" << endl;
cout << id << ": " << rec_buf[0] << endl;
cout << "got here " << id << " checkpoint 2" << endl;

MPI_Barrier(MPI_COMM_WORLD); 

free(rec_buf);

MPI_Finalize();

当我运行该代码时，我会收到以下输出：

got here 1 checkpoint 1
1: -1168572184
got here 1 checkpoint 2
got here 2 checkpoint 1
2: 804847848
got here 2 checkpoint 2
got here 3 checkpoint 1
3: 1364787432
got here 3 checkpoint 2
got here 4 checkpoint 1
4: 903413992
got here 4 checkpoint 2
got here 0 checkpoint 1
0: 0
got here 0 checkpoint 2

我阅读了 OpenMPI 的文档并查看了一些代码示例，我不确定我缺少什么任何帮助都会很棒！

【问题讨论】：

标签： c++ parallel-processing mpi openmpi

【解决方案1】：

最常见的 MPI 错误之一再次出现：

if (id == 0)    // <---- PROBLEM
{
    MPI_Scatterv(&file_numbers, send_counts, displacements, MPI_INT,
                 rec_buf, 79, MPI_INT, 0, MPI_COMM_WORLD);
}

MPI_SCATTERV 是一个集体 MPI 操作。集合操作必须由指定通信器中的所有进程执行才能成功完成。您只在等级 0 中执行它，这就是为什么只有它才能获得正确的值。

解决方法：去掉条件if (...)。

但这里还有一个微妙的错误。由于集体操作不提供任何状态输出，因此 MPI 标准强制严格匹配发送到某个等级的元素数量和该等级愿意接收的元素数量。在您的情况下，接收者始终指定79 元素，这些元素可能与send_counts 中的相应数字不匹配。你应该改用：

MPI_Scatterv(file_numbers, send_counts, displacements, MPI_INT,
             rec_buf, send_counts[id], MPI_INT,
             0, MPI_COMM_WORLD);

还请注意您的代码中的以下差异，这可能是在此处发布问题时的拼写错误：

MPI_Comm_size(MPI_COMM_WORLD, &procs);
                               ^^^^^
int send_counts[nodes] = {0};
                ^^^^^
int displacements[nodes] = {0};
                  ^^^^^

当您在 procs 变量中获取等级数时，nodes 用于您的其余代码。我猜nodes 应该换成procs。

【讨论】：