最大消息长度 MPI_Type_vector 和 MPI_Gather答案

【问题标题】：Maximum message length MPI_Type_vector and MPI_Gather最大消息长度 MPI_Type_vector 和 MPI_Gather
【发布时间】：2018-11-07 11:22:58
【问题描述】：

当我尝试将具有超过 750 个元素的 double 类型的数组收集到表示矩阵的数组中时，我收到错误消息“MPI_Gather 中发生错误”。正在收集的数组应该代表矩阵的列，并且由于矩阵的构造使得行在内存中是连续的，因此我将派生数据类型定义为列向量并像这样调用 MPI_Gather：

for (i = 0; i < k; i++) {
    MPI_Gather(&Q_vector[i*m], m, MPI_DOUBLE, &Q[i*size], 1, vector_m, 0, MPI_COMM_WORLD);
}

其中k是向量的个数，m是每个向量的长度（矩阵中的行数），size是进程数，vector_m 是派生的数据类型，构造如下：

MPI_Type_vector(m, 1, n, MPI_DOUBLE, &vector_m_type);
MPI_Type_create_resized(vector_m_type, 0, sizeof(double), &vector_m);
MPI_Type_commit(&vector_m);

其中 n 是矩阵中的列数。

这在 m > 750 之前可以正常工作。例如，如果 m = 751，则会发生错误（751 个 double 类型的元素）。它不依赖于 n 的值。我完全改变了算法，以便矩阵的列连续存储在内存中，而不是通过完全避免派生数据类型来解决问题，但我仍然很好奇为什么会发生这种情况。

电脑规格：

CPU：Intel(R) Core(TM) i7-4790K CPU @ 4.00GHz

内存：8 GB

操作系统：Windows 10 Home 64 位

编译器：gcc 6.4.0

我使用 Cygwin。

有时会打印此错误消息：

" 通信器 MPI_COMM_WORLD 上的进程 [52635822596882433,77309411328] 报告的 MPI_Gather 发生错误

MPI_ERR_IN_STATUS：状态错误代码 MPI_ERRORS_ARE_FATAL（此通信器中的进程现在将中止，并且可能会中止您的 MPI 作业） "

重现错误的最小工作示例代码：

#include <stdio.h>
#include <mpi.h>
#include <stdlib.h>

int main(int argc, char *argv[]) {
    int n, m, size, rank, i, j, k;
    double *Q, *Q_vector;
    MPI_Datatype vector_m_type, vector_m;

    MPI_Init(&argc, &argv);
    MPI_Comm_size(MPI_COMM_WORLD, &size);
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);

    m = atoi(argv[1]);
    n = atoi(argv[2]);

    if (rank == 0) {
        Q = (double *)malloc(m*n*sizeof(double));
        for (i = 0; i < m; i++) {
            for (j = 0; j < n; j++) {
                Q[i*n+j] = drand48()*10;
            }
        }
    }

    // k = number of (column) vectors per process
    k = n/size;
    Q_vector = (double *)malloc(k*m*sizeof(double));

    MPI_Type_vector(m, 1, n, MPI_DOUBLE, &vector_m_type);
    MPI_Type_create_resized(vector_m_type, 0, sizeof(double), &vector_m);
    MPI_Type_commit(&vector_m);

    for (i = 0; i < k; i++) {
        MPI_Scatter(&Q[i*size], 1, vector_m, &Q_vector[i*m], m, MPI_DOUBLE, 0, MPI_COMM_WORLD);
    }

    for (i = 0; i < k; i++) {
        MPI_Gather(&Q_vector[i*m], m, MPI_DOUBLE, &Q[i*size], 1, vector_m, 0, MPI_COMM_WORLD);
    }

    if (rank == 0) {
        printf("Success!\n");
        free(Q);
    }
    free(Q_vector);

    MPI_Finalize();
}

像这样编译和运行：

mpicc -o test MPI_Type_vector_test.c -lmpi -lm
mpirun -np 8 ./test 751 750

【问题讨论】：

请提供minimal reproducible example，以及有关您的系统/MPI 实施的信息。确保包含完整的错误消息。
你不应该有0 == n%size吗？
我在openmpi3.1 gcc8 ArchLinux4.16.8下运行代码，得到“成功！”。
Gilles Gouaillardet，是的，你是对的。在此示例中，最后 n%size 列将不会被发送。但是，原始代码是 QR 分解的实现，其中注意包含矩阵的所有元素。我只是试图制作最小的工作示例..最小。但它仍然会产生错误，所以我想这很好。

标签： c mpi openmpi

【解决方案1】：

这是 Open MPI 中的 known issue，当集体操作使用匹配的签名但不同的数据类型时会发生这种情况（例如，一方面是一个向量，另一方面是几个元素）。

解决此问题的最简单方法是禁用 coll/tuned 模块

mpirun --mca coll ^tuned -np 8 ./test 751 750

另一种选择是重写代码并使用描述行的其他派生数据类型（而不是使用m 元素）

【讨论】：