多个数组的元素总和的内存高效 MPI 并行实现

Question

我对 MPI 很陌生，我想计算两个（或更多）大型数组的元素总和。 这个任务的幼稚实现是这样的（对于这个伪代码的任何错误，我深表歉意。如果标准实现有很大不同，请告诉我）：

#include<stdio.h>
#include<stdlib.h>
#include<mpi.h>
#define NELEMS 10
#define NP 2
#define TAG 15

int setElements(int,int);

int postProcess(int *);

int main(int argc,char **argv){
    int nprocs,myrank,*myarray,*result,i,initflag=0;
    MPI_Status status;
    MPI_Init(&argc,&argv);
    MPI_Comm_size(MPI_COMM_WORLD,&nprocs);
    MPI_Comm_rank(MPI_COMM_WORLD,&myrank);
    myarray=malloc(sizeof(int)*NELEMS);
    if(myrank==0){
        result=malloc(sizeof(int)*NELEMS);
        if(myrank==0){
            result[i]=0;
        }
        initflag=1;
        for(i=1;i<NP;i++){
            MPI_Send(&initflag,1,MPI_INT,i,TAG,MPI_COMM_WORLD);
        }
    }
    for(i=0;i<NELEMS;i++){
        myarray[i]=setElements(myrank,i);
    }
    if(myrank!=0){
        MPI_Recv(&initflag,1,MPI_INT,0,TAG,MPI_COMM_WORLD,&status);
    }
    MPI_Reduce(myarray,result,NELEMS,MPI_INT,MPI_SUM,0,MPI_COMM_WORLD);
    MPI_Finalize();
    free(myarray);
    /*At this point the element-wise sum should be stored on myrank==0*/
    if(myrank==0){
        postProcess(result);
    }
    free(result);
    return 0;
}

我担心的是，这个实现需要myrank==0 分配两个大小为NELEMS 的数组（而一个用于myrank!=0），这对于大的NELEMS 可能有问题。一种简单的解决方法（如果可用）是多使用一个处理器并使myrank==0 空闲，直到在其他进程中完成setElements 循环，但这似乎不是非常有效地使用处理器，尤其是在评估@987654329 时@ 计算量很大。

所以我的问题是：有没有更聪明的方法来使用 MPI 计算大型数组的元素总和？还是我应该考虑一个完全不同的策略？

Answer 1

您可以在根进程上就地执行缩减。引用文档：

当通信器是内部通信器时，您可以就地执行reduce操作（输出缓冲区用作输入缓冲区）。使用变量MPI_IN_PLACE 作为根进程sendbuf 的值。在这种情况下，输入数据从接收缓冲区的根处获取，在那里它将被输出数据替换。

在您的情况下，修改 MPI_Reduce 调用来自：

MPI_Reduce(myarray,result,NELEMS,MPI_INT,MPI_SUM,0,MPI_COMM_WORLD);

到：

if (my_rank == 0)
  MPI_Reduce(MPI_IN_PLACE,myarray,NELEMS,MPI_INT,MPI_SUM,0,MPI_COMM_WORLD);
else
  MPI_Reduce(myarray,nullptr,NELEMS,MPI_INT,MPI_SUM,0,MPI_COMM_WORLD);

使用这种方法，您根本不需要第二个数组 (result)。