如何使用 MPI 并行化点积

Question

我一直在尝试学习 MPI，并且我有这段来自 C 的代码 sn-p，它应该被格式化为 MPI 以使其可并行化；

// this is a dot product
int A[100000];
int B[100000];
int C=0;

for (int i=0 ; i<100000; i++){
    c += A[i] * B[i];
}

我对使用 MPI 时如何处理 for 循环有点困惑，但这是我对练习的回答；

// this is a dot product
int A[100000];
int B[100000];
int C=0;
int rootId = 0;
int  numtasks, taskId, len, partner, message;
MPI_Status status;
MPI_Init(&argc, &argv);
MPI_Comm_rank(MPI_COMM_WORLD, &taskid);    

for (int i=0 ; i<100000; i++){
    c = A[i] * B[i];

    if(rootId == taskid){
        MPI_Send(&A[100000], &B[100000], MPI_INT, 1, 0, MPP_COMM_WORLD, MPI_Status)

    }else if (rootId < taskId){
        MPI_Recv(C, 100000, MPI_INT, 0, 0, MPP_COMM_WORLD, MPI_Status)
    }

    MPI_Finalize(); return 0;

}

我不确定这是否正确，但我相信我的方向是正确的......

关于 MPI 的问题是，我真的找不到很好的例子来说明如何用循环重写或构造它 - fortran 中有一些例子，但这不是我熟悉的...... 我只在 MPI 中看到过简单的“Hello world”C 示例......但从那里得到的没有什么用处。

所有帮助将不胜感激..

Answer 1

有错别字吗？

for (int i=0 ; i<100000; i++){
    c += A[i] * B[i];
}

并行化很大程度上取决于您的数组A 和B 的分布方式。

最简单的情况，也是内存占用最大的情况，是在所有 MPI 任务上使用完整的数组 A 和 B。 根据任务排名和任务总数，每个任务可以计算点积的一部分，例如

for (int i=start; i<end; i++) {
    c += A[i] * B[i];
}

然后你可以MPI_Reduce()/MPI_Allreduce() 和MPI_SUM 部分点积以获得最终结果。