使用 MPI 时计算 CPU 时间

Question

我正在研究 MPI 中的并行矩阵-矩阵乘法器。我已经完成了计算部分，但我也想计算 CPU 时间。我被卡住了，因为看起来有些进程报告的开始和结束时间为 0，而对于一个应该在一秒钟内完成的任务（小矩阵），程序报告了 1000+ 秒的 CPU 时间（即使我知道它运行从观察不到一秒钟）。这是我目前正在做的事情：

#include <time.h>
#include "mpi.h"
// other includes
int main()
{
    int start, end, min_start, min_end;
    if (rank == 0)
    {
        // setup stuff

        start = clock();
        MPI_Reduce(&min_start, &start, 1, MPI_INT, MPI_MIN, 0, MPI_COMM_WORLD);

        // master computation stuff

        end = clock();
        MPI_Reduce(&max_end, &end, 1, MPI_INT, MPI_MAX, 0, MPI_COMM_WORLD);

        cout << "CPU time was " 
             << (double)(max_end - min_start) / CLOCKS_PER_SEC 
             << " seconds" << endl;
    }   
    else if (rank != 0)
    {
        // setup stuff

        start = clock();
        MPI_Reduce(&min_start, &start, 1, MPI_INT, MPI_MIN, 0, MPI_COMM_WORLD);

        // slave computation stuff

        end = clock();
        MPI_Reduce(&max_end, &end, 1, MPI_INT, MPI_MAX, 0, MPI_COMM_WORLD);
    }
}

我不确定错误的根源是什么。当我在这个调试输出中添加时（在if (rank == 0) 和else if (rank != 0) 语句之后）

MPI_Barrier(MPI_COMM_WORLD);
for (int i=0; i<size; i++)
{
    if (rank == i)
        cout << "(" << i << ") CPU time = " 
             << end << " - " << start 
             << " = " << end - start << endl;
    MPI_Barrier(MPI_COMM_WORLD);
}

我得到以下输出

CPU time was 1627.91 seconds
(1) CPU time = 0 - 0 = 0
(2) CPU time = 0 - 0 = 0
(0) CPU time = 1627938704 - 32637 = 1627906067
(3) CPU time = 10000 - 0 = 10000

Answer 1

首先，man 3 clock 说“clock() 函数返回程序使用的处理器时间的近似值”。所以要确定时间你不需要计算差异。这种误解是错误的根源。你只需要在你密集的计算之后调用它，而忽略setup stuff所消耗的时间。

如果您不想考虑设置时间，那么您确实需要区别。因此，只需使用简单而强大的 MPI_Wtime 函数即可获取自过去某个固定时刻以来的精确秒数。

从最大结束时间减去最小开始时间得到的值并不是普遍接受的 CPU 时间（即time 实用程序）。那个时间是real 时间。要获得真正的 CPU 时间，您应该总结所有处理时间，即使用时间差调用 MPI_Reduce 和 MPI_SUM 操作。