在 Cuda 中计算 GFLOPS

Question

我正在做一个 cuda 项目，我正在比较矩阵乘法的各种 CUDA 实现的性能。重点是我正在尝试计算 GPU 的 GFLOPS，但我不知道该怎么做。我到目前为止，已经使用 cuda 事件管理了执行乘法所需的时间，如下所示：

cudaEvent_t start, stop;
    cudaEventCreate(&start);
    cudaEventCreate(&stop);

    cudaEventRecord(start);
    MatrixMulKernel<<<dimGrid,dimBlock>>> (Ad, Bd, Cd, M, N, K);
    cudaEventRecord(stop);



    cudaEventSynchronize(stop);
    float milliseconds = 0;
    float seconds = 0;
    float GFLOPS=0;
    cudaEventElapsedTime(&milliseconds, start, stop);
    seconds = milliseconds *  pow((float) 10,-3);;

是否有某种公式可以计算 GFLOPS？！ 任何帮助表示赞赏。

Answer 1

如果您计算出几个低维示例（纸和铅笔），您可以计算出矩阵乘法的浮点运算数是

long NumOps = N*N*(2*N-1);

为了简单起见，我假设矩阵是N*N。为您练习：将此推广到矩阵 A（维度为 N1*N2）和 B（维度为 N2*N3）的任意数组大小。给A*B（尺寸为N1*N3）。

请记住，在有关该主题的文献中，在分析矩阵乘法时，浮点运算的数量O(N^3) 通常被简单地视为NumOps = N^3。因此，如果您将结果与其他公布的值进行比较，请记住这一点。

无论哪种方式，Gflops 都可以计算为：

float gflops = (float)NumOps/time_per_multiply_inSec/1e+9;

还有一些good notes here。