OpenMP 使用指针并行化分组数组总和

Question

我想在 C 中有效地并行化以下总和：

  #pragma omp parallel for num_threads(nth)
  for(int i = 0; i < l; ++i) pout[pg[i]] += px[i];

其中px 是指向包含一些数据的大小为l 的双精度数组x 的指针，pg 是指向大小为l 的整数数组g 的指针，它将每个数据点分配到x 指向以随机顺序出现的 ng 组之一，pout 是指向大小为 ng 的双精度数组 out 的指针，该数组用零初始化并包含求和 x 的结果超过g定义的分组。

上面的代码可以工作，但性能不是最优的，所以我想知道我是否可以在 OpenMP 中做一些事情（例如reduction() 子句）来改进执行。数组的尺寸l 和ng，以及线程数nth 可供我使用并预先固定。我不能直接访问数组，只能将指针传递给执行并行求和的函数。

Answer 1

1. 您的代码存在数据竞争（pout[pg[i]] += ... 行），您应该先修复它，然后再担心它的性能。

2. 如果ng 不是太大并且您使用OpenMP 4.5+，最有效的解决方案是使用缩减：#pragma omp parallel for num_threads(nth) reduction(+:pout[:ng])

3. 如果ng 太大，很可能最好的办法是在 PC 上使用该程序的串行版本。请注意，通过在pout[pg[i]] += .. 之前添加#pragma omp atomic，您的代码将是正确的，但其性能值得怀疑。

Answer 2

从您的描述看来，您的映射是多对少。这对于并行性来说是一个大问题，因为您可能在目标数组中存在写入冲突。尝试使用临界区或锁进行控制可能只会减慢代码速度。

除非它在内存中是禁止的，否则我会给每个线程一个pout 的私有副本并将其相加，然后将这些副本加在一起。现在源数组的读取可以在线程之间很好地划分。如果pout 数组不是太大，你的加速应该是不错的。

这是关键的代码：

#pragma omp parallel shared(sum,threadsum)
  {
    int thread = omp_get_thread_num(),
      myfirst = thread*ngroups;
    #pragma omp for
    for ( int i=0; i<biglen; i++ )
      threadsum[ myfirst+indexes[i] ] += 1;
    #pragma omp for
    for ( int igrp=0; igrp<ngroups; igrp++ )
      for ( int t=0; t<nthreads; t++ )
        sum[igrp] += threadsum[ t*ngroups+igrp ];
  }

现在是棘手的部分。我正在使用大小为 100M 的索引数组，但组数至关重要。使用 5000 个组时，我得到了很好的加速，但只有 50 个，即使我已经消除了虚假共享之类的东西，我得到的加速很可怜或没有加速。这一点我还不清楚。

最后一句话：我还编写了@Laci 仅使用缩减的解决方案。测试 1M 组输出：对于 2-8 个线程，归约解决方案实际上更快，但对于更高的线程数，我几乎赢了 2 倍，因为归约解决方案反复添加整个数组，而我只求和一次，然后在平行线。对于较少数量的组，总体而言，减少可能是首选。