理解openmp中的collapse子句

Question

我遇到了一个包含折叠子句的 OpenMP 代码，这对我来说是新的。我试图理解它的含义，但我认为我没有完全理解它的含义；我发现的一个定义是：

COLLAPSE：指定嵌套循环中有多少个循环应该被折叠到一个大的迭代空间中，并根据调度子句进行划分。所有关联循环中迭代的顺序执行决定了折叠迭代空间中迭代的顺序。

我以为我明白这意味着什么，所以我尝试了以下简单程序：

int i, j;
#pragma omp parallel for num_threads(2) private(j)
for (i = 0; i < 4; i++)
    for (j = 0; j <= i; j++)
        printf("%d %d %d\n", i, j, omp_get_thread_num());

生产的

0 0 0
1 0 0
1 1 0
2 0 0
2 1 0
2 2 1
3 0 1
3 1 1
3 2 1
3 3 1

然后我添加了collapse(2) 子句。我希望在前两列中得到相同的结果，但现在在最后一列中有相同数量的 0 和 1。 但我得到了

0 0 0
1 0 0
2 0 1
3 0 1

所以我的问题是：

1. 我的代码发生了什么？
2. 什么情况下应该使用collapse？
3. 您能否提供一个示例来说明使用collapse 与不使用collapse 之间的区别？

Answer 1

如果您的目的是在增加的行上平衡负载，假设每个项目的工作负载是规则的或分散良好的，那么将行索引对折，忘记collapse 子句怎么样？

#pragma omp for
for (int iy0=0; iy0<n; ++iy0){
  int iy = iy0;
  if (iy0 >= n/2) iy = n-1 -iy0 +n/2;
  for (int ix=iy+1; ix<n; ++ix){
    work(ix, iy);
  }
}

Answer 2

您的代码的问题是内循环的迭代取决于外循环。根据绑定部分和collapse 子句描述下的OpenMP 规范：

如果任何关联循环的执行更改了用于计算任何值的任何值 的迭代计数，则行为未指定。

如果不是这种情况，您可以使用折叠，例如方形循环

#pragma omp parallel for private(j) collapse(2)
for (i = 0; i < 4; i++)
    for (j = 0; j < 100; j++)

事实上，这是一个很好的例子来说明何时使用折叠。外循环只有四次迭代。如果您有四个以上的线程，那么有些线程将被浪费。但是当您折叠时，线程将分布在 400 次迭代中，这可能远远大于线程数。使用崩溃的另一个原因是负载分布不均。如果您只使用了四次迭代，而第四次迭代花费了其他线程等待的大部分时间。但如果您使用 400 次迭代，负载可能会更好地分布。

您可以像这样为上面的代码手动融合一个循环

#pragma omp parallel for
for(int n=0; n<4*100; n++) {
    int i = n/100; int j=n%100;

Here 是一个示例，展示了如何手动融合三重融合循环。

最后，here 是一个示例，展示了如何融合未定义 collapse 的三角形循环。

---

这是一个将矩形循环映射到 OPs 问题中的三角形循环的解决方案。这可以用来融合 OPs 三角环。

//int n = 4;
for(int k=0; k<n*(n+1)/2; k++) {
    int i = k/(n+1), j = k%(n+1);
    if(j>i) i = n - i -1, j = n - j;
    printf("(%d,%d)\n", i,j);
}

这适用于任何 n 值。

OPs 问题的地图来自

(0,0),
(1,0), (1,1),
(2,0), (2,1), (2,2),
(3,0), (3,1), (3,2), (3,3),

到

(0,0), (3,3), (3,2), (3,1), (3,0),
(1,0), (1,1), (2,2), (2,1), (2,0),

对于 n 的奇数值，地图并不完全是一个矩形，但公式仍然有效。

例如 n = 3 从

得到映射

(0,0),
(1,0), (1,1),
(2,0), (2,1), (2,2),

到

(0,0), (2,2), (2,1), (2,0),
(1,0), (1,1),

这是测试的代码

#include <stdio.h>
int main(void) {
    int n = 4;
    for(int i=0; i<n; i++) {
        for(int j=0; j<=i; j++) {
            printf("(%d,%d)\n", i,j);
        }
    }
    puts("");
    for(int k=0; k<n*(n+1)/2; k++) {
        int i = k/(n+1), j = k%(n+1);
        if(j>i) i = n - i - 1, j = n - j;
        printf("(%d,%d)\n", i,j);
    }
}