openMP 嵌套并行 for 循环与内部并行 for

Question

如果我像这样使用嵌套的并行循环：

#pragma omp parallel for schedule(dynamic,1)
for (int x = 0; x < x_max; ++x) {
    #pragma omp parallel for schedule(dynamic,1)
    for (int y = 0; y < y_max; ++y) { 
    //parallelize this code here
   }
//IMPORTANT: no code in here
}

这是否等同于：

for (int x = 0; x < x_max; ++x) {
    #pragma omp parallel for schedule(dynamic,1)
    for (int y = 0; y < y_max; ++y) { 
    //parallelize this code here
   }
//IMPORTANT: no code in here
}

除了创建新任务之外，外部并行是否可以做任何事情？

Answer 1

如果您的编译器支持 OpenMP 3.0，您可以使用 collapse 子句：

#pragma omp parallel for schedule(dynamic,1) collapse(2)
for (int x = 0; x < x_max; ++x) {
    for (int y = 0; y < y_max; ++y) { 
    //parallelize this code here
    }
//IMPORTANT: no code in here
}

如果不支持（例如仅支持 OpenMP 2.5），有一个简单的解决方法：

#pragma omp parallel for schedule(dynamic,1)
for (int xy = 0; xy < x_max*y_max; ++xy) {
    int x = xy / y_max;
    int y = xy % y_max;
    //parallelize this code here
}

您可以使用omp_set_nested(1); 启用嵌套并行性，并且您的嵌套omp parallel for 代码将起作用，但这可能不是最好的主意。

顺便问一下，为什么是动态调度？是否每次循环迭代都在非常量时间内进行评估？

Answer 2

没有。

第一个#pragma omp parallel 将创建一组并行线程，然后第二个将尝试为每个原始线程创建另一个团队，即一组团队。然而，在几乎所有现有的实现中，第二个团队只有一个线程：第二个并行区域基本上没有被使用。因此，您的代码更像是

#pragma omp parallel for schedule(dynamic,1)
for (int x = 0; x < x_max; ++x) {
    // only one x per thread
    for (int y = 0; y < y_max; ++y) { 
        // code here: each thread loops all y
    }
}

如果您不希望这样做，而只是并行化内部循环，您可以这样做：

#pragma omp parallel
for (int x = 0; x < x_max; ++x) {
    // each thread loops over all x
#pragma omp for schedule(dynamic,1)
    for (int y = 0; y < y_max; ++y) { 
        // code here, only one y per thread
    }
}