如何嵌套多个 parfor 循环

Question

parfor 是一种在多个“工作人员”之间分配独立迭代的密集计算的便捷方式。一个有意义的限制是 parfor-loops 不能嵌套，并且总是可以回答类似问题，例如 there 和 there。

为什么如此需要跨循环边界的并行化

考虑以下一段代码，其中在允许 4 个工作人员的机器上，迭代所花费的时间变化很大。两个循环都迭代了 6 个值，显然很难在 4 个值之间共享。

for row = 1:6
    parfor col = 1:6
        somefun(row, col);
    end
end

为parfor 选择内部循环似乎是个好主意，因为对somefun 的单独调用比外部循环的迭代变化更大。但是，如果每次调用somefun 的运行时间非常相似怎么办？如果运行时有趋势并且我们有三个嵌套循环怎么办？这些问题经常出现，人们去extremes。

组合循环所需的模式

理想情况下，somefun 对所有 row 和 col 对都运行，并且无论迭代哪个迭代，工作人员都应该忙碌起来。解决方案应该是这样的

parfor p = allpairs(1:6, 1:6)
    somefun(p(1), p(2));
end

不幸的是，即使我知道哪个内置函数创建了一个包含 row 和 col 的所有组合的矩阵，MATLAB 也会报错 Parfor 语句的范围必须是行向量。 em> 然而，for 不会抱怨并很好地遍历列。一个简单的解决方法是创建该矩阵，然后使用 parfor 对其进行索引：

p = allpairs(1:6, 1:6);
parfor k = 1:size(pairs, 2)
    row = p(k, 1);
    col = p(k, 2);
    somefun(row, col);
end

我正在寻找代替 allpairs 的内置函数是什么？有人想出了一个方便的惯用模式吗？

Answer 1

MrAzzman 已经指出了如何线性化嵌套循环。这是线性化 n 个嵌套循环的一般解决方案。

1) 假设您有一个简单的嵌套循环结构，如下所示：

%dummy function for demonstration purposes
f=@(a,b,c)([a,b,c]);

%three loops
X=cell(4,5,6);
for a=1:size(X,1);
    for b=1:size(X,2);
        for c=1:size(X,3);
            X{a,b,c}=f(a,b,c);
        end
    end
end

2) 使用 for 循环的基本线性化：

%linearized conventional loop
X=cell(4,5,6);
iterations=size(X);
for ix=1:prod(iterations)
    [a,b,c]=ind2sub(iterations,ix);
    X{a,b,c}=f(a,b,c);
end   

3) 使用 parfor 循环进行线性化。

%linearized parfor loop
X=cell(4,5,6);
iterations=size(X);
parfor ix=1:prod(iterations)
    [a,b,c]=ind2sub(iterations,ix);
    X{ix}=f(a,b,c);
end

4) 使用带有传统 for 循环的第二个版本，执行迭代的顺序被改变。如果有任何依赖于此，您必须颠倒索引的顺序。

%linearized conventional loop
X=cell(4,5,6);
iterations=fliplr(size(X));
for ix=1:prod(iterations)
    [c,b,a]=ind2sub(iterations,ix);
    X{a,b,c}=f(a,b,c);
end

使用parfor 循环时颠倒顺序是无关紧要的。您根本不能依赖执行顺序。如果你觉得有影响，就不能用parfor。

Answer 2

您应该可以使用bsxfun 执行此操作。我相信bsxfun 将尽可能并行化代码（请参阅here 了解更多信息），在这种情况下您应该能够执行以下操作：

bsxfun(@somefun,(1:6)',1:6);

您可能希望对此进行基准测试。

或者，您可以执行以下操作：

function parfor_allpairs(fun, num_rows, num_cols)

parfor i=1:(num_rows*num_cols)
    fun(mod(i-1,num_rows)+1,floor(i/num_cols)+1);
end

然后调用：

parfor_allpairs(@somefun,6,6);

Answer 3

根据 @DanielR 和 @MrAzzaman 的回答，我发布了两个函数，iterlin 和 @987654323 @ 代替 prod 和 ind2sub，如果它们不是从一个开始，它们也允许迭代范围。模式的一个例子变成了

rng = [1, 4; 2, 7; 3, 10];
parfor k = iterlin(rng)
    [plate, row, col] = iterget(rng, k);
    % time-consuming computations here %
end

脚本将处理板 1 至 4 上第 2 至 7 行和第 3 至 10 列的孔，而没有任何工人空闲，同时等待处理更多孔。希望这对某人有所帮助，我将iterlin 和iterget 存入MATLAB File Exchange。