如何正确存储变量以与 parfor 一起使用？

Question

我的计算基于二叉树，它采用变量块（称为程序集）的两个先前实例并生成另一个。 基于上分支的两个程序集生成一个新程序集，因此必须存储所有变量。

为此，我使用具有以下语法的元胞数组：Assembly_ij = Tree{ithBranch}{jthAssembly}，其中Assembly 是18x3 double 矩阵。这种方法是 Matlab 的allowed，但是，它根本没有改进代码的执行。 我相信这是由于我将变量传递给工人的方式不恰当。我收到以下警告：

整个数组或结构“树”是一个广播变量。这 可能会导致不必要的通信开销。

大部分工作都在这部分代码中完成，它应该传达我正在犯的错误。

initialBranch = initialize();
Tree{1} = initialBranch;
for i = 2 : Nbranches
    branch = cell(1, elmsInBranch(i));
    parfor j = 1 : elmsInBranch(i)
        branch{j} = assembleBlocks(Tree{i-1}{2*j-1}, Tree{i-1}{2*j});
    end
    Tree{i} = branch;
end 

Matlab 必须将整个 Tree 结构传递给每个 worker，这是很多无用的复制。我不知道如何重写它以使其正常工作，但是，也许有一些聪明的方法可以为每个工人提取所需的变量？

Answer 1

问题是您将整个Tree{i-1} 变量传递到parfor 循环的每个（并行）迭代中。这是因为 MATLAB 解释器不够“聪明”，无法确定您需要 Tree{i-1} 的哪些部分，因为您正在通过基于 j 的一些计算来动态索引它。

在外部循环中分配一个临时变量，可以在内部循环中直接用j 进行索引，应该可以解决这个问题：

initialBranch = initialize();
Tree{1} = initialBranch;
for i = 2 : Nbranches
    N = elmsInBranch(i);
    branch = cell(1, N);
    % Pre-partition the data to send individual packets to each node 
    iTrees = arrayfun( @(j) Tree{i-1}([2*j-1,2*j]), 1:N, 'uni', 0 );
    % Parallel loop...
    parfor j = 1 : N
        jTrees = iTrees{j}; % direct indexing using 'j', no calculation      
        branch{j} = assembleBlocks(jTrees{1}, jTrees{2});
    end
    Tree{i} = branch;
end

请注意，cellfun 我添加了对您的数据进行分区，以便每个并行节点一次可以直接索引一个元素，其中包含循环中所需的两个 Tree 项目。这可能会导致内存重复，但比将整个数组广播到每个节点的重复要少！