为什么 ParallelStream 不会在递归中使用所有 commonPool 的线程？

Question

当我运行以下代码时，8 个可用线程中只有 2 个运行，谁能解释为什么会这样？如何更改代码以利用所有 8 个线程？

Tree.java:

package il.co.roy;

import java.util.HashSet;
import java.util.Objects;
import java.util.Set;

public class Tree<T>
{
    private final T data;
    private final Set<Tree<T>> subTrees;

    public Tree(T data, Set<Tree<T>> subTrees)
    {
        this.data = data;
        this.subTrees = subTrees;
    }

    public Tree(T data)
    {
        this(data, new HashSet<>());
    }

    public Tree()
    {
        this(null);
    }

    public T getData()
    {
        return data;
    }

    public Set<Tree<T>> getSubTrees()
    {
        return subTrees;
    }

    @Override
    public boolean equals(Object o)
    {
        if (this == o)
            return true;
        if (o == null || getClass() != o.getClass())
            return false;
        Tree<?> tree = (Tree<?>) o;
        return Objects.equals(data, tree.data) &&
                Objects.equals(subTrees, tree.subTrees);
    }

    @Override
    public int hashCode()
    {
        return Objects.hash(data, subTrees);
    }

    @Override
    public String toString()
    {
        return "Tree{" +
                "data=" + data +
                ", subTrees=" + subTrees +
                '}';
    }

    public void sendCommandAll()
    {
        if (data != null)
            System.out.println("[" + Thread.currentThread().getName() + "] sending command to " + data);
        try
        {
            Thread.sleep(5000);
        } catch (InterruptedException e)
        {
            e.printStackTrace();
        }
        if (data != null)
            System.out.println("[" + Thread.currentThread().getName() + "] tree with data " + data + " got " + true);
        subTrees.parallelStream()
//              .map(Tree::sendCommandAll)
                .forEach(Tree::sendCommandAll);
//              .reduce(true, (aBoolean, aBoolean2) -> aBoolean && aBoolean2);
    }
}

（不管我用forEach还是reduce）。

Main.java:

package il.co.roy;

import java.util.Set;
import java.util.concurrent.Executor;
import java.util.concurrent.Executors;
import java.util.stream.Collectors;
import java.util.stream.IntStream;

public class Main
{
    public static void main(String... args)
    {
        System.out.println("Processors: " + Runtime.getRuntime().availableProcessors());


        final Tree<Integer> root = new Tree<>(null,
                Set.of(new Tree<>(1,
                        IntStream.range(2, 7)
                                        .boxed()
                                        .map(Tree::new)
                                        .collect(Collectors.toSet()))));

        root.sendCommandAll();

//      IntStream.generate(() -> 1)
//              .parallel()
//              .forEach(i ->
//              {
//                  System.out.println(Thread.currentThread().getName());
//                  try
//                  {
//                      Thread.sleep(5000);
//                  } catch (InterruptedException e)
//                  {
//                      e.printStackTrace();
//                  }
//              });
    }
}

在main 方法中，我创建了一个具有以下结构的树：\

root (data is `null`)
  |- 1
     |- 2
     |- 3
     |- 4
     |- 5
     |- 6

sendCommandAll 函数处理每个子树（并行）只有当它的父完成处理时。 但结果如下：

处理器：8
[main] 向 1 发送命令
[主] 数据 1 的树得到了 true
[main] 向 6 发送命令
[ForkJoinPool.commonPool-worker-2] 向 5 发送命令
[main] 数据 6 的树得到了 true
[ForkJoinPool.commonPool-worker-2] 数据为 5 的树为 true
[ForkJoinPool.commonPool-worker-2] 向 4 发送命令
[ForkJoinPool.commonPool-worker-2] 数据 4 的树得到了 true
[ForkJoinPool.commonPool-worker-2] 向 3 发送命令
[ForkJoinPool.commonPool-worker-2] 数据 3 的树得到了 true
[ForkJoinPool.commonPool-worker-2] 向 2 发送命令
[ForkJoinPool.commonPool-worker-2] 数据为 2 的树为真

（作为记录，当我执行Main.java 中的注释代码时，JVM 使用了所有可用的 7（+1）个线程commonPool）

如何改进我的代码？

Answer 1

正如this answer 的后半部分所解释的，处理HashMaps 或HashSets 时的线程利用率取决于后备数组中元素的分布，这取决于哈希码。尤其是元素数量较少的情况下，与（默认）容量相比，这可能会导致糟糕的工作拆分。

一个简单的解决方法是使用new ArrayList<>(subTrees).parallelStream() 而不是subTrees.parallelStream()。

但请注意，您的方法在处理子节点之前执行当前节点的实际工作（在使用sleep 模拟的示例中），这也会降低潜在的并行性。

你可以使用

public void sendCommandAll() {
    if(subTrees.isEmpty()) {
        actualSendCommand();
        return;
    }
    List<Tree<T>> tmp = new ArrayList<>(subTrees.size() + 1);
    tmp.addAll(subTrees);
    tmp.add(this);
    tmp.parallelStream().forEach(t -> {
        if(t != this) t.sendCommandAll(); else t.actualSendCommand();
    });
}

private void actualSendCommand() {
    if (data != null)
        System.out.println("[" + Thread.currentThread().getName()
                         + "] sending command to " + data);
    try {
        Thread.sleep(5000);
    } catch (InterruptedException e) {
        e.printStackTrace();
    }
    if (data != null)
        System.out.println("[" + Thread.currentThread().getName()
                         + "] tree with data " + data + " got " + true);
}

这允许在处理子节点的同时处理当前节点。