【问题标题】:ForkJoinPool parallelism=1 deadlockForkJoinPool 并行度=1 死锁
【发布时间】:2011-03-30 22:47:29
【问题描述】:

我正在使用 jsr166y ForkJoinPool 在线程之间分配计算任务。但我显然做错了什么。

如果我创建并行度 > 1 的 ForkJoinPool(默认为 Runtime.availableProcessors();我一直在运行 2-8 个线程),我的任务似乎可以完美运行。但是,如果我创建并行度 = 1 的 ForkJoinPool,我会在不可预测的迭代次数后看到死锁。

是的 - 设置并行度 = 1 是一种奇怪的做法。在这种情况下,随着线程数的增加,我正在分析并行算法,并且我想将并行版本(以单个线程运行)与基线串行实现进行比较,以便准确确定并行实现的开销.

下面是一个简单的例子,说明了我看到的问题。 “任务”是对固定数组的虚拟迭代,递归地分为 16 个子任务。

如果以 THREADS = 2(或更多)运行,它会可靠地运行到完成,但如果以 THREADS = 1 运行,它总是会死锁。经过不可预知的迭代次数,主循环在 ForkJoinPool.invoke() 中挂起,等待 task.join(),工作线程退出。

我在 Linux 下使用 JDK 1.6.0_21 和 1.6.0_22 运行,并使用几天前从 Doug Lea 的网站 (http://gee.cs.oswego.edu/dl/concurrency-interest/index.html) 下载的 jsr166y 版本

对我所缺少的有什么建议吗?非常感谢。

package concurrent;

import jsr166y.ForkJoinPool;
import jsr166y.RecursiveAction;

public class TestFjDeadlock {

    private final static int[] intArray = new int[256 * 1024];
    private final static float[] floatArray = new float[256 * 1024];

    private final static int THREADS = 1;
    private final static int TASKS = 16;
    private final static int ITERATIONS = 10000;

    public static void main(String[] args) {

        // Initialize the array
        for (int i = 0; i < intArray.length; i++) {
            intArray[i] = i;
        }

        ForkJoinPool pool = new ForkJoinPool(THREADS);

        // Run through ITERATIONS loops, subdividing the iteration into TASKS F-J subtasks
        for (int i = 0; i < ITERATIONS; i++) {
            pool.invoke(new RecursiveIterate(0, intArray.length));
        }

        pool.shutdown();
    }

    private static class RecursiveIterate extends RecursiveAction {

        final int start;
        final int end;

        public RecursiveIterate(final int start, final int end) {
            this.start = start;
            this.end = end;
        }

        @Override
        protected void compute() {

            if ((end - start) <= (intArray.length / TASKS)) {
                // We've reached the subdivision limit - iterate over the arrays
                for (int i = start; i < end; i += 3) {
                    floatArray[i] += i + intArray[i];
                }

            } else {
                // Subdivide and start new tasks
                final int mid = (start + end) >>> 1;
                invokeAll(new RecursiveIterate(start, mid), new RecursiveIterate(mid, end));
            }
        }
    }
}

【问题讨论】:

  • 看起来它正在按设计工作。您请求并行度为 1,但随后您在 invokeAll 中添加了两个任务。但我不是这方面的专家,所以我可能错了。
  • 我以前从其他人那里听说过,将线程数设置为“多一个”可以解决问题。
  • Re: Jochen - 据我了解框架,我们应该能够添加任意数量的任务,而不管并行度(线程数)如何。例如,我们可能会递归地将一个大任务细分为 256 个单独的小任务,但我们应该能够在少于 256 个处理器的机器上执行该算法。此外,死锁不是立即的(如果 2 个任务 / 1 个线程是非法的,我们会期望它 - 而是在不可预测的迭代次数之后。但我对 F-J 也比较陌生,所以我可能会误解。
  • 回复:克里斯。有趣的。谢谢你的花絮。我可能会跟进 jsr166y 邮件列表。
  • 它在具有自己的 fork/join 类的 Java 7 上运行良好,但即使在 Java 7 上也与 jsr166y.zip 挂起。也许 jsr166y.zip 不是最新版本。

标签: java multithreading concurrency


【解决方案1】:

看起来像 ForkJoinPool 中的一个错误。我在该课程的用法中看到的所有内容都适合您的示例。唯一的另一种可能性可能是您的任务之一抛出异常并异常死亡(尽管仍应处理)。

【讨论】:

  • 这实际上是 ForkJoinPool 中的一个错误。与 @axtavt 不同,它在 JDK 1.7 以及 JDK 1.6 + jsr166y 中是可重现的。我在一个单独的论坛中与 Doug Lea 讨论过这个问题,他得出的结论是 ForkJoinPool 过早地终止了工作线程。该修复程序现已签入并在 gee.cs.oswego.edu/dl/concurrency-interest/index.html 上可用,并且应该很快在 OpenJDK 1.7 版本中可用。
猜你喜欢
  • 1970-01-01
  • 2015-08-04
  • 2021-03-22
  • 2017-06-27
  • 1970-01-01
  • 2016-01-12
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多