如何通过多线程 Java 编程最大限度地利用资源（RAM 和 CPU）？答案

【问题标题】：how to maximize resource (RAM and CPU) usage with multi-threaded java programming?如何通过多线程 Java 编程最大限度地利用资源（RAM 和 CPU）？
【发布时间】：2013-08-20 16:31:54
【问题描述】：

我的代码在具有 128 GB RAM 和 64 个内核的 Windows 2008 Server（64 位）上的 32 位 JVM (JRE v1.6) 上运行。但是，我可以指定的最大堆空间是 1.5 GB。我的代码如下所示。

int numThreads = Runtime.getRuntime.availableProcessors();
List<Callable<Long>> tasks = new ArrayList<Callable<Long>>();
File dir = new File("/path/to/data");
File[] dataFiles = dir.listFiles();
for(File dataFile : dataFiles) {
 MyTask task = new MyTask(dataFile);
 tasks.add(task);
}
ExecutorService executor = Executors.newFixedThreadPoll(numThreads);
List<Future<Long>> results = executor.invokeAll(tasks);
long total = 0L;
for(Future<Long> result : results) {
 total += result.get();
}
System.out.println("total = " + total);
executor.shutdown();

此代码引发 OutOfMemoryError。我所做的是将线程数更改为更小。

int numThreads = Runtime.getRuntime.availableProcessors();
if(numThreads < 1 || numThreads > 4) {
 numThreads = 4;
}

这个修改后的代码还没有抛出 OutOfMemoryError，但是，这让我很失望，因为有很多资源（RAM 和 CPU 资源）没有被使用。如何在我的环境中最大限度地利用资源？

最重要的是，我想要一些关于 1.5 GB 最大堆空间限制的解决方法的反馈。请注意， Callable 任务是令人尴尬的并行。

我考虑过创建一个 DOS bat 文件来遍历我的输入文件，然后简单地调用

java -cp %CP% -Xms1024m -Xmx1536m net.analysis.MyProg %1

但这似乎有点古怪/笨拙（现在我必须在 DOS bat 中有逻辑来确定要创建多少进程，并等待这些进程完成后再生成新进程）。

感谢任何帮助。

【问题讨论】：

java 1.6 32-bit min and max heap memory issue 的可能重复项
这个问题和你上一个问题的答案一样。我觉得你缺少一些东西，但我不知道为什么。
@PeterLawrey 它不完全相同，但它是相关的。我打算在那个线程上发帖，但我已经将该线程标记为已回答。这个线程处理“解决方法”，而前一个线程处理理解内存限制。
我能想到的所有解决方法都涉及安装 64 位版本的 Java，这也是解决方案。如果我是系统管理员并且我购买了 128 GB 的机器，我会坚持使用 64 位应用程序，否则这会使机器变得毫无意义。如果您的 IT 不明白这一点，那么您就有一个非常基本的问题。

标签： java multithreading memory-management jvm java.util.concurrent

【解决方案1】：

选项：

切换到 64 位 JVM。
运行一大堆 32 位 JVM，每个 JVM 都执行必须完成的工作的子集。

【讨论】：

ProcessBuilder 会有帮助吗？我正在考虑一个 DOS bat 文件，但我想尽可能地保留 Java 中的所有内容。当我使用 ProcessBuilder 时，这会创建一堆 32 位 JVM，每个 JVM 都有自己的 1.5 GB 最大堆，对吧？
当然，ProcessBuilder 可以创建每个将完成工作的进程。这使您可以在每个流程之间都有一个流 - 使用这些流将工作传递给流程并返回结果。因此，您将拥有一个管理所有工作和流程的“驱动程序”应用程序和一个执行任务并返回结果的“工作人员”应用程序。

【解决方案2】：

32 位 JVM 的最大堆空间约为 1.5GB。当然，您必须切换到在 64 位操作系统上运行的 64 位 JVM 才能分配更多。这是 32 位 JVM 使用 32 位地址这一事实的直接结果。 64 位 JVM 可以访问的堆空间大约是 32 位 JVM 的 2 到 40 亿倍。

【讨论】：

是的，我知道。但请注意，在这种环境下改变任何事情都是与官僚地雷的政治艰苦战斗。
没有其他选项可以增加 JVM 可用的堆内存。这是 32 位架构的寻址限制。这就是存在 64 位架构的原因。
@JaneWayne 那么这是一个政治问题 - 在你的情况下，没有一个可以被技术规避。由于限制，接受它的糟糕运行 - 只需向责任方指出问题并解释解决方案。然后它就变成了他们的问题，每次有人抱怨软件的性能时，都会将他们指向（记录在案的）问题。如果这不能给你带来结果......换个公司，认真的。
@JaneWayne 所以你的问题真的是政治问题，而不是技术问题，所以我们无法帮助你。您无法更改模拟 32 位程序的方式，如果可以的话，您也不想这样做。
@Durandal 所以没有技术解决方法吗？我能想到一些（例如 bat 脚本），但我想知道是否还有其他人有更好的想法和/或面临类似的限制并有解决方案。

【解决方案3】：

为什么不考虑 newCachedThreadPool()。我认为它应该非常适合您的要求和约束。 IT 创建一个线程池，根据需要创建新线程，但在可用时将重用以前构建的线程。这些池通常会提高执行许多短期异步任务的程序的性能。执行调用将重用以前构造的线程（如果可用）。如果没有可用的现有线程，将创建一个新线程并将其添加到池中。未使用 60 秒 的线程将被终止并从缓存。因此，闲置时间足够长的池不会消耗任何资源。

查看 api 文档了解更多信息

【讨论】：