如何在 R 中增加并行处理中的 CPU 使用率答案

【问题标题】：How to increase CPU usage in parallel processing in R如何在 R 中增加并行处理中的 CPU 使用率
【发布时间】：2021-05-03 20:00:10
【问题描述】：

我目前在 R 中使用 future 包来处理一些繁重的并行处理任务。

当我在脚本运行时检查 CPU 使用率时，我注意到每个并行部分仅使用机器上 2.3% 的 CPU 功率（见下文）。有没有办法将使用率提高到更高的数字（比如 5% 或 10%）？

抱歉，如果我遗漏了软件包文档中的任何明显内容。

【问题讨论】：

你也许应该告诉我们更多关于你实际做什么，甚至提供一些代码。并行化的最佳方式实际上是针对特定情况的。通常，当 CPU 使用率较低时，这意味着您大部分时间并没有真正进行计算，而是将数据导出到集群或从磁盘读取。另外，第一个问题是，在禁用并行化时，你通常会得到 100% 吗？

标签： r r-future

【解决方案1】：

您的脚本（或任何进程）只会使用所需的内容。虽然我不熟悉 future 的确切工作原理，但除非您可以定义 CPU 使用率的阈值，否则没有直接的方法可以任意增加此阈值。

如果您的脚本仍然很慢，那么您需要考虑其他（或其他方法）来加快它的速度。您还应该检查并行化的开销是否会导致不必要的工作负载，也许尝试使用更少的内核/工作人员，看看这是否会增加 CPU 使用率，并根据基准（例如完成时间）对其进行评估。

【讨论】：