在纯素函数中使用并行处理？答案

【问题标题】：Using parallel processing in vegan functions?在纯素函数中使用并行处理？
【发布时间】：2020-04-29 13:37:00
【问题描述】：

我有兴趣从 vegan 包中并行执行 R 函数 adonis。但是，我不清楚如何使其并行运行。无论我如何尝试初始化它，它似乎都需要相同的时间来执行。有人可以解释我做错了什么吗？

require(vegan)
require(parallel)
data(dune)
data(dune.env)
#This:
system.time(adonis(dune ~ Management * A1, dune.env, perm = 99999))
#Runs faster (4.49 s) than this (6.7 s):
system.time(adonis(dune ~ Management * A1, dune.env, perm = 99999, parallel=3))
#or this (6.7 s)
cl <- makeCluster(3)
system.time(adonis(dune ~ Management * A1, dune.env, perm = 99999, parallel=cl))
stopCluster(cl)

电脑详情：

R V4.0
赢 10x64
i5-8350 4 核

【问题讨论】：

我自己也很好奇这个，你有没有找到让adonis并行运行的好方法？

标签： r vegan

【解决方案1】：

我不确定这个答案会有多大帮助，但我会分享一些我自己的观察和我慢慢拼凑起来的东西。我不会假装是这方面的专家，所以请接受我的回答，意识到这里可能存在一些不准确之处。我首先是生物学家。

其中一些并行库似乎会重新加载 r 环境并运行您每个内核拥有的任何启动文件（例如 rprofiles）。因此，使用并行库会产生固有的时间成本，因此只有在计算量足够大而值得并行化的情况下，您才会看到并行函数的好处（在您的示例中，Dune 数据集非常小。我将在下面分享我自己的基准）。也就是说，有几件事似乎有帮助。

使用doParallel 库，您可以指定参数以不将不必要的信息加载到会话中，如下所示：

library(doParallel)
cl <- makeCluster(3, rscript_args = c("--no-init-file", "--no-site-file","--no-environ"))
#for linux   .... cl <- makePSOCKcluster(2)
registerDoParallel(cl)
unif_w = UniFrac(d, weighted=T, parallel=T, normalized = T)
unif_uw = UniFrac(d, weighted=F, parallel=T)
stopCluster(cl)

我在自己的工作中注意到，添加 rscript 选项极大地提高了我的速度（抱歉，没有针对此的基准，希望能快速得到答案）。如果我记得我从哪里获得该建议的来源，我会回来分享。

这对运行 Adonis 没有帮助，但是我认为初始时间成本可以解释为什么我们在 Dune 数据集上使用 Adonis 内置的并行选项看不到时间收益。这是我的基准测试。

> data("dune")
> data("dune.env")
> system.time(adonis(dune ~ Management * A1, dune.env, perm = 99999))
   user  system elapsed 
   3.90    0.00    3.93 
> #Runs faster (4.49 s) than this (6.7 s):
> system.time(adonis(dune ~ Management * A1, dune.env, perm = 99999, parallel=3))
   user  system elapsed 
   0.71    0.04    6.53

在这组上差别不大，但并行速度较慢。然而，重复我目前正在使用的一个大集合（bc 是一个距离矩阵，是从具有 887 个物种和 3734 个站点的物种矩阵计算得出的）

> system.time(adonis(bc ~ fmet$Diagnosis, parallel = 1))
   user  system elapsed 
 109.95   21.27  131.22 
> system.time(adonis(bc ~ fmet$Diagnosis, parallel = 4))
   user  system elapsed 
   3.44    1.41   82.36

长话短说，在这种特定情况下，您可能只会通过将 adonis 选项应用于更大的数据集而受益。

我不确定计算机规格在这里有多重要，但我确实有大量内存用于这种目的。就我而言，内存对于让我更轻松地处理大型矩阵更为重要。

R 版本：4.0.2
Windows 10、64 位
AMD 锐龙 3600
64GB DRAM

无论如何，我仍在寻找其他解决方法和技巧。

【讨论】：