监控进度/调试并行 R 脚本

Question

在快速并行化简单代码（snowfall、foreach 和 so on）的选择中，我有哪些选项可以显示所有从属进程的进度？是否有任何产品在这方面表现出色？

我已经看到降雪 1.70 有sfCat()，但它似乎没有输出到主 R 会话。

Answer 1

这就是它可以变成黑色艺术的地方...我注意到您没有列出 MPI 或 PVM —— 那些旧的并行计算主力确实有监视器。您可以通过超越 R 并依赖作业调度程序（slurm、扭矩等）找到解决方案

如果你不能做到这一点（嘿，我们喜欢 snow、foreach 等简单的原因是有原因的）那么也许你可以改变你的工作，以每 N 步记录一个“心跳”或进度消息.您可以登录到文本文件（如果您有 NFS 或 SMB/CIFS 共享）、登录到数据库，或者发送tweet with R。它很可能是特定于您的应用的，是的，它会产生一些成本。