dask multiple processes no-nanny 对性能的影响

Question

我注意到使用仅具有进程且没有保姆的 dask 工作人员与使用保姆相比，性能下降了 5/6 倍。这是预期的行为吗？

由于工人的状态，我想在没有保姆的情况下运行 dask。我明白在工人中拥有状态是不可取的，但它超出了我的控制范围（第 3 方库）。

如果我与保姆一起运行 dask 工作人员，我可以捕获工作人员故障/重新启动并重新初始化工作人员吗？

Answer 1

Nanny 进程只是启动一个dask-worker 进程，然后监视它，如果它发生故障则重新启动它。它根本不应该影响性能。如果您没有保姆，那么您将无法捕获工人故障或重新启动。这是保姆的角色。