如何让自适应 dask 工作人员在启动时运行一些代码？答案

【问题标题】：How do I get adaptive dask workers to run some code on startup?如何让自适应 dask 工作人员在启动时运行一些代码？
【发布时间】：2018-08-01 11:04:39
【问题描述】：

我正在使用 dask-kubernetes 创建一个 dask 调度程序并将其置于自适应模式。

from dask-kubernetes import KubeCluster
cluster = KubeCluster()
cluster.adapt(minimum=0, maximum=40)

我需要每个工作人员在创建时运行一些设置代码（使用os.environ 设置一些环境变量），以便任务正确执行。

我在文档中看到有一个 --preload 标志，用于您从命令行启动的工作人员。我猜我需要将它直接设置到自适应调度程序的某个地方。

如何将代码传递给我的工作人员以在他们启动时执行？

【问题讨论】：

【解决方案1】：

如果您只想设置环境变量，那么您可以使用 dask-kuberenetes 配置文件来处理这个问题。我认为 KubeCluster 甚至可能有一个 env= 关键字或其他东西。

对于更通用的代码，您认为使用预加载脚本是目前最好的方法是正确的。但是，这在所有情况下都不是理想的。理想情况下，您将能够向调度程序注册一些启动代码，以便在所有工作人员启动时移交给他们。但截至 2018 年 8 月 1 日尚未实施。

【讨论】：