如何通过环境变量指定 dask 客户端

Question

我如何指示 dask 使用分布式 Client 作为调度程序，外部来自代码，例如通过环境变量？

动机是利用 dask 的关键特性之一——即从单台机器到分布式集群的透明性。然而，似乎有一件小事掩盖了这种透明度——需要通过代码注册Client。

我可以通过配置（文件/环境变量）将命名调度程序（例如“同步”和“进程”）设置为instructed here，但是如何将相同的机制用于分布式调度程序？

理想情况下，我想设置如下：

DASK_SCHEDULER=distributed(scheduler_file=...)

作为一个环境变量，相当于运行client = Client(scheduler_file=...)在 python 代码中。

这意味着EXACT相同的代码可以在不同的环境（本地和分布式）中运行。

Answer 1

一种方法是添加以传递调度程序有一个参数；每说使用Argparse。 因此，如果您为本地指定分布式或 ，则可以使用 python my_script.py <ip:port>。