【问题标题】:Dask: set multiprocessing method from PythonDask:从 Python 设置多处理方法
【发布时间】:2018-06-21 22:31:57
【问题描述】:

有没有办法从 Python 设置多处理方法?我在 Dask.distributed 的 Client() API 文档中没有看到指示如何设置此属性的方法。

更新:

例如,有没有:

client = Client(multiprocessing='fork')

client = Client(multiprocessing='spawn')

?

【问题讨论】:

    标签: dask dask-distributed


    【解决方案1】:

    不幸的是,多处理上下文方法是在导入 dask.distributed 时设置的。如果你想从 Python 中设置它,你可以在导入 dask 之后设置配置值,但在导入 dask.distributed 之前。

    import dask
    dask.config.set({'distributed.worker.multiprocessing-method': 'spawn'})
    
    from dask.distributed import Client
    

    但是,在您的配置文件中设置它可能更可靠。有关设置配置值的各种方法,请参阅configuration documentation

    注意:这是使用dask.__version__ == '0.18.0'的配置

    【讨论】:

      猜你喜欢
      • 2020-03-02
      • 2020-07-13
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2015-05-21
      • 1970-01-01
      • 2015-09-18
      • 2022-01-19
      相关资源
      最近更新 更多