【问题标题】:How to find out if dask worker is idle?如何确定 dask worker 是否空闲?
【发布时间】:2021-10-08 02:23:06
【问题描述】:

我正在使用 dask 分布式。我有一个在 AWS 上运行的 dask 集群。如果工人空闲,我想关闭他们。我如何确定 dask 工作人员是否空闲?我可以访问客户端

    from xxxxxx.distributed.ecscluster import EcsCluster
    from dask.distributed import Client
    
    cpu_cluster = EcsCluster(workers=1)
    client = Client(cpu_cluster)

【问题讨论】:

    标签: dask dask-distributed


    【解决方案1】:

    您可以使用dask-labextension 访问集群可视化并识别空闲的工作人员。

    您还可以插入 Dask adaptive scaling API,这些 API 旨在降低空闲节点的速度。

    【讨论】:

    • 我想在一天结束时关闭空闲的工作人员。它必须是自动化的。 dask-labextension 似乎是手动的。自适应缩放不适用于自定义集群类。我最终改用了 retire_workers api 调用。 client.retire_workers()
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-10-21
    • 2010-09-30
    • 1970-01-01
    • 1970-01-01
    • 2010-10-25
    • 1970-01-01
    相关资源
    最近更新 更多