获取 Dask 分布式客户端的 Dask 诊断值

Question

有没有办法获取 Dask 诊断数据，而不是 Dask.distributed client 的仪表板？

Dask 已经提供了一个不错的Bokeh dashboard，它在其中绘制了很多诊断信息。但是，我想要的不是图，而是它们的值。比如时间戳、进度值、cpu 和内存使用情况。我想将这些值存储在数据库中以用于我自己的监控目的。

到目前为止，我已经尝试使用函数Dask.distributed.get_task_stream()，它在列表中提供有关工作人员的信息，但我想以流的方式获取，Task Stream 究竟显示了什么仪表板。

注意：存在一个名为dask.diagnostics 的包，您可以从那里导入ProgressBar、Profiler()、ResourceProfiler() 等，但是，据我目前的理解，它们仅适用于single machine scheduler 和不是distributed scheduler。我对吗？或者，我可以将它们用于分布式环境吗？

Answer 1

在大多数情况下，我们推荐您已经找到的get_task_stream 函数。

如果您想在每次转换时触发某些内容，您可以考虑使用调度程序插件。特别是，为仪表板提供数据的任务流插件就在这里：

https://github.com/dask/distributed/blob/master/distributed/diagnostics/task_stream.py