【问题标题】:Get dask.distributed profiling time information?获取 dask.distributed 分析时间信息?
【发布时间】:2018-05-27 14:30:08
【问题描述】:

我正在使用 dask.distributed 跨工作人员安排许多工作。该文档显示了如何从 Bokeh 界面获取分析信息 here.

它还表明可以通过调用client.profile() 获取原始配置文件信息。 但是,当我调用此方法时,分析信息似乎不包括进程的平均运行时间,而它存在于 Boken 接口中。有没有办法以原始形式检索它?

另外,profile.py 在这里解释了配置文件信息的结构:

We represent this tree as a nested dictionary with the following form:

{
 'identifier': 'root',
 'description': 'A long description of the line of code being run.',
 'count': 10  # the number of times we have seen this line
 'children': {  # callers of this line. Recursive dicts
     'ident-b': {'description': ...
               'identifier': 'ident-a',
               'count': ...
               'children': {...}},
     'ident-b': {'description': ...
               'identifier': 'ident-b',
               'count': ...
               'children': {...}}}
}

这里没有提到时间信息。谢谢!

【问题讨论】:

    标签: distributed dask


    【解决方案1】:

    您应该将 'count' 的值与 config.yaml 文件中的 profile-interval 值进行比较。 profile-interval 值以毫秒为单位,它决定了我们对工作线程进行采样的频率。因此,如果 profile-interval 为 10 并且您看到特定行的计数为 50 次,则该行可能在大约 500 毫秒 * 线程中处于活动状态。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2018-07-17
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2012-03-20
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多