【问题标题】:Where is completion state of task instance stored in LuigiLuigi中存储的任务实例的完成状态在哪里
【发布时间】:2017-03-05 22:10:12
【问题描述】:

我从 Luigi 开始,我想知道 Luigi 怎么知道它不应该重新运行任务,因为它已经使用相同的参数成功运行。我阅读了文档,但没有找到答案。

假设:

  • Luigi 是否将状态(任务实例及其结果)存储在内存中(它不使用 DB)?那么,当我重新启动调度程序时,它会忘记所有内容并重新运行所有任务?

  • 或者,Luigi 是否总是为任何计划任务运行task.complete 以查看是否应该运行该任务?这意味着complete 处理程序应该非常快?

  • 或者,它是否以不同的方式工作?

感谢您的帮助!

【问题讨论】:

    标签: python luigi


    【解决方案1】:

    啊哈,在task.output找到这个:

    任务的输出决定了任务是否需要运行——如果输出都存在,则认为任务完成。子类应重写此方法以返回单个 Target 或 Target 实例列表。

    所以,这意味着completeoutput.exists 应该非常非常快。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2012-04-07
      • 1970-01-01
      • 1970-01-01
      • 2022-08-15
      • 1970-01-01
      • 2021-09-07
      • 2021-09-27
      • 1970-01-01
      相关资源
      最近更新 更多