Luigi Python 中的资源是什么？

Question

在网络界面和https://github.com/spotify/luigi/blob/master/luigi/task.py 中，我可以看到一个任务可以有“资源”。 Task 类中还有一个名为 process_resources() 的占位符函数，它只返回空字典即资源。

这个神秘的资源是什么东西？

Answer 1

我没有对此进行测试，但它看起来像是一个任意值，调度程序可以使用它来根据配置中的值确定是否限制作业。来自docs：

此部分可以包含任意键。这些中的每一个都指定了 调度程序可以允许工作人员使用的全局资源量 采用。调度程序将阻止运行具有指定资源的作业 从超过本节中的计数。未指定的资源是 假设有限制 1. 配置的示例资源部分 有 2 个 hive 资源和 1 个 mysql 资源：

[resources]
hive: 2
mysql: 1

注意这里没有必要为 mysql 指定 1，但它 当您拥有一组固定的资源时，这样做是一种很好的做法。