用于管理传入文件处理的工作流平台

Question

一般来说，我希望能够监控一个工作流程。工作流应该在新文件到达时或在某些预定时间开始，即我希望能够在工作流中插入新的“作业”，并通过执行多个不同的任务和步骤来处理文件。我希望能够监视通过任务的每个文件。 每个任务的队列和分配负载可能由 Celery 管理，但也尚未决定。

我查看了 Apache Airflow，据我目前了解，它更适合监控许多不同的工作流程，因此每个工作流程主要是从头到尾运行，而不是在开头添加新文件上一次运行结束之前的流程。 Cadence 工作流程似乎可以满足我的需求，但也似乎有点矫枉过正。

我并不期待这里有一个具体的最终解决方案，但我希望能提供更多这样的解决方案，我可以研究并适应上述情况。

Answer 1

路易吉-https://luigi.readthedocs.io/en/stable/

与 Airflow 相比，重量极轻且速度极快。