【发布时间】:2018-08-09 23:49:10
【问题描述】:
我当前的项目需要自动化和按计划执行多项任务(复制文件、在新文件到达目录时发送电子邮件、执行分析作业等)。我的计划是为每个任务编写多个单独的 shell 脚本,但需要一个工作流编排/工作流管理工具。
我知道一些工作流程编排工具,例如 Airflow、Luigi、Azkaban,并且过去也使用过它们,但这些似乎是为 *nix 系统设计的,除非我弄错了,否则它们不支持窗户。
有哪些好的工具和解决方案可以实现这一目标?
【问题讨论】:
标签: job-scheduling airflow orchestration luigi data-pipeline