使用 Airflow 在另一台计算机上安排任务

【问题标题】：Schedule tasks on another computer with Airflow使用 Airflow 在另一台计算机上安排任务
【发布时间】：2017-03-07 12:00:23
【问题描述】：

我在 Ubuntu 远程服务器上成功设置了带有 Postgres 数据库的 Airflow，看起来很棒。

我能够连接到我的数据仓库（单独的服务器）并轻松地将查询作为任务发出。这很简单，因为安装了 Airflow 的服务器实际上是在发出查询。

由于我现在只是在测试 Airflow，因此它安装在一个相当小且功率较低的服务器上。有没有办法让我安排任务在我强大的 Windows 桌面上运行？或者利用我的本地机器下载数据/处理文件的最佳方法是什么，并且仍然让 Airflow 知道任务已成功完成？

【问题讨论】：

标签： airflow

【解决方案1】：

Airflow 旨在支持工作负载的分配。如果您在 Windows 机器上运行 airflow workers 来执行大部分数据处理，那么您可以在较小的机器上运行 airflow scheduler 和 airflow webserver 时使用它们的计算能力，因为这只是不断触发新任务，检查心跳并更新任务状态。要使此设置生效，您必须使用CeleryExecutor。当我进行第一次设置时，我发现 this blog 很有用

【讨论】：

感谢您的链接。我会以此为基础。使用 Celery，我是选择 RabbitMQ 还是 Redis？我以前没有使用过消息服务。如果这很重要，我将全面使用 Python 3.6。
你可以使用 Redis。与 rabbitmq 相比，它易于设置，但对于强大的生产系统，您应该仔细评估两者的应用程序。