在 AWS 上部署 Airflow 的最佳解决方案是什么？ [关闭]

Question

我一直在与我的团队一起考虑哪种解决方案在成本和性能方面最适合在 AWS 上部署 Apache Airflow。我们做了一些研究并找到了一些解决方案，其中包括使用 Kubernetes (EKS)、EC2 上的机器和使用 ECS (Fargate)。但是，在 Google 上并没有关于它的详细内容。此外，我们根据我们的计算做了一些估计，但是，我们对此不太确定。我们正在寻找关于每种解决方案的权衡的讨论。

所以，我的问题是：是否有人正在经历这种情况或有人经历过这种情况？并且，如果存在，最好的解决方案是什么？

Answer 1

2020 年底，AWS announced Amazon Managed Workflows for Apache Airflow (MWAA)。它是一项完全托管的服务，可让您轻松在 AWS 上运行开源版本的 Apache Airflow（包括 v2）。

我建议阅读the documentation 以了解更多信息并确定它是否符合您的要求。

根据我的个人经验：我之前使用 EC2 和 ECS 工作池管理过一个 Airflow 堆栈。迁移到 MWAA 无疑是一个更好的解决方案，并提供了更好的用户体验。