LocalExecutor 的气流配置建议答案

【问题标题】：Airflow configuration recommendation for LocalExecutorLocalExecutor 的气流配置建议
【发布时间】：2019-11-18 13:38:14
【问题描述】：

我正在使用气流 docker-compose from here，我遇到了一些性能问题以及气流崩溃的奇怪行为。

首先我有 5 个 DAG 同时运行，每个 DAG 有 8 个步骤，max_active_runs=1：

 step1x
 step2y
 step3 >> step4 >> step8
 step3 >> step5 >> step8
 step3 >> step6 >> step8
 step3 >> step7 >> step8

我想知道我应该使用什么配置来最大化 Airflow 并行性和稳定性。即：我想知道对于具有 X CPU 和 Y GB RAM 的机器，推荐的最大 [OPTIONS BELOW] 是多少。我正在使用LocalExecutor，但不知道应该如何配置并行度：

AIRFLOW__SCHEDULER__SCHEDULER_MAX_THREADS=?
AIRFLOW__CORE__PARALLELISM=?
AIRFLOW__WEBSERVER__WORKERS=?

是否有一份文档说明根据您的机器规格对每一项的建议？

【问题讨论】：

【解决方案1】：

我不确定你是否有并行性问题......但是。

你能澄清一下吗？你有 5 个不同的 dags 有相似的设置？或者这是一次启动同一任务的五个实例？由于max_active_runs 设置，我希望是前者。

关于你的任务声明：

 step1x
 step2y
 step3 >> step4 >> step8
 step3 >> step5 >> step8
 step3 >> step6 >> step8
 step3 >> step7 >> step8

您是否希望step1x、step2y 和step3 同时执行？然后是 4-7，最后是 step8?你在 DAG 中做什么，你需要这种过程而不是 1-8 顺序？

【讨论】：

是的，所有 5 个 Dag 都具有相同的设置，但使用不同的参数。 step1、2、3是独立的，可以并行运行。 Dags 正在使用不同的设置处理来自不同来源的数据。每个来源每分钟都在提供数据，因此我为每个来源创建了一个 Dag。
This is the best explanation I've found 了解如何调整不同的并发设置。可能有用吗？
确实很有帮助，谢谢。但是这个问题是不同的，我要求就本地执行器的机器容量（在 CPU 和 RAM 中）提供配置建议