不同类型任务的气流不同并行度

Question

我们有某些任务需要大量资源，不能以高并行度运行，而许多其他较小的任务可以以 32 并行度运行。

我知道并行配置

作为执行器设置的并行量。这定义了应在此气流安装上同时运行的最大任务实例数 并行度 = 32

有没有一种方法可以为整个气流级别的不同任务标记任务和不同级别的并行度。

喜欢在默认并行度下运行较小的任务 [32]，但在低得多的并行度下运行繁重的任务 [1-4]

Answer 1

池（文档：https://airflow.apache.org/docs/apache-airflow/stable/concepts/pools.html）正是为此目的：限制特定任务集的并行度。

您可以在 Airflow UI 中创建具有所需“槽”数量的池，并将该池分配给您的任务：

my_task = BashOperator(
    ...,
    pool="heavy_task_pool",
    ...,
)