在气流 DAG 中使用 DockerOperator 和 CeleryExecutor

【问题标题】：Using DockerOperator with CeleryExecutor in airflow DAG在气流 DAG 中使用 DockerOperator 和 CeleryExecutor
【发布时间】：2021-03-05 03:17:52
【问题描述】：

此时我使用带气流的 LocalExecutor。我的 DAG 正在使用 Docker 图像和 DockerOperator 附带的气流。为此，泊坞窗图像必须存在于 PC 上。如果我想使用像 CeleryExecutor 或 KubernetesExecutor 这样的分布式执行器，docker 镜像必须存在于属于 Celery 或 Kubernetes 集群的所有机器上？

问候奥利

【问题讨论】：

标签： airflow

【解决方案1】：

没错。由于气流工作人员在本地运行任务，因此您需要在工作人员本地拥有 docker 映像或其他可用资源。您可以尝试使用this 链接来设置本地 docker 注册表，该注册表可以提供 docker 映像并节省您手动维护它们的工作。

【讨论】：