【问题标题】：Airflow Kubernetes DAG creates pod but stop running on queuedAirflow Kubernetes DAG 创建 pod 但在排队时停止运行
【发布时间】：2021-10-15 10:57:52
【问题描述】：
我的 AWS Kubernetes 集群中有一个 Airflow 1.10.15（又名 Bridge 版本）。它使用 KubernetesExecutor。
我有一个 Hello World KubernetesExecutor DAG，它应该打印 Hello World。触发 DAG 时，它会创建一个 pod，但它从不打印 Hello World。
以下是 pod 运行完成后的所有日志：
描述 pod 将为我提供没有错误或失败的日志：
【问题讨论】：
标签：
kubernetes
kubernetes-pod
airflow
【解决方案1】：
您应该检查任务日志，而不是 Kubernetes 日志。 Kubernetes 日志保存有关“尝试运行”任务的信息（看起来一切正常）。
现在，当您在正在运行的任务中记录任何内容时，它不会进入 k8S 日志 - 它会进入任务日志。默认情况下，当您配置 Airflow 时，任务的日志是单独存储的 - 基本上每个任务都有自己的日志。这是为了让您可以在单击此特定任务执行的“日志”时提取日志并在 Airflow UI 中查看它们。
只需在 UI 或“${AIRFLOW_HOME}/logs”文件夹中检查它即可。
【讨论】：
-
我的项目看到了与上述类似的输出，但我在 Airflow UI 中看到了 pod 日志，没有任务日志。在那一行之后，我看到“Stream closed EOF for / (base)”。 pod 进入 Completed 状态，但 DAG 重试该任务。我还试图弄清楚“正在运行 的卷挂载
-
想通了。看到这篇文章：szeevs.medium.com/…。您需要为任务本身添加自定义日志处理程序