【发布时间】:2020-06-23 14:28:48
【问题描述】:
正在尝试向我们的 Google Cloud Composer 实例添加新的 DAG - 我们目前有 32 多个 DAG - 并且在 https://cloud.google.com/composer/docs/how-to/using/managing-dags 中执行通常的操作似乎没有任何效果 - 我们看不到这些 DAG在网络服务器/用户界面中,我没有看到它们必须被加载。我确实看到它们被复制到日志中的适当存储桶中,但除此之外没有。
我什至尝试设置一个虚拟环境变量来启动 Composer 实例的完全重启,但无济于事。
最后,我整理了一个完全精简的 DAG,并尝试添加它。这是 DAG:
from airflow import models
from airflow.contrib.operators import kubernetes_pod_operator
from airflow.operators.python_operator import BranchPythonOperator
from airflow.operators.dummy_operator import DummyOperator
dag = models.Dag(
dag_id="test-dag",
schedule_interval=None,
start_date=datetime(2020, 3, 9),
max_active_runs=1,
catchup=False,
)
task_test = DummyOperator(dag=dag, task_id="test-task")
即使是这个简单的 DAG 也没有得到采纳,所以我想知道接下来我可以尝试什么。我查看了https://github.com/apache/airflow/blob/master/airflow/config_templates/default_airflow.cfg,以查看是否有任何我可以在 DagBag 加载时间限制等方面进行调整的地方,但没有任何进展。完全被这里难住了。
【问题讨论】:
标签: airflow google-cloud-composer