【问题标题】:Cron job does not trigger Airflow DAG externallyCron 作业不会从外部触发 Airflow DAG
【发布时间】:2021-07-31 05:55:59
【问题描述】:

我对 Airflow 很陌生。但是,我遇到了新手在处理调度间隔时遇到的同样的时间和间隔问题。因此,我想尝试通过 cli 从外部触发 DAG。这可以通过简单地转到控制台并输入示例来完成: airflow trigger_dag tutorial (使用气流泊坞窗图像:1.10.9)

接下来我想看看相同的命令是否适用于常规 cron 作业,因为我想像 cron 作业时间一样触发它。因此,我创建了一个类似这样的 cron 作业: * * * * * airflow trigger_dag tutorial

但是,这现在不会触发 DAG。 在其他几个实验中,我可以通过 shell 脚本中的相同命令手动触发 DAG,但无法通过 cron 作业使用 sh 命令来完成。 (我已经验证了 cron 工作正常,就像我尝试输出一个普通文件一样。)

谁能告诉我如何通过常规 cron 作业触发 DAG? 或者这里出了什么问题?

【问题讨论】:

    标签: cron airflow


    【解决方案1】:

    您的用户配置文件中很可能有一些环境变量 - 可能还有 .bash_profile 或 .bashrc 在 cron 中不可用。 Cron 不会“获取”任何用户配置文件 - 如果要设置它们,则需要在运行脚本之前手动获取它们。

    不错的文章还向您展示了如何调试它:https://www.ibm.com/support/pages/cron-environment-and-cron-job-failures

    【讨论】:

      【解决方案2】:

      尝试使用 Airflow 的完整路径更新 cron 命令。要获取安装路径,您可以执行:

      which airflow

      现在更新 cron 命令。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2021-12-08
        • 1970-01-01
        • 1970-01-01
        • 2018-01-16
        • 1970-01-01
        相关资源
        最近更新 更多