气流：PythonOperator的python_callable中的外部python

Question

我想在气流中导入一些 python 文件作为依赖项，并在 PythonOperator 的 python_callable 中使用一个函数。我尝试将依赖 python 文件放在 dags 文件夹中，但似乎不起作用。我假设 DAG 在被执行之前被移动到其他文件夹。感谢您的帮助！

Answer 1

了解您的环境变量“AIRFLOW_HOME”。如果未声明，则默认指向您的主目录。在气流中，Python 脚本通常放置在“AIRFLOW_HOME”/airflow/dags 您可以将 Python 脚本及其依赖项放在那里，但我强烈建议您为依赖项创建和打包，然后沿着气流将其安装在 Python 环境中，并避免 dag 文件夹中不必要的文件混乱。