【发布时间】：2018-05-24 14:55:10
【问题描述】：
为了将 bigquery 查询与实际代码分开，我想将 sql 存储在一个单独的文件中，然后从 python 代码中读取它。我试图将文件添加到与 DAG 相同的存储桶中以及子文件夹中，但是当气流运行带有 sql 文件的 python 脚本时，我似乎无法读取文件。
我想要的是这个：
gs://my-bucket/dags -> store dags
gs://my-bucket/dags/sql -> store sql files
sql 文件可能是我需要首先读取的文件，以注入 jinja 模板不支持的内容。
以上可以吗？
【问题讨论】：
-
你能澄清一下你正在尝试做的事情，但 Jinja 模板不支持吗？我是否正确理解您已经创建了一个到 GCS 的 Connection 对象，但在尝试访问所列路径中的 SQL 文件时遇到了某种错误？
-
首先，全新的气流和作曲家。我要做的是动态设置要读取的 xcom 变量。
-
所以我需要创建一个gcs连接？我只是假设 composer/airflow 将 gcs 存储桶与气流可以访问的磁盘同步。