如何使用 BigQueryHook 从另一个项目中读取数据

Question

我们在 GCP 项目 A 中有气流作曲家实例，我们的 BQ 数据集存在于项目 B 中。当我们尝试从 BQ 读取数据时，出现错误。我们将 hook 写成 hook = BigQueryHook(bigquery_conn_id='bigquery_default', delegate_to=None, use_legacy_sql=False)

我们如何在这个 BigQueryHook 函数中传递项目名称 B

Answer 1

第一个 bigquery_conn_id 已弃用。你应该使用gcp_conn_id。

项目 ID 是 GCP 连接的一个属性，您可以在 docs 中看到。如果您在连接级别上设置它，Airflow 会使用它。但是，如果需要，您可以在挂钩中覆盖它。

BigQueryHook(gcp_conn_id='bigquery_default', project_id='other_project')

您可以检查正在执行覆盖 here 的源代码。