设置气流环境变量和访问连接

Question

我们正在尝试通过在 Cloud Composer 中设置环境来创建 Airflow Connection：

export AIRFLOW_CONN_GCP_CONN_ID=google_cloud_platform://?extra__google_cloud_platform__project=<project_id>&extra__google_cloud_platform__scope=https://www.googleapis.com/auth/cloud-platform&extra__google_cloud_platform__key_path=<path_to_json_file>

在日志中，我们收到一条警告，抱怨未设置凭据。

INFO - 使用 google.auth.default() 获取连接，因为没有为钩子定义密钥文件。

当我们查看代码内部时，我们发现如果 key_path 和 keyfile_data 未设置，则会出现此错误。但是我们在命令中设置了key_path。

对于内部代码，我们查看了 GitHub 上的 gcp_api_base_hook.py。

Answer 1

我假设您正在使用云作曲家。
您可以将您的服务帐户凭据文件保存到气流环境中。
转到 Admin -- Connection select google_cloud_default 并输入您的服务帐户详细信息以及您需要访问的所需范围。