【发布时间】:2019-05-14 19:26:00
【问题描述】:
我一直在使用控制台界面创建一个作曲家环境,然后使用 cli 设置三个变量(使用 QuickStart 文档中的示例):
gcloud composer environments run etl --location europe-west1 variables -- --set gcp_project projectname
gcloud composer environments run etl --location europe-west1 variables -- --set gcs_bucket gs://bucketname
gcloud composer environments run etl --location europe-west1 variables -- --set gce_zone europe-west1-b
由于某种原因,这并没有设置存储桶,但是所有三个变量都出现在Admin > Variables下
我希望将所有这些整合到一个步骤中,并设置作曲家桶 - 所以构建了以下 CLI 命令:
gcloud composer environments create etl --location=europe-west1 --env-variables=gcp_project=projectname,gcs_bucket=gs://bucketname,gce_zone=europe-west1-b --service-account=serviceemail --zone=europe-west1-b
但这并没有设置存储桶,甚至没有创建变量。
如何从 CLI 启动一个设置了存储桶名称和变量的作曲家环境?
【问题讨论】:
-
您能说明一下您想对 GCS 存储桶做什么吗?注意气流变量和环境变量是两个不同的概念:cloud.google.com/composer/docs/…。
-
如果我可以指定存储桶,我可以用我的 DAG 脚本将它指向一个
-
很遗憾 Composer 不支持用户提供的 GCS 存储桶,每个 Composer 环境都有自己的新 GCS 存储桶。
-
哦,好吧!您可以将其发布为答案吗?
-
刚刚发布了答案。
标签: airflow gcloud google-cloud-composer gcloud-cli