【问题标题】:Setting composer (airflow) bucket using gcloud CLI使用 gcloud CLI 设置 composer (airflow) 存储桶
【发布时间】:2019-05-14 19:26:00
【问题描述】:

我一直在使用控制台界面创建一个作曲家环境,然后使用 cli 设置三个变量(使用 QuickStart 文档中的示例):

gcloud composer environments run etl --location europe-west1 variables -- --set gcp_project projectname
gcloud composer environments run etl --location europe-west1 variables -- --set gcs_bucket gs://bucketname
gcloud composer environments run etl --location europe-west1 variables -- --set gce_zone europe-west1-b

由于某种原因,这并没有设置存储桶,但是所有三个变量都出现在Admin > Variables

我希望将所有这些整合到一个步骤中,并设置作曲家桶 - 所以构建了以下 CLI 命令:

gcloud composer environments create etl --location=europe-west1 --env-variables=gcp_project=projectname,gcs_bucket=gs://bucketname,gce_zone=europe-west1-b --service-account=serviceemail --zone=europe-west1-b

但这并没有设置存储桶,甚至没有创建变量。

如何从 CLI 启动一个设置了存储桶名称和变量的作曲家环境?

【问题讨论】:

  • 您能说明一下您想对 GCS 存储桶做什么吗?注意气流变量和环境变量是两个不同的概念:cloud.google.com/composer/docs/…
  • 如果我可以指定存储桶,我可以用我的 DAG 脚本将它指向一个
  • 很遗憾 Composer 不支持用户提供的 GCS 存储桶,每个 Composer 环境都有自己的新 GCS 存储桶。
  • 哦,好吧!您可以将其发布为答案吗?
  • 刚刚发布了答案。

标签: airflow gcloud google-cloud-composer gcloud-cli


【解决方案1】:

Composer 不支持用户提供的 GCS 存储桶,每个新创建的环境都有自己的 GCS 存储桶。

【讨论】:

    猜你喜欢
    • 2023-03-19
    • 2020-07-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-04-25
    • 2022-10-04
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多