如何为模板数据流作业设置作业区域，而不仅仅是管道区域？答案

【问题标题】：How to set Job Region for Template Dataflow Job not only Pipeline Region?如何为模板数据流作业设置作业区域，而不仅仅是管道区域？
【发布时间】：2019-11-22 07:59:28
【问题描述】：

我想从自定义数据流模板启动 GCP 数据流，并将区域设置为欧洲。结果，我在管道选项中获得的区域等于 europe-west1，并且我的 VM 也在欧洲运行，但作业选项的区域设置为 us-central1（在作业摘要部分 - 为该作业存储和处理元数据的区域)。

当我上传我的模板时，我输入了选项--region=europe-west1。当我从模板开始我的数据流时，我还将region 设置为europe-west1。我也尝试设置区域并将区域设置为欧洲，但我仍然得到相同的结果。有关设置作业区域的文档 - 区域端点仅提及这一参数 (region)。

我错过了什么吗？如何将 Job 区域也设置为欧洲？

更新：它使用--region=europe-west1 在命令行中工作，但我需要从 Airflow 启动我的数据流。

【问题讨论】：

标签： google-cloud-platform google-cloud-dataflow

【解决方案1】：

自定义模板 UI 似乎缺少选择区域的选项。我跟进了 Dataflow 团队来解决这个问题。感谢您指出这一点。

相反，您可以使用命令行工具来启动模板作业。请尝试一下

gcloud beta dataflow jobs run myJob --gcs-location=<gcs_template_location> --region=europe-west1

Usage: gcloud beta dataflow jobs run JOB_NAME --gcs-location=GCS_LOCATION 
[optional flags]
optional flags may be --help | --max-workers | --network | --num-workers |
--parameters | --region | --service-account-email |
--staging-location | --subnetwork |
--worker-machine-type | --zone

【讨论】：

【解决方案2】：

旧版本的 Airflow 指向错误的端点，即没有区域参数的端点。

我可以看到 GCP UI 也解决了这个问题，现在可以从具有适当区域（区域端点）的 UI 启动数据流模板。

【讨论】：