运行数据流模板时指定 --diskSizeGb

【问题标题】：Specifying --diskSizeGb when running a dataflow template运行数据流模板时指定 --diskSizeGb
【发布时间】：2020-12-21 02:24:46
【问题描述】：

我正在尝试使用 Google 数据流模板将数据从 Bigtable 导出到 Google Cloud Storage (GCS)。我正在关注 gcloud 命令详细信息here。但是，在运行时，我收到警告和相关错误，其中suggested fix 要添加工作人员 (--numWorkers)，增加附加的磁盘大小 (--diskSizeGb)。但是，我认为在传递这些参数时无法执行 Google 提供的模板。艾米，我错过了什么？

查看separate question，似乎有办法做到这一点。谁能解释一下？

【问题讨论】：

我相信现在使用 google 提供的模板（或任何其他现有模板）是不可能的。您可以在自己的代码中设置这些参数，然后再将其编译为模板。

标签： google-cloud-dataflow google-cloud-bigtable

【解决方案1】：

numWorkers 和 diskSizeGb 等参数是 Dataflow wide pipeline options。您应该可以像这样指定它们

gcloud dataflow jobs run JOB_NAME \
--gcs-location LOCATION --num-workers=$NUM_WORKERS --diskSizeGb=$DISK_SIZE

如果您还有其他问题，请告诉我

【讨论】：

感谢您的回复！然而，当我这样做时，我收到以下错误：错误：（gcloud.dataflow.jobs.run）无法识别的参数：--diskSizeGb=250。此处的文档不包含该参数：cloud.google.com/sdk/gcloud/reference/dataflow/jobs/run
这也继续给我同样的错误。你有没有想过@MichaelGreen？