terraform : 到 bigquery 的数据流 pubsubtopics答案

【问题标题】：terraform : data flow pubsubtopics to bigqueryterraform : 到 bigquery 的数据流 pubsubtopics
【发布时间】：2022-01-12 21:07:36
【问题描述】：

我想在 terraform 中为 bigquery 作业创建 pubsub 主题。数据流有这个模板。我没有找到 terraform 示例。您能提供任何示例 terraform 代码吗？

【问题讨论】：

【解决方案1】：

【讨论】：

在示例中 template_gcs_path = "gs://my-bucket/templates/template_file"。这是文件夹还是文件？我收到以下错误：错误：googleapi：错误 404：（e1efc97b8bedc6b7）：无法打开模板文件：gs://gcp-ent-property-ds-dev-multisource/templates/template_file., notFound I
以“gs://”开头的路径是 Cloud Storage (cloud.google.com/storage) 存储桶。这里的 template_gcs_path 用于数据流模板 (cloud.google.com/dataflow/docs/concepts/dataflow-templates)。我认为经典模板应该是“google_dataflow_job”。另一个“google_dataflow_flex_template_job”用于弹性模板。它们是构建 Beam 管道和提交 Dataflow 作业作为模板的两种方式。