GCP Dataflow - 如何从 Google BigQuery 读取数据并使用 Dataflow 加载到 Google Spanner

【问题标题】：GCP Dataflow - How to read the data from Google BigQuery and load into Google Spanner using DataflowGCP Dataflow - 如何从 Google BigQuery 读取数据并使用 Dataflow 加载到 Google Spanner
【发布时间】：2019-09-04 15:21:18
【问题描述】：

问题陈述是从Google BigQuery 中加载Google Spanner 数据，BigQuery 表很大，我们需要想出有效的解决方案

我尝试探索各种选项，但没有得到解决方案

【问题讨论】：

标签： java google-cloud-platform google-cloud-dataflow apache-beam

【解决方案1】：

Google 提供了许多模板来将数据从一个存储系统移动到另一个存储系统。你可以在https://cloud.google.com/dataflow/docs/guides/templates/provided-templates找到他们

这些都不是“从 BigQuery 到 Cloud Spanner”，但它们非常相似。这些模板是开源的，因此您可以将它们用作示例。您可以在https://github.com/GoogleCloudPlatform/DataflowTemplates找到模板的源代码

【讨论】：