从 BigQuery 将数据写入 Firestore 的快速方法

Question

我需要每天从 BigQuery 将大约 1000 万条数据加载到 Firestore。哪种方法最快？

具有并行单个写入的云功能是一个选项（根据以下链接），但在这种情况下，并行化 bigquery 表将是一个挑战。

What is the fastest way to write a lot of documents to Firestore?

Dataflow是否在这种场景下工作，通过Dataflow读写数据？

Answer 1

Dataflow 在这种情况下有效。它让您可以并行化从 BigQuery 读取数据并将其写入 Firestore 的方式。

将 Firestore 接收器添加到 Beam 的工作正在进行中。它应该可用于 Beam 2.31.0 中的 Java SDK：请参阅 https://github.com/apache/beam/pull/14261

与此同时，您也许可以自己动手：在 Python 中会是这样：

(p 
 | ReadFromBigQuery(...)
 | GroupIntoBatches(50)  # Batches of 50-500 elements will help with throughput
 | ParDo(WriteToFirestoreDoFn())

你写自己的WriteToFirestoreDoFn 来做这样的事情：

class WriteToFirestoreDoFn(DoFn):
  def __init__(self, firestore_info):
    self.client = None
    self.firestore_info = firestore_info
  
  def process(self, batch):
    if not self.client:
      self.client = firestore.Client(self.firestore_info)
    self.client.write_data(batch)

这是一个小小的伪代码，但它应该可以帮助您开始使用您想要的东西。