将数据从 firestore 导入 bigQuery答案

【问题标题】：importing data from firestore into bigQuery将数据从 firestore 导入 bigQuery
【发布时间】：2018-04-30 03:20:44
【问题描述】：

我已将我的帐户升级为 blaze，这是先决条件之一。我尝试关注 FAQ 将 BigQuery 链接到 Firebase。仍然无法从 firestore 或 firebase-realtimeDatabase 中看到任何数据到 bigQuery。

我在 bigQuery 中看到了创建数据集的选项。但是，在创建数据集后，它允许我从 [file]、[cloud storage]、[bigQuery]、[google Drive] 上传数据。但不是firestore数据库。

请帮忙。

【问题讨论】：

【解决方案1】：

Firestore 现在允许导入/导出数据。数据会导出到 Cloud Storage 存储桶，然后可以从那里导入 Big Query。以下是一些可能有用的链接：

【讨论】：

【解决方案2】：

以防万一有人需要。我最终自动化了脚本，因为当前的导出数据选项只允许流数据并保留 30 天。

导出数据

gcloud beta firestore export --collection-ids=users gs://mybucket/users

将备份加载到 bq 中

bq load --source_format=DATASTORE_BACKUP mydataset.users gs://gs://mybucket/users/all_namespaces/kind_users/all_namespaces_kind_users.export_metadata

【讨论】：

【解决方案3】：

您现在可以使用 Firebase 扩展程序将数据从 Cloud Firestore 导出到 BigQuery。见：https://firebase.google.com/products/extensions/firestore-bigquery-export

另请参阅 David 的 answer，了解如何导入/导出数据。

以下已过时的答案：

~~没有内置支持将数据从 Firebase 实时数据库或 Cloud Firestore 导入 BigQuery。~~

目前，如果您想导入数据，则必须编写代码。

【讨论】：

【解决方案4】：

我制作了一个 NPM 包，可让您使用基于 Firestore 数据的自动生成架构创建 BigQuery 数据集和表，然后复制和转换所选的 Firestore 集合。

【讨论】：

【解决方案5】：

您应该使用 Firebase 中内置的 BigQuery 导出扩展程序

现在，此扩展程序将向您的 BigQuery 表导入集合中新创建/更新/删除的文档，在添加新文档之前您当前的旧数据将不会放置在此表中。

要导入所有以前的数据，您需要先安装扩展程序，因为在不安装扩展程序的情况下先进行导出时的所有写入都将丢失。

安装扩展后，只需使用 gcloud 导出所有当前数据集

【讨论】：

【解决方案6】：

【讨论】：