【问题标题】:importing data from firestore into bigQuery将数据从 firestore 导入 bigQuery
【发布时间】:2018-04-30 03:20:44
【问题描述】:

我已将我的帐户升级为 blaze,这是先决条件之一。我尝试关注 FAQ 将 BigQuery 链接到 Firebase。仍然无法从 firestore 或 firebase-realtimeDatabase 中看到任何数据到 bigQuery。

我在 bigQuery 中看到了创建数据集的选项。但是,在创建数据集后,它允许我从 [file]、[cloud storage]、[bigQuery]、[google Drive] 上传数据。但不是firestore数据库。

请帮忙。

【问题讨论】:

标签: firebase google-bigquery google-cloud-firestore


【解决方案1】:

Firestore 现在允许导入/导出数据。数据会导出到 Cloud Storage 存储桶,然后可以从那里导入 Big Query。以下是一些可能有用的链接:

** 编辑: 从 Firestore 导入 BigQuery 的文档现在可用https://cloud.google.com/bigquery/docs/loading-data-cloud-firestore

【讨论】:

    【解决方案2】:

    以防万一有人需要。我最终自动化了脚本,因为当前的导出数据选项只允许流数据并保留 30 天。

    导出数据

    gcloud beta firestore export --collection-ids=users gs://mybucket/users
    

    将备份加载到 bq 中

    bq load --source_format=DATASTORE_BACKUP mydataset.users gs://gs://mybucket/users/all_namespaces/kind_users/all_namespaces_kind_users.export_metadata
    

    【讨论】:

      【解决方案3】:

      您现在可以使用 Firebase 扩展程序将数据从 Cloud Firestore 导出到 BigQuery。见:https://firebase.google.com/products/extensions/firestore-bigquery-export

      另请参阅 David 的 answer,了解如何导入/导出数据。

      以下已过时的答案:

      没有内置支持将数据从 Firebase 实时数据库或 Cloud Firestore 导入 BigQuery。

      目前,如果您想导入数据,则必须编写代码。

      【讨论】:

      • 不再正确 - 请参阅下面的答案以导出到 Google Storage 和(可选)Big Query。
      【解决方案4】:

      我制作了一个 NPM 包,可让您使用基于 Firestore 数据的自动生成架构创建 BigQuery 数据集和表,然后复制和转换所选的 Firestore 集合。

      https://www.npmjs.com/package/firestore-to-bigquery-export

      【讨论】:

        【解决方案5】:

        您应该使用 Firebase 中内置的 BigQuery 导出扩展程序

        查看详情:https://firebase.google.com/products/extensions/firestore-bigquery-export

        现在,此扩展程序将向您的 BigQuery 表导入集合中新创建/更新/删除的文档,在添加新文档之前您当前的旧数据将不会放置在此表中。

        要导入所有以前的数据,您需要先安装扩展程序,因为在不安装扩展程序的情况下先进行导出时的所有写入都将丢失。

        安装扩展后,只需使用 gcloud 导出所有当前数据集

        https://github.com/firebase/extensions/blob/master/firestore-bigquery-export/guides/IMPORT_EXISTING_DOCUMENTS.md

        【讨论】:

          【解决方案6】:

          【讨论】:

            猜你喜欢
            • 2020-10-03
            • 1970-01-01
            • 1970-01-01
            • 1970-01-01
            • 2019-05-18
            • 1970-01-01
            • 1970-01-01
            • 1970-01-01
            • 1970-01-01
            相关资源
            最近更新 更多