【问题标题】:Exporting Google Firebase to Bigquery将 Google Firebase 导出到 Bigquery
【发布时间】:2023-03-26 10:00:02
【问题描述】:

我正在尝试将我的 Google Firebase 数据库导出到 Google Bigquery,但除了手动导出所有内容外,还没有找到解决方案。我找到了多种导出 Firebase 分析的方法,但这不是我想要的。任何帮助或任何可以为我指明正确方向的事情都将不胜感激。谢谢大家!

  • 韦斯

【问题讨论】:

    标签: firebase firebase-realtime-database google-bigquery


    【解决方案1】:

    我相信这仅以自动化方式支持 Analytics。

    您可能可以编写一个脚本来从备份中加载[1],但您需要进行一些中间处理才能将它们转换为 BigQuery 所需的以换行符分隔的 JSON 格式。您还需要决定如何将树结构拆分为多个表。

    可能值得向他们的公共问题跟踪器添加功能请求(如果 Firebase 团队有)。

    [1]https://firebase.google.com/docs/database/ios/backups

    【讨论】:

      【解决方案2】:

      手动导出/导入

      如果您希望进行一次性导出/导入,您可以手动执行此操作。查看 Firebase 数据库控制台时,单击三点图标以获取更多选项。其中一个选项是“导出 JSON”,它将文件下载到您的计算机。如果您希望将文件下载到服务器,也可以使用REST API 执行相同的操作。

      下载数据库导出后,您可以尝试按照loading data into BigQuery from a file 的文档进行操作。根据您的数据库结构,您可能需要重新格式化/重组数据以与 BigQuery 的预期兼容。

      流式导出/导入

      如果您需要将数据库中的数据流式传输到 BigQuery,可以使用Firebase Cloud Functions。例如,您可以编写一个函数 triggered by a Database-event,它使用 BigQuery NodeJS client 将该数据流式传输到您的 BigQuery 表。

      请务必熟悉相关的costsquotas,以及有关streaming data into BigQuery 的文档。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2016-07-27
        • 2017-11-13
        • 1970-01-01
        • 2016-03-23
        相关资源
        最近更新 更多