以编程方式将 Firestore 备份导入 BigQuery

【问题标题】：Import Firestore backup to BigQuery programmatically以编程方式将 Firestore 备份导入 BigQuery
【发布时间】：2019-09-12 20:47:31
【问题描述】：

我在 GCS 中有一个 Firestore 备份文件，其名称为：all_namespaces_kind_Rates.export_metadata。我已经设置了一个 cron 作业来每 24 小时更新一次这个文件。我现在需要的是找到一种以编程方式将此 export_metadata 文件发送到 BigQuery 的方法。 BigQuery 能够从 GCS 安排数据传输，但仅适用于以下格式的文件：CSV、JSON、AVRO、PARQUET 和 ORC。如何以编程方式将我的 Firestore 备份文件传输到 BigQuery？

【问题讨论】：

标签： google-cloud-firestore google-bigquery cloud

【解决方案1】：

如果你的cron作业可以访问bq命令行工具，你试过了吗：

bq load --source_format=DATASTORE_BACKUP [DATASET].[TABLE] [PATH_TO_SOURCE]

【讨论】：

感谢您的回答。 cron 作业如何执行 CLI bq 加载？
您的 cron 作业在哪里运行？ BQ 命令是 Google Cloud SDK 的一部分。我想如果您的 cron 作业可以指示 FireStore 进行备份，那么访问该命令应该没有问题。参考：cloud.google.com/bigquery/docs/bq-command-line-tool