数据仓库中 BigQuery 表的归档解决方案

Question

给定一个使用 BigQuery 构建数据仓库的用例，假设是否需要为所有 BigQuery 表进行每月备份。最好的选择是什么？

• 将所有表格数据导出到云存储（csv？）
• 将所有表复制到不同的数据集（可能在不同的项目中）

考虑到成本和维护，最佳选择是什么？如果有其他选择，也请分享。

Answer 1

将数据从 BigQuery 移动到 GCS 时，您无需为导出和加载操作付费，如 Free operation 文档中所述；但是，您 incur on charges for storing data in GCS 将取决于所选存储的类型。该服务提供Multi-Regional、Regional、Nearline和Coldline选项，您可以根据频率进行选择您需要访问存储的数据。

基于此，如果您想进行备份并且不经常访问数据，您可以使用 Coldline/ 将数据存储在 GCS 中Nearline 存储或在 BigQuery 中使用 Long-term storage，当表格连续 90 天未编辑时会自动应用，这将是一些更便宜的选择。另一方面，如果您打算积极使用您的数据，最好将 BigQuery 与 Active Storage 一起使用，这与将其存储在具有区域存储的 GCS 中的成本相似；不过，这将取决于您的具体用例以及您希望与数据交互的方式。

关于提取文件格式，BigQuery 支持多种可用于加载数据的格式。我建议您查看此documentation，它可以帮助您根据您的数据结构确定最适合您当前场景的格式。