Google BigQuery 底层架构

Question

所以我大约 10 分钟前才开始使用 Google BigQuery，我想知道是否有人知道他们用来存储数据的底层架构？例如，这只是他们自己的下一代 BigTable 基础架构吗？

另外，是否清楚他们对索引、索引重建等使用了什么样的策略？我只是想分析在这一点上这是否足够成熟，您可以 100% 确定您的端到端数据正在发生什么，或者是否存在一些“一切正常”的黑匣子区域“？

Answer 1

没有索引...每个查询都是表扫描。查询架构描述为here。 您的数据以名为 ColumnIO on Colossus（GFS 的继任者）的专有列格式存储。 Colossus 会在数据中心内复制数据，并且您的数据也会复制到其他地理区域，以确保即使 Google 数据中心离线也能保持可用。

回答您的具体问题

• 虽然数据可能暂时存储在 Bigtable 中，但所有数据都长期存储在 Colossus 中（现在！）。
• 添加到 bigquery 的新数据是静态加密的（即，每当它被写入永久存储时）。它在通过网络发送时也会被加密。
• 如前所述，没有索引，因此没有重建索引的策略。根据您向表中添加数据的方式，您的表可能会被合并，这意味着以更有效的方式重写基础文件。
• Colossus 是各种服务中大量 Google 数据的基础，ColumnIO 是整个 Google 的标准。我认为这两种技术都很成熟。
• 但是，您也应该将其视为一个黑匣子。随着谷歌存储系统的成熟或架构的变化，这里的所有细节都可能发生变化。但是，它应该始终“正常工作”（当然，在 SLA 警告内）

如果您对 BigQuery 如何在幕后工作或如何有效使用它感兴趣，这里是我们的 book 的无耻插件，该主题将于 6 月发布。