使用 BigQuery 更好地了解流式插入

Question

我了解 BigQuery 流式处理 API 发生了重大变化。正如我在 5 月 14 日星期四收到的来自 Google 云团队的消息：

“在 2013 年，我们推出了 Google BigQuery 流式 API，可以轻松快速地分析大量数据。该产品在 2015 年 1 月 1 日之前一直免费，当时我们开始根据数量对流式数据进入 Google BigQuery 收费插入到 BigQuery 表中的行数。从那时起，我们了解了有关客户如何使用 Google BigQuery 的更多信息，并且从 2015 年 8 月 12 日起，我们将停止按插入的行数对 Google BigQuery 流式传输收费，而是按数量收费插入的字节数。新定价为每 200 MB 0.01 美元，最低计费大小为每行 1 KB。我们已将默认插入速率限制从每表每秒 10,000 行增加到每表每秒 100,000 行表。此外，行大小限制已从 20 KB 增加到 1 MB。这些更改将使客户在设计插入策略时更加灵活，并更准确地反映流插入功能提供的价值。有关定价的其他信息可以可以在我们的定价页面上找到。”

基于此，我有几个重要的问题：

1. 有没有一种方法可以轻松查看 Cloud Console 中当前正在流式传输到客户帐户的数据量。另外，我是否应该期望计费表中包含单独的行？在这里问，因为我在别处寻找并没有找到答案。我在当前的帐单表中也看不到任何帮助（见下文）。对于目前每周通过 BigQuery 推送数 TB 数据的用户来说，这个问题很重要。

1. 我想澄清一下“每行最小计费大小为 1 KB”的行。如果您将每行少于 1KB 的数据传递到表中，这是否意味着您无需为该行的任何数据费用付费？

2. 最后，有没有一种快速的方法来计算更改的潜在财务影响，或者有任何关于以编程方式优化流插入调用以最小化成本的最佳方法的指导吗？

提前感谢您的帮助！

Answer 1

我对规则的解释，我必须和团队确认：

• 如果您的每行小于 1KB，这将使价格从每 100,000 行 0.01 美元降低到每 200,000 行 0.01 美元 - 比之前的价格有效降低 50%。
• 如果您的每行恰好为 2KB，则您不会看到任何价格变化。
• 只有当您的行大于 2KB 时，您才会看到价格上涨。

更多好消息：系统不再将每行限制为 20KB，现在每行可以流式传输高达 1 MB。