如何处理大查询错误403：配额超出？

Question

我们有一个 Python 脚本，它订阅物联网设备通过 MQTT 发布的数据，并每分钟将这些数据附加到一个大查询表中。因此，我们每天向大查询表添加 1440 个附加作业，略低于 GCP 设置的每日 1500 个限制。如果我们有更多设备，这种方法肯定会失败。有没有人有实时监控传感器并将数据存储在云端的经验？你用什么工具？谢谢

Answer 1

Standard tables 中每天的最大表操作数为 1,500。此操作包括附加到或覆盖目标表或使用 DML INSERT、UPDATE、DELETE 或 MERGE 语句将数据写入表的所有加载作业、复制作业和查询作业的总和。因此，如果您达到每个表每天 1500 次表操作的限制，您的 BigQuery 作业将失败并出现“Quota exceeded”错误。以下是在这种情况下的建议：

1. 将作业批处理在一起以将更新合并为单个更新，这样您就可以克服 1500 个表操作的限制。有关批处理作业的更多信息，请参阅此documentation。

2. 如果您想要实时更新数据，请使用 Streaming API。有关 Streaming API 的更多信息，请参阅documentation。

根据您的要求，我建议您使用 Streaming API 将数据的实时更新流式传输到 BigQuery。