Dataflow 作业是否达到任何 Bigquery 配额和限制？

Question

我有大约 1500 个工作要使用 Dataflow 来实现。这些工作将每天安排。我们可能会在工作中使用 Bigquery Client 库使用大量 DML 语句。列出我对 Bigquery 配额和限制的担忧。

参考：https://cloud.google.com/bigquery/quotas

请确认我们是否需要在以下任何场景中考虑 Bigquery 的每日使用限制。

1. 如果我们使用BigqueryIO.write()实现数据插入
2. 如果我们在 Dataflow 作业中使用 Bigquery 客户端库使用 DML 语句（更新/删除）

请提出建议。

Answer 1

您绝对确实需要考虑 BigQuery 配额和限制 - 即使从 Dataflow 挂钩。

Dataflow 只是代表您调用 BigQuery API。因此，所有配额和限制仍然适用，就像您自己直接调用一样。