在 Dataflow Bigquery 中配置每个请求的最大行数

Question

我正在使用这个模板： https://cloud.google.com/dataflow/docs/templates/provided-templates#cloudpubsubtobigquery

每个请求的最大行数下的读取配额限制：https://cloud.google.com/bigquery/quotas#streaming_inserts

他们建议每个请求最多保留 500 行。

我可以在 BigQuery 接收器中的哪里配置 Maximum rows per request？ 我搜索了整个文档，但没有找到任何相关信息。

Answer 1

BigQuery 中插入的“每个请求的最大行数”的默认值为 10,000 行，如 here 所述。建议的行数是每个请求 500，但您可以通过插入更低或更高的行数来进行试验。没有将行数限制或修改为 500 的配置，唯一的限制是每个请求 10,000 行。可以通过项目中的配额页面请求增加配额，并且可以以 50,000 行为增量增加配额。