【发布时间】:2019-08-15 06:59:05
【问题描述】:
Google BigQuery 流式插入的并发请求限制是多少?
我发现 BigQuery API 有一个限制,但它不适用于流式插入。
并发 API 请求,每个用户:300
如果您对每个用户发出超过 300 个并发请求,则限制 可能发生。此限制不适用于流式插入。
【问题讨论】:
标签: google-bigquery
Google BigQuery 流式插入的并发请求限制是多少?
我发现 BigQuery API 有一个限制,但它不适用于流式插入。
并发 API 请求,每个用户:300
如果您对每个用户发出超过 300 个并发请求,则限制 可能发生。此限制不适用于流式插入。
【问题讨论】:
标签: google-bigquery
以下限制适用于将数据流式传输到 BigQuery。
- 最大行大小:1 MB。超过此值将导致无效错误。
- HTTP 请求大小限制:10 MB。超过此值将导致无效错误。
- 每秒最大行数:每个项目每秒 100,000 行。超过此数量将导致 quotaExceeded 错误。每个表每秒的最大行数也是 100,000。 您可以在一个表上使用所有此配额,也可以将此配额分配给项目中的多个表。
- 每个请求的最大行数:每个请求 10,000 行。我们建议最多 500 行。
批处理可以在一定程度上提高性能和吞吐量,但代价是每个请求的延迟。每个请求的行数太少以及每个请求的开销都会导致摄取效率低下。每个请求的行数过多,吞吐量可能会下降。- 每秒最大字节数:每个表每秒 100 MB。超过此数量将导致 quotaExceeded 错误。
我认为,总的来说,上面设置了某种并发限制
【讨论】: