【问题标题】:What is the concurrent requests limit for Google BigQuery streaming insert?Google BigQuery 流式插入的并发请求限制是多少?
【发布时间】:2019-08-15 06:59:05
【问题描述】:

Google BigQuery 流式插入的并发请求限制是多少?

我发现 BigQuery API 有一个限制,但它不适用于流式插入。

并发 API 请求,每个用户:300

如果您对每个用户发出超过 300 个并发请求,则限制 可能发生。此限制不适用于流式插入。

【问题讨论】:

    标签: google-bigquery


    【解决方案1】:

    下面是Streaming Inserts Limits

    以下限制适用于将数据流式传输到 BigQuery。

    • 最大行大小:1 MB。超过此值将导致无效错误。
    • HTTP 请求大小限制:10 MB。超过此值将导致无效错误。
    • 每秒最大行数:每个项目每秒 100,000 行。超过此数量将导致 quotaExceeded 错误。每个表每秒的最大行数也是 100,000。 您可以在一个表上使用所有此配额,也可以将此配额分配给项目中的多个表。
    • 每个请求的最大行数:每个请求 10,000 行。我们建议最多 500 行。
      批处理可以在一定程度上提高性能和吞吐量,但代价是每个请求的延迟。每个请求的行数太少以及每个请求的开销都会导致摄取效率低下。每个请求的行数过多,吞吐量可能会下降。
    • 每秒最大字节数:每个表每秒 100 MB。超过此数量将导致 quotaExceeded 错误。

    我认为,总的来说,上面设置了某种并发限制

    【讨论】:

    • 如果 Google 对流式插入有单独的并发限制,则不然。我看到了其他 API 请求的单独并发限制。如果情况如您所说,他们应该在文档中明确提及。我仍在等待 Google 的确认。
    • 检查链接以了解实际限制,因为情况已经改变。每秒最大行数:例如 1,000,000。
    猜你喜欢
    • 2020-06-09
    • 2011-01-22
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-05-13
    相关资源
    最近更新 更多