【问题标题】:Big Query - Concurrency for dashboard designBig Query - 仪表板设计的并发性
【发布时间】:2021-02-01 20:16:04
【问题描述】:

大查询是否适合处理数十万个连接,或者这是一个糟糕的设计?

情况,目前正在构建一个仪表板,该仪表板将显示直接从大查询中提取的聚合值。在我们的仪表板中,我们还有一组日期过滤器,可以显示最多上一年的数据(每个过滤器都是对大查询的唯一查询)。数十万用户很有可能同时访问仪表板。

从文档中了解到,大查询对可以同时运行的查询数量设置了配额。 https://cloud.google.com/bigquery/quotas

如果这确实是一个问题,我计划的解决方案是预先计算每个唯一日期结果并将其保存在快速表中,但我们在这里讨论了很多组合。这是正确的架构还是大查询有另一个技巧来解决这个问题?

【问题讨论】:

    标签: google-bigquery dashboard


    【解决方案1】:

    所以这里有几点需要注意。

    1. 可以提出 100 个并发查询。
    2. 如果您提高限制,您需要确保下方有支持插槽来处理请求。按需定价为您提供 2,000 个插槽,考虑到您所说的工作负载,您可能需要额外的插槽来处理并发,这意味着统一费率定价。
    3. 依靠结果缓存,或者如果您的数据定期更新物化视图,您或许可以缓解其中的一些问题。

    【讨论】:

      猜你喜欢
      • 2010-09-30
      • 2012-12-05
      • 1970-01-01
      • 1970-01-01
      • 2023-03-03
      • 2017-04-13
      • 1970-01-01
      • 2011-05-21
      • 2017-08-30
      相关资源
      最近更新 更多