【发布时间】:2021-02-01 20:16:04
【问题描述】:
大查询是否适合处理数十万个连接,或者这是一个糟糕的设计?
情况,目前正在构建一个仪表板,该仪表板将显示直接从大查询中提取的聚合值。在我们的仪表板中,我们还有一组日期过滤器,可以显示最多上一年的数据(每个过滤器都是对大查询的唯一查询)。数十万用户很有可能同时访问仪表板。
从文档中了解到,大查询对可以同时运行的查询数量设置了配额。 https://cloud.google.com/bigquery/quotas
如果这确实是一个问题,我计划的解决方案是预先计算每个唯一日期结果并将其保存在快速表中,但我们在这里讨论了很多组合。这是正确的架构还是大查询有另一个技巧来解决这个问题?
【问题讨论】: