【问题标题】:BigQuery vs Cloud SQL for dashboards backend仪表板后端的 BigQuery 与 Cloud SQL
【发布时间】:2020-12-12 01:29:29
【问题描述】:

我对 BQ 与 Cloud SQL 用例有点困惑。我在 BQ 中有几 Gbs 的行数据,需要在该数据上构建 Web 仪表板(SQL 与多个表的 JOIN)。

直接从 BQ 查询数据有很大的缺点(例如延迟或并发),我应该将数据移动到 Cloud SQL(pSQL) 并进行查询吗?

数据不是实时的。我预计最多有几百个并发请求。

我预计这方面的成本不会很高,因此查询速度和可靠性是主要目标。

谢谢!

【问题讨论】:

    标签: google-bigquery google-cloud-sql


    【解决方案1】:

    BigQuery 非常适合快速存储和查询大型数据集。

    另一方面,Google Cloud SQL 主要基于关系数据库管理系统 (RDBMS) 概念。它提供对 MySQL 和 PostgreSQL 的支持。

    不过,Big Query 最适合分析,但也可以处理交易数据。 BigQuery 相当快,肯定比在 CloudSQL 中查询要快,因为 BigQuery 是一个数据仓库,能够查询大得离谱的数据集以立即返回结果。当您必须处理非常大的数据集时,BigQuery 将是更便宜的数据库。 Cloud SQL 无论是 MySQL 还是 PostgreSQL 只能处理 up to 30,720 GB depending on the machine type for MySQL 或取决于是否 the instance has dedicated or shared vCPUs for PostgreSQL 而 BigQuery 没有这种存储限制。另请参考other quotas and limitation of BigQuery

    话虽如此,如果您没有正确构建查询,BigQuery 的费用可能会迅速增加,因为它会过于频繁地遍历太多数据。

    Cloud SQL 和 BigQuery 定价不同,详情请参阅pricing page of Cloud SQLBigQuery

    我看到 this link 将 BigQuery 的一些功能与 CloudSQL 进行了比较。我认为文章中分享的细节可能会有所帮助。

    通常,Cloud SQL is a relational database 更多用于交易目的,而另一方面 BigQuery 是分析数据仓库,用于分析、数据可视化、商业智能和/或机器学习等。所以,如果您的目的是存储用于交易目的的数据,那么 Cloud SQL 将是一个选择,但是,如果您存储数据用于分析目的,那么 BigQuery 是要走的路。

    【讨论】:

    • 谢谢!之后会留在 BQ。
    【解决方案2】:

    数据不是实时的。我预计最多几百个并发请求

    值得注意的是BQ quota limits,在本例中为concurrent queries 的数量和API requests 的数量。 如果有几百个并发请求,您可能会达到极限。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2021-06-29
      • 2015-06-19
      • 2018-11-14
      • 1970-01-01
      • 2019-10-28
      • 2021-02-02
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多