【问题标题】:Can we increase update quota in Bigquery?我们可以增加 Bigquery 中的更新配额吗?
【发布时间】:2024-05-23 16:45:02
【问题描述】:

我需要增加 bigquery 的更新配额。由于我每天将更新大约 100 万行更新,我该怎么做。

我在 Bigquery 中有一个表,每天需要大约 1M 更新。

Bigquery 表中的当前记录数 = 62000000

以下是我遇到的错误:

  {
 "error": {
  "errors": [
   {
    "domain": "global",
    "reason": "quotaExceeded",
    "message": "Quota exceeded:  (truncated...)
  }

【问题讨论】:

  • 你真的需要UPDATE那么多次吗?连续追加数据会更容易、更便宜,然后您可以为您关心的属性选择最新的行。您也可以使用“最新”逻辑创建逻辑视图。
  • 但我们需要更新数据,因为我们正在进行用户分析
  • 您的费率很低。对 SO 很重要,您必须使用已发布答案左侧、投票下方的勾号来标记已接受的答案。这将提高您的费率。通过访问此链接了解其工作原理:meta.*.com/questions/5234/…

标签: google-bigquery


【解决方案1】:

BigQuery 的主要设计是适用于带有一些有限 DML 语句的仅附加技术。

这不是一个真实的数据库,如果用户编辑他们的个人资料,您可以在其中不断更新您的用户记录。相反,您需要构建您的代码,以便每次编辑都是 Bigquery 中的新行,并且您始终查询最新行。

DML 语句限制很低,因为它针对不同的场景而不是您的场景,也就是行的实时更新。您可以将数据提取到单独的表中,并每天发布 1 条更新语句。

【讨论】:

    【解决方案2】:

    BigQuery 移除了 DML 配额限制,所以这里之后你就不会收到上述错误了。

    https://cloud.google.com/blog/products/data-analytics/dml-without-limits-now-in-bigquery

    【讨论】:

      最近更新 更多