Cloudflare 提供的 Google Cloud Function 中的配额超出错误答案

【问题标题】：Quota exceeded error in Google Cloud Function provided by CloudflareCloudflare 提供的 Google Cloud Function 中的配额超出错误
【发布时间】：2021-03-18 00:05:26
【问题描述】：

我们使用 Cloudflare 提供的 Google Cloud Function 将数据从 Google Cloud Storage 导入到 Google BigQuery（参考：https://developers.cloudflare.com/logs/analytics-integrations/google-cloud/）。云功能遇到错误说： "配额超出：您的表超出了每个表的导入或查询附加配额"

我查询了 INFORMATION_SCHEMA.JOBS_BY_PROJECT 表，发现 errorresult.location 是 'load_job_per_table.long'。 jobid 是 '26bb1792-1ca4-42c6-b61f-54abca74a2ee'。

查看 BigQuery API 服务的配额页面，但未显示超出配额状态。不过有些是空白的。

谁能帮我解决超出的 Google Cloud Quota 或限制？如果是这样，如何增加配额？ cloudflare功能被其他google账号使用，运行良好，没有任何错误。

谢谢，静蕾

【问题讨论】：

参见“请求增加配额”cloud.google.com/compute/quotas
非常感谢您的回复。但是如何识别超出了哪个配额？配额页面不显示任何警告。其他一些帖子说这是加载数据限制 - 每张表每天加载作业 - 1,500（包括失败），但如何增加它？有什么想法吗？

标签： google-bigquery

【解决方案1】：

尝试在有日志条目的 Cloud Logging 中查找特定的配额错误。我在达到 BigQuery 数据传输配额时遇到了类似的问题。请查看我的示例 Cloud Logging 过滤器：

resource.type="cloud_function"
severity=ERROR
timestamp>="2021-01-14T00:00:00-08:00"
textPayload:"429 Quota"

根据更改时间戳并可能删除 textPayload 过滤器。您也可以在界面中点击严重错误并在 UI 中搜索。

这是另一个例子：

severity=ERROR
timestamp>="2021-01-16T00:00:00-08:00"
NOT protoPayload.status.message:"Already Exists: Dataset ga360-bigquery-azuredatalake"
NOT protoPayload.status.message:"Syntax error"
NOT protoPayload.status.message:"Not found"
NOT protoPayload.status.message:"Table name"
NOT textPayload:"project_transfer_config_path"
NOT protoPayload.methodName : "InsertDataset"
textPayload:"429 Quota"

【讨论】：

另外，您应该能够在正在通过的特定配额下增加配额页面上的配额。 Google 支持和 Google Billing 支持可能会有所帮助。

【解决方案2】：

确定配额将由您通过函数执行的不同操作来完成，它可以是任何..插入、更新、卷、外部 IP 等。然后尝试分析频率或指标值，并尝试使用 Google 定义的配额进行评估，它将为您提供一个指标，即超出了哪个配额。您可以参考以下video。

【讨论】：

【解决方案3】：

CloudFlare 表示他们将修复配额问题：https://github.com/cloudflare/cloudflare-gcp/issues/72

【讨论】：

GCP 支持确认他们不允许增加 1500 个负载/表/天的配额：“经过进一步调查，产品团队不会增加此配额。作为一种解决方法，您可以结合负载作业来减少它们的数量或使用流式插入。如果需要在表中获取实时最新数据，则应使用流式 API [1] 而不是加载作业。”