【问题标题】:BigQuery Data Transfer Service: frequency limit exceededBigQuery 数据传输服务:超出频率限制
【发布时间】:2021-03-15 15:13:18
【问题描述】:

我想使用 every 12 hours Repeats Custom Schedules 创建从 AWS S3 到 BigQuery 的数据传输,但收到以下错误:

超出频率限制。所需的 min_schedule_interval 为 [24h],[2021-03-15T14:45:00-07:00] 和 [2021-03-16T02:45:00-07:00] 之间的实际延迟为 [12h]。

将自定义计划设置为每 24 小时或更长时间可以正常工作,但任何更少都会产生此错误。

根据计划选项的文档,"the minimum interval is 15 minutes"

有没有人遇到过这种情况或知道如何解决?

【问题讨论】:

  • 你能找到解决这个@Kellis的方法吗?
  • 我使用的解决方法是在 12 小时内进行两次单独的传输,将数据转储到同一个时间分区的 BigQuery 表中。

标签: google-bigquery


【解决方案1】:

我遇到了同样的错误并检查了文档。

“最小间隔为 15 分钟”。云存储似乎就是这种情况。 在 AWS S3 集成的情况下,最小间隔为 24 小时。

https://cloud.google.com/bigquery-transfer/docs/s3-transfer#limitations

定期转账之间的最短间隔时间为 24 小时。定期传输的默认间隔为 24 小时。

【讨论】:

猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2016-09-16
  • 2019-05-03
相关资源
最近更新 更多