【问题标题】:Rate exceeded in throttling is thrown on DescribeJobFlows在 DescribeJobFlows 上抛出超出限制的速率
【发布时间】:2018-11-12 18:09:20
【问题描述】:

几天前一切正常,但现在,不仅仅是一台,而是我们的三台服务器都抛出了这些异常:

{ "Error" => { "Message" => "Rate exceeded", "Code" => "Throttling", "Type" => "Sender" } }

从 Amazon 检索数据时会发生这种情况,同时在 Amazon::Coral::ElasticMapReduceClient 上调用 DescribeJobFlows,并显示为 NFO Exception Retriable invalid response。

【问题讨论】:

  • 看起来你一定是对服务器的攻击太猛了。尝试这些带有建议或其他信息的链接,然后请让我们知道什么对您有用。 sesblog.amazon.com/post/TxKR75VKOYDS60/…forums.aws.amazon.com/thread.jspa?messageID=366822#
  • 非常感谢。现在,我知道没有链接的原因。我的同事告诉我。无论如何谢谢。原因是任务太多。我们有5台服务器和aws必须在 5 小时内接收我们的数据。但是一个小时内将一个服务器任务上传到 AWS 是不够的。所以时间已经到了。我会阅读链接,然后告诉你哪一个可以解决我的问题。谢谢。

标签: amazon-web-services throttling


【解决方案1】:

每个 AWS API 都有动态限制保护。 在 API 调用之间重试/休眠的最好方法是有点可悲但最好的方法:(

在抛出异常之前有一个configuration for the boto3 client to change max_retries。还有general reference on how to use retries

祝你好运!

【讨论】:

    【解决方案2】:

    您应该在代码中添加一些重试逻辑。有关在 Python 中实现的一些方法,请参阅另一个 Stackoverflow 问题:

    Need advice to add exponenital back-off logic in AWS API in python

    【讨论】:

      猜你喜欢
      • 2017-02-28
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2013-05-12
      • 2012-08-10
      • 2018-08-27
      • 1970-01-01
      相关资源
      最近更新 更多