弹性搜索 403 请求因请求过多而受到限制 /_bulk

Question

我正在尝试将 100 万条记录同步到 ES，并且我正在使用批量 API 批量 2k 进行同步。 但是在插入大约 25k-32k 之后，弹性搜索出现以下异常。

Unable to parse response body: org.elasticsearch.ElasticsearchStatusException
ElasticsearchStatusException[Unable to parse response body]; nested: ResponseException[method [POST], host [**********], URI [/_bulk?timeout=1m], status line [HTTP/1.1 403 Request throttled due to too many requests]
403 Request throttled due to too many requests /_bulk]; nested: ResponseException[method [POST], host [************], URI [/_bulk?timeout=1m], status line [HTTP/1.1 403 Request throttled due to too many requests]
403 Request throttled due to too many requests /_bulk];

我正在使用 aws 弹性搜索。 我认为，我需要实施等待策略来处理它，例如继续检查 es 状态并在所有 ES 状态正常时调用批量插入。 但不确定如何实施？ ES 是否为其提供任何预构建？ 或者有什么更好的方法来处理这个问题？

提前致谢。

更新： 我正在使用 AWS 弹性搜索 6.8 版

Answer 1

感谢@dravit 在评论中包含my previous SO answer，在关注 cmets 之后，似乎 OP 想要提高批量索引的性能并想要指数退避，我认为 Elasticsearch 无法提供开箱即用的功能。

我看到你在每一秒后暂停 1 秒，这在所有情况下都不起作用，如果你有大量的批次和文档要索引，肯定会花费很多时间。我这边还有一些提高性能的建议。

1. 在 Elasticsearch 中关注 my tips to improve the reindex speed，查看此处列出的所有内容都适用，并通过哪些因素提高速度。
2. 找到最适合您的环境的批处理策略，我不确定，但来自@spinscale 的this 文章可能会有所帮助，或者您可以在https://discuss.elastic.co/ 上提问，我记得他在一次网络研讨会上分享了一个非常好的批处理策略，但找不到它的链接。
3. 注意除批量线程池和队列大小之外的各种 ES 指标，看看您的 ES 是否仍有容量，您是否可以增加队列大小并提高向 ES 发送请求的速率。

Answer 2

查看错误处理指南here

如果您收到由于请求过多或 429 Too Many Requests 错误而导致的持续 403 请求受到限制，请考虑垂直扩展。如果负载会导致内存使用量超过 Java 堆的最大大小，Amazon Elasticsearch Service 会限制请求。

垂直扩展您的应用程序或增加请求之间的延迟。