【发布时间】：2021-05-25 14:30:58
【问题描述】：
我在 Elastic 中有一个包含大约 4000 万条记录的索引。 我需要将所有数据发送到我拥有的服务，在 docker 上运行， 然后将处理后的数据返回到新的索引中。
我该怎么做？
为此我尝试使用 python 脚本，但它未能处理索引中的大量记录。
谢谢
【问题讨论】：
标签： elasticsearch bigdata microservices
【发布时间】：2021-05-25 14:30:58
【问题描述】：
使用批处理。由于您只获取数据，因此您可以使用Scroll API。 它类似于游标在其他数据库中的工作方式。
【讨论】：
-
您好，谢谢您的回答。问题是我查询了大约 200M 条记录，在发送它们之前，我需要将它们存储在一个文件中。我使用扫描方法，但 10M 记录大约需要 15 分钟。你知道更快的方法吗？
-
我不确定扫描，但据我所知，滚动是处理大量文档的推荐方法。您甚至可以使用切片滚动将其分解成块。顺便说一句，15 分钟处理 1000 万条记录听起来还不错。