使用 elasticsearch 索引 7TB 的数据。 FScrawler 在一段时间后停止答案

【问题标题】：Indexing 7TB of data with elasticsearch. FScrawler stops after sometime使用 elasticsearch 索引 7TB 的数据。 FScrawler 在一段时间后停止
【发布时间】：2020-04-02 21:05:11
【问题描述】：

我正在使用 fscrawler 创建 7TB 以上的数据索引。索引开始正常，但当索引大小达到 2.6gb 时停止。我认为这是内存问题，如何配置内存？

我的机器内存是 40GB，我已经为 elasticsearch 分配了 12GB。

【问题讨论】：

请编辑您的帖子并将图片替换为您的 yaml 文件的内容。通过这种方式，人们将能够复制粘贴文本并将其用于进一步搜索等。
这可能有助于解决您的问题slideshare.net/AndrewClegg1/…

标签： elasticsearch fscrawler

【解决方案1】：

您可能还必须使用FS_JAVA_OPTS 为FSCrawler 分配足够的内存。喜欢：

FS_JAVA_OPTS="-Xmx4g -Xms4g" bin/fscrawler

【讨论】：