【发布时间】:2013-11-28 11:05:10
【问题描述】:
我正在使用 SOLR 4.6 进行索引,现在我有大量存储的 html 文件。 我尝试通过 http 或 curl 将这些文件添加到 SOLR,但这需要很长时间。
有人知道如何将文件直接提交给 SOLR 进行索引吗?我在运行 SOLR 的服务器上有这些文件。
【问题讨论】:
我正在使用 SOLR 4.6 进行索引,现在我有大量存储的 html 文件。 我尝试通过 http 或 curl 将这些文件添加到 SOLR,但这需要很长时间。
有人知道如何将文件直接提交给 SOLR 进行索引吗?我在运行 SOLR 的服务器上有这些文件。
【问题讨论】:
您可以使用DIH 来索引所有文件。如果要清理内容,还有一个 HTMLStripTransformer,
【讨论】:
虽然 Okke Klein 提供的答案很好,但它非常复杂。
我找到了解决问题的最简单解决方案,我通过 http 提交文件,但使用选项 stream.file=local_file_path
示例:-
curl http://localhost:8080/solr/update/extract?stream.file="+file.getPath()+"&literal.id="+id+"&commit=true
【讨论】: