nutch 1.15 索引多核与 solr 7.5

Question

我使用的是 nutch 1.15 和 solr 7.5，需要索引多个内核。我为每个核心创建了单独的 crawldb 和 linkdb，然后使用多个写入器更新了 index-writers.xml（每个 writer_id 匹配相应核心的名称）。此外，param name="url" 指向每个 solr 核心，但由于没有地方可以传递指示 writer id 或 solr 核心的参数，bin/nutch index 命令针对所有核心索引特定的 crawldb。当然，我只需要将 crawldb1 索引到 core1。

有解决这个问题的建议吗？

提前致谢。

Answer 1

您可以使用JEXL exchange 将同一爬网中的文档路由到不同的索引编写器。这将允许您将文档路由到不同的 Solr 核心（每个核心一个索引写入器，具有不同的写入器 ID。

这将允许您运行 1 个 Nutch 实例来抓取您感兴趣的所有域。我假设您还可以根据已抓取文档中存在的某些属性（URL、标题等）来路由您的文档。