如何以并行方式运行 apache nutch 不同的作业

Question

我正在使用 nutch 2.3。所有作业一个接一个地运行，即第一个生成器、获取、解析、索引等。我想同时运行一些作业。我知道有些作业不能并行运行，但其他可以，例如解析作业、dbupdate、indexjob 应该与 fetch 一起运行。

有可能吗？我的基本目标是一直运行 fetcher 工作。我想我们可以用不同的时间戳来做到这一点。 谁能指导我正确的方法？

Answer 1

如果你查看nutch web app server，你会发现它可以并行执行多个爬取作业。你应该查看Nutch 2.3 for webapp[NutchUiServer]的源代码。希望这会有所帮助。