【发布时间】:2018-03-14 14:52:52
【问题描述】:
我有一个使用 Nutch、ES 和 Kibana 工具制作搜索引擎的应用程序的想法。 Nutch 用于爬行,ES 用于索引,Kibana 用于可视化。
目前,我的所有程序都很好,我可以在终端中成功使用它们。我的问题是,是否有可能制作一个将 Nutch、Es 和 Kibana 合二为一的 Java 应用程序?
我对应用程序的想法是,它将接受一个 URL 供 nutch 抓取,抓取后它将接受要索引的术语。最后,它会用数据的 Kibana 制作一个可视化页面。
关于如何做到这一点的任何指示?
【问题讨论】:
-
使用 Nutch 逐个爬取 URL 是大材小用,效率非常低。您最好将这些 URL 放入队列中并获取例如StormCrawler 从队列中提取并动态处理这些 URL,然后将它们索引到 ES。
标签: elasticsearch kibana nutch