【问题标题】:Ideas on making a Java Application with Nutch/Elastic Search and Kibana使用 Nutch/Elastic Search 和 Kibana 制作 Java 应用程序的想法
【发布时间】:2018-03-14 14:52:52
【问题描述】:

我有一个使用 Nutch、ES 和 Kibana 工具制作搜索引擎的应用程序的想法。 Nutch 用于爬行,ES 用于索引,Kibana 用于可视化。

目前,我的所有程序都很好,我可以在终端中成功使用它们。我的问题是,是否有可能制作一个将 Nutch、Es 和 Kibana 合二为一的 Java 应用程序?

我对应用程序的想法是,它将接受一个 URL 供 nutch 抓取,抓取后它将接受要索引的术语。最后,它会用数据的 Kibana 制作一个可视化页面。

关于如何做到这一点的任何指示?

【问题讨论】:

  • 使用 Nutch 逐个爬取 URL 是大材小用,效率非常低。您最好将这些 URL 放入队列中并获取例如StormCrawler 从队列中提取并动态处理这些 URL,然后将它们索引到 ES。

标签: elasticsearch kibana nutch


【解决方案1】:

为什么要将它们作为一个应用程序? ES 和 Kibana 是服务,旨在持续运行。如果你有 StormCrawler(见上面的评论),那将是另一个持续的服务。您需要做的就是构建一个 UI 以将 URL 发送到队列。

【讨论】:

  • StormCrawler 是否有能力对文档进行某些修改?用于修改文档是否为词干的能力?
  • 是的,它可以在发送到 ES 之前提取或修改文档。不过,词干提取通常发生在 ES 中。
  • 你好 Julien,你能看看这个吗? stackoverflow.com/questions/49281244/…
猜你喜欢
  • 2022-08-24
  • 1970-01-01
  • 2019-01-24
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2018-06-10
  • 1970-01-01
相关资源
最近更新 更多