Nutch 和 Elasticsearch 集成答案

【问题标题】：Nutch and Elasticsearch IntegrationNutch 和 Elasticsearch 集成
【发布时间】：2016-09-12 16:14:15
【问题描述】：

我想知道哪些版本的 Nutch 和 Elasticsearch 可以很好地协同工作以创建垂直搜索应用程序（在 AWS 上）？

如果我计划从 500 个网站开始抓取并从那里增加，那么最好一起使用哪些版本。

为了开发和测试目的，我将 Nutch 1.10 和 ES 1.5 在我的本地机器上协同工作，但我知道随着我的数据变得越来越大（爬网的网站越多），这将不可行。

我想使用 AWS EMR 并将爬取的数据存储在 S3 上。

【问题讨论】：

【解决方案1】：

好的，经过大量搜索、阅读和观看一些视频……很明显，Nutch 2.x (2.3) 是一个不错的选择。它似乎更适合向前发展，并将与 ES 一起使用。

-HTH 其他面临类似情况的人

【讨论】：