【发布时间】：2011-09-02 08:49:29
【问题描述】：
我想用 java 和 nutch 1.3 api 编写一个程序来抓取网站 我在网上搜索但没有示例代码 我怎样才能做到这一点？ 谢谢
【问题讨论】：
标签： web-crawler nutch
【发布时间】：2011-09-02 08:49:29
【问题描述】：
您不需要为此编写任何 Java 代码...只需安装 Nutch 即可。但是，您应该安装自包含的 Nutch 1.2。
使用 Nutch1.3，您需要自己安装 hadoop，并且您还需要为 webseach 安装和使用 Solr。
【讨论】：
-
我已经用 solrj api 编写了一个 java 程序来本地索引我的文件并对其进行控制和调试，但我不知道 nutch 是否可能？
-
nutch 基于 hadoop 索引 URL 而非文件系统