Nutch 1.3 和 Solr 4.4.0 集成作业失败答案

【问题标题】：Nutch 1.3 and Solr 4.4.0 integration Job failedNutch 1.3 和 Solr 4.4.0 集成作业失败
【发布时间】：2013-08-25 05:00:31
【问题描述】：

我正在尝试使用 nutch 抓取网络，并按照 nutch 官方网站中的文档步骤进行操作（成功运行抓取，将 scheme-solr4.xml 复制到 solr 目录中）。但是当我运行

bin/nutch solrindex http://localhost:8983/solr/ crawl/crawldb -linkdb crawl/linkdb crawl/segments/*

我收到以下错误：

Indexer: starting at 2013-08-25 09:17:35
Indexer: deleting gone documents: false
Indexer: URL filtering: false
Indexer: URL normalizing: false
Active IndexWriters :
SOLRIndexWriter
    solr.server.url : URL of the SOLR instance (mandatory)
    solr.commit.size : buffer size when sending to SOLR (default 1000)
    solr.mapping.file : name of the mapping file for fields (default solrindex-mapping.xml)
    solr.auth : use authentication (default false)
    solr.auth.username : use authentication (default false)
    solr.auth : username for authentication
    solr.auth.password : password for authentication


Indexer: java.io.IOException: Job failed!
    at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1357)
    at org.apache.nutch.indexer.IndexingJob.index(IndexingJob.java:123)
    at org.apache.nutch.indexer.IndexingJob.run(IndexingJob.java:185)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
    at org.apache.nutch.indexer.IndexingJob.main(IndexingJob.java:195)

我不得不提到 solr 正在运行，但我无法浏览 http://localhost:8983/solr/admin（它会将我重定向到 http://localhost:8983/solr/#）。

另一方面，当我停止 solr 时，我得到了同样的错误！有人知道我的设置有什么问题吗？

附：我爬的网址是：http://localhost/NORC

【问题讨论】：

你能解决这个问题吗？

标签： solr nutch web-crawler

【解决方案1】：

检查您的配置：Solr 和 Nutch

Nutch 和 Solr 的架构文件应该相同，否则您可能会遇到问题，因此请确保它们匹配

【讨论】：

【解决方案2】：

当我在 nutch 中遇到同样的问题时，solr 的日志会出现错误消息“未知字段主机”。修改solr中的schema.xml后，nutch的错误消失了。

【讨论】：

【解决方案3】：

您的命令中缺少核心的名称。

例如：

./bin/crawl -i -D solr.server.url=http://localhost:8983/solr/#/your_corname urls/ crawl 1

【讨论】：