如何在 hadoop 中创建一个 nutch 工作答案

【问题标题】：how to create a nutch job in hadoop如何在 hadoop 中创建一个 nutch 工作
【发布时间】：2014-04-16 08:00:42
【问题描述】：

hadoop jar apache-nutch-1.6.job org.apache.nutch.crawl.Crawl firstSite/urls -dir urls -depth 1 -topN 5

Exception in thread "main" java.io.IOException: Error opening job jar: apache-nutch-1.6.job
        at org.apache.hadoop.util.RunJar.main(RunJar.java:90)
Caused by: java.io.FileNotFoundException: apache-nutch-1.6.job (No such file or directory)
        at java.util.zip.ZipFile.open(Native Method)
        at java.util.zip.ZipFile.<init>(ZipFile.java:215)
        at java.util.zip.ZipFile.<init>(ZipFile.java:145)
        at java.util.jar.JarFile.<init>(JarFile.java:153)
        at java.util.jar.JarFile.<init>(JarFile.java:90)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:88)

【问题讨论】：

谁能帮帮我

标签： hadoop nutch

【解决方案1】：

直接的答案是您的 apache-nutch-1.6.job 丢失或不在当前目录中。

Apache Nutch .job 文件（例如 apache-nutch-1.9.job）是在您编译 nutch 时在 runtime/deploy/ 中创建的（通过 'ant'）请注意，您需要 apache-nutch 的源代码分发，而不是二进制版本，创建这个文件。

.job 文件实际上是一个 JAR 文件。它比 apache-nutch-1.9.jar 大得多，因为它包含所有依赖项（以及来自 conf/ 的文件），因此它包含运行 Hadoop 作业所需的一切。

【讨论】：