尝试使用 nutch 爬行时出错 - java.net.UnknownHostException on own local hostname

Question

尝试在 Centos 6.6 上使用 Nutch 1.9 爬行。

在遵循本指南后尝试初始化我的第一次爬网时：

http://wiki.apache.org/nutch/NutchTutorial

但是，我在启动时遇到以下异常：

Injector：将注入的 url 转换为爬取数据库条目。注射器： java.net.UnknownHostException：Sparky.LITK：Sparky.LITK：名称或 服务未知 java.net.InetAddress.getLocalHost(InetAddress.java:1473) 在 org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:960) 在 org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:936) 在 java.security.AccessController.doPrivileged(Native Method) 在 javax.security.auth.Subject.doAs(Subject.java:415) 在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190) 在 org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:936) 在 org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:910) 在 org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1353) 在 org.apache.nutch.crawl.Injector.inject(Injector.java:324) 在 org.apache.nutch.crawl.Injector.run(Injector.java:380) 在 org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) 在 org.apache.nutch.crawl.Injector.main(Injector.java:370) 原因： java.net.UnknownHostException：Sparky.LITK：名称或服务未知 在 java.net.Inet6AddressImpl.lookupAllHostAddr(Native Method) 在 java.net.InetAddress$1.lookupAllHostAddr(InetAddress.java:901) 在 java.net.InetAddress.getAddressesFromNameService(InetAddress.java:1293) 在 java.net.InetAddress.getLocalHost(InetAddress.java:1469) ... 12 更多

它似乎试图爬取机器自己的主机名 (Sparky.LITK)，这不是我想要的，我按照教程设置了一个 seed.txt 列表，但它卡在这里。

Answer 1

解决方法很简单，只需将您机器的主机名添加到您的 /etc/hosts 文件中，并指向您的环回地址 (127.0.0.1)

我将我的主机条目修改如下：

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4 Sparky.LITK
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6 Sparky.LITK

它成功了！