Hadoop 2.5.2 响应慢

Question

我已经根据当前运行OS X 10.9.5 的具有 16GB 内存的 MacBook pro 上的文档将Hadoop 2.5.2 设置为伪分布式模式。

似乎一切正常，但问题是它非常缓慢。

• start-dfs.sh 需要 3-5 分钟来启动名称节点
• hdfs dfs -ls / 运行大约需要一两分钟。

我没有摄取任何数据，也没有在文档之外做任何事情。 我试过export HADOOP_ROOT_LOGGER=DEBUG，但我没有得到任何额外的输出，或者在日志中看到任何异常。也许我没有找对地方。

我见过的唯一错误是：

"Unable to load realm info from SCDynamicStore"

关于为什么一切都可能如此缓慢的任何想法？另外，根据我的活动监视器，我几乎没有使用任何资源。

当我运行 dfs -ls 时，我刚刚在我的 namenode 日志中注意到了这一点

2014-11-25 11:47:24,064 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Scanned 0 directive(s) and 0 block(s) in 1 millisecond(s).
2014-11-25 11:47:54,063 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Rescanning after 30000 milliseconds
2014-11-25 11:47:54,064 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Scanned 0 directive(s) and 0 block(s) in 1 millisecond(s).
2014-11-25 11:48:24,064 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Rescanning after 30001 milliseconds
2014-11-25 11:48:24,064 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Scanned 0 directive(s) and 0 block(s) in 0 millisecond(s).
2014-11-25 11:48:54,065 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Rescanning after 30001 milliseconds

配置

核心站点：

<configuration>
  <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs 站点：

<configuration>
   <property>
      <name>dfs.replication</name>
      <value>1</value>
   </property>
</configuration>

NameNode

Answer 1

没有其他尝试，我决定尝试删除“无法从 SCDynamicStore 加载领域信息”警告。解决方案是设置 HADOOP_OPTS。

虽然执行以下操作并没有消除警告，但它出于某种原因修复了我的速度问题。

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK
-Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

如果有人能解释原因，我肯定会接受这个答案。