【问题标题】:Hadoop: Incorrect configurationHadoop:配置不正确
【发布时间】:2016-05-10 18:38:22
【问题描述】:

您好 stackoverflow 社区, 所以我一直想安装hadoop,但我遇到了一个问题。 我看过其他方法,但我仍然收到。我对hadoop完全陌生,所以我真的不知道该去哪里。如果相关,我正在使用 El Capitan 的 macbook pro。一旦我制作了 sbin/start-dfs.sh 我就会收到这个:

sbin/start-dfs.sh
16/05/10 11:09:37 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.
Starting namenodes on []
Password:
localhost: /usr/local/Cellar/hadoop/2.7.2/libexec/sbin/hadoop-daemon.sh: line 69: [: MacBook: integer expression expected
localhost: starting namenode, logging to /usr/local/Cellar/hadoop/2.7.2/libexec/logs/hadoop-name-namenode-name’s
localhost: Error: Could not find or load main class MacBook

hadoop-daemon.sh 是:

相关的XML如下:

核心站点.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

如果有什么需要我会免费提供。感谢您的所有帮助,我真的很感激,因为我真的想开始使用 Hadoop。

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_65.jdk/Contents/Home
export HADOOP_PREFIX=/usr/local/Cellar/hadoop

嘿,如果有人考虑,这是一个更新:我现在明白了

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [myIP@]

新说明:我正在重做该过程并重新遵循本指南。不管成功与否,我都会在这里发布我的更新:)!

zhongyaonan.com/hadoop-tutorial/…

【问题讨论】:

  • 如果您只想尝试 Hadoop,请从 Cloudera 或 Hortonworks 下载预构建的发行版。 (分别称为 Quickstart VM 或 Sandbox)
  • 虚拟盒子有什么办法吗?
  • 我只是想把它作为一个 Eclipse 插件运行
  • Eclipse 插件?? Hadoop是一个框架。您正在尝试通过编辑这些 XML 文件来配置 Hadoop 二进制文件以与集群通信。您至少需要安装 HDFS+YARN+Zookeeper 才能“安装 Hadoop”。 virtualbox 为您简单地捆绑了所有这些
  • 我之前尝试过做这个插件,但我放弃了,因为 github 存储库的 README.md 已经过时了。我很抱歉没有澄清这一点。另外,对于虚拟机,有没有办法解决这个问题,谢谢你忍受我的无知。最后,我只问,因为这位教授似乎在没有虚拟机的 Mac 操作系统上安装了旧版本。 snap.stanford.edu/class/cs246-2011/hw_files/hadoop_install.pdf。不过,我一直在松散地关注这个:zhongyaonan.com/hadoop-tutorial/….

标签: macos hadoop osx-elcapitan


【解决方案1】:

看起来您的 conf 目录设置不正确,请尝试以下步骤

export HADOOP_CONF_DIR = $HADOOP_HOME/etc/hadoop
hdfs namenode -format
hdfs getconf -namenodes
./start-dfs.sh

【讨论】:

  • 所以我像你说的那样更改了 dir hadoop 并收到了这个。
  • 错误:找不到配置目录:/etc/hadoop 错误:找不到配置目录:/etc/hadoop 启动辅助名称节点 [2016-05-10 12:07:27,079 WARN [main] util. NativeCodeLoader (NativeCodeLoader.java:(62)) - 无法为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类 0.0.0.0] 错误:找不到配置目录:/etc/hadoop
  • 你设置了 HADOOP_HOME 吗?,试着把它设置到你的安装目录
  • 是:导出 HADOOP_HOME=/usr/local/Cellar/hadoop/2.7.2
  • 从异常中,它正在查看 /etc/hadoop 作为 HADOOP_CONF_DIR,尝试设置 HADOOP_CONF_DIR=/usr/local/Cellar/hadoop/2.7.2/etc/hadoop
猜你喜欢
  • 1970-01-01
  • 2013-03-31
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多