【问题标题】:hadoop file system list my own root directoryhadoop文件系统列出我自己的根目录
【发布时间】:2014-04-21 11:33:27
【问题描述】:

当我尝试在我的 mac 上安装单节点 hadoop yarn 2.2.0 时,我遇到了一个非常复杂的情况。我按照此链接上的教程进行操作:http://raseshmori.wordpress.com/2012/09/23/install-hadoop-2-0-1-yarn-nextgen/

当我启动hadoop和jps检查状态时,它显示:(这意味着正常,我认为)

5552 Jps
7162 ResourceManager
7512 Jps
7243 NodeManager
6962 DataNode
7060 SecondaryNameNode
6881 NameNode

但是输入后

hadoop fs -ls / 

文件列表是我自己的根目录中的文件,而不是 hadoop 文件系统根目录中的文件。当我设置将我自己的 fs 与 hdfs 混合的 hadoop 时,一定有一些错误。谁能给我一个提示?

【问题讨论】:

    标签: hadoop installation hdfs hadoop-yarn


    【解决方案1】:

    使用以下命令访问HDFS

    hadoop fs -ls hdfs://localhost:9000/
    

    或者

    如下填充 ${HADOOP_CONF_DIR}/core-site.xml。如果您这样做,即使没有指定 hdfs:// URI,您也可以访问 HDFS。

    <configuration>
    <property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:9000</value>
    </property>
    </configuration>
    

    在文件$HOME/yarn/hadoop-2.0.1-alpha/libexec/hadoop-config.sh开头添加以下行

    export HADOOP_CONF_DIR=$HOME/yarn/hadoop-2.0.1-alpha/etc/hadoop
    

    【讨论】:

    • 我用了你的第二种方法,试试hadoop fs -ls /。它仍然显示我的根目录列表
    • 你能用方法 1 访问 HDFS 吗?如果这有效,请使用修改后的方法 2 来访问 hdfs 而无需指定 URI
    • 是的,它适用于方法 1!我只是想知道为什么它不适用于第二种方法...
    • 之前即使我们修改 core-site.xml 文件,它也不在 CLASSPATH 中,我们在环境变量 HADOOP_CONF_DIR 中指定的任何值都将加载到 CLASSPATH 中
    猜你喜欢
    • 1970-01-01
    • 2021-12-08
    • 2015-01-31
    • 2017-04-03
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-07-22
    • 1970-01-01
    相关资源
    最近更新 更多