【问题标题】:Hadoop fs -ls throws errorHadoop fs -ls 抛出错误
【发布时间】:2017-03-25 18:26:39
【问题描述】:

我面临的问题是,当我发出这个命令时 “hadoop fs -ls”,它会抛出这个消息,“ls: `.': No such file or directory ”。

供参考我的“jps”命令的输出结果是

18276 SecondaryNameNode
19684 Jps
17942 NameNode
18566 NodeManager
18441 ResourceManager

【问题讨论】:

标签: hadoop mapreduce hdfs


【解决方案1】:

首先,您应该运行一个存储数据的数据节点,否则您将无法处理 hadoop fs(文件系统)。

尝试停止所有服务

$start-all-sh
$jps

确保数据节点正在运行并且没有任何障碍

那就试试吧

$hadoop fs -ls /

【讨论】:

  • 是的。缺少目录...我尝试了上述步骤,但没有解决错误...
  • @GauravADubey 你确保数据节点正在运行并且你格式化了namenode:hadoop namenode -format
  • @MosabShaheen 是的,我做到了。它顺利地完成了一切。一旦我使用 hadoop fs -mkdir -p /user/mysystemname 创建了目录,您提到的步骤就起作用了
  • @GauravADubey 太好了。当我设置 hadoop 时,/user/ 下已经有一个文件夹保存用户名。但不是必须使用该文件夹,您可以在根目录上进行测试,这就是我写的原因:$hadoop fs -ls /
【解决方案2】:

当您不向此 hadoop fs -ls 命令传递任何参数时,它尝试列出的默认 hdfs 目录是 /user/{your_user_name}

你的问题可能是这个 hdfs 目录不存在。

尝试运行hadoop fs -ls /user/ 以查看为哪些用户创建了哪些目录。

您也可以只创建用户的 hdfs 默认目录。运行以下命令将修复您的错误:

hadoop fs -mkdir -p /user/$(whoami)

【讨论】:

  • 这需要以hdfshadoop 用户身份运行,而不是当前登录用户,具体取决于安装过程
  • 嗨.. 是的,问题是 hadoop 没有目录,因此使用 -mkdir 语句创建了它。之后事情开始起作用了......
  • 虽然我认为 stop-all.sh 或单独停止 hdfs 和 yarn 是需要的,否则它会引发一些问题。
猜你喜欢
  • 2015-07-17
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2023-03-29
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多