【问题标题】:Hadoop jar WordCount.jar WordCount /input /output doesn't workHadoop jar WordCount.jar WordCount /input /output 不起作用
【发布时间】:2021-09-02 16:34:00
【问题描述】:

首先,我们使用hdfs dfs -mkdir /inputhdfs dfs -mkdir /output 手动创建输入和输出文件。然后我们执行hdfs dfs -copyFromLocal Books /Shakespare.txt /input/Shakespare.txt。在我们运行hadoop jar WordCount.jar WordCount /input /output 这段代码后,我们得到以下错误:

因此我们删除输出并再次运行hadoop jar WordCount.jar WordCount /input /output,我们得到以下错误:

我们怎样才能得到输出?

在 Majid Hajibaba 的回答之后编辑:

【问题讨论】:

  • 两张图片相等。删除输出目录后你的错误信息是什么?
  • 我编辑了这个问题。感谢您的回复。
  • 我们实际上并没有收到错误。但我们也没有得到结果,它进入了一个无限循环。

标签: hadoop amazon-ec2 cloud amazon-emr word-count


【解决方案1】:

WordCount.jar 将自己创建输出目录。只需将其作为参数传递,不要方便使用。所以请删除输出目录并重试。但是要运行 WordCount.jar,您需要通过 start-yarn.sh 启动 yarn,并通过 jps 命令检查 ResourceManager 是否已启动并运行。

很高兴了解 Hadoop 生态系统中的默认端口。见​YARN Service Ports

【讨论】:

  • 嗨。我用了你的建议,但我做不到。我不确定我是否做得正确。你能检查一下我附在问题上的图片吗?而且,我使用 jps 命令并得到 33727 ResourceManager 但我找不到它的含义。谢谢。
  • 请在启动后 5 分钟执行 JPS 并查看哪些服务已启动。看来您的资源管理器已启动并正在运行!但我看不到nodemanagerworker 文件中的工作人员托管的是什么?
猜你喜欢
  • 2011-09-09
  • 1970-01-01
  • 1970-01-01
  • 2015-08-23
  • 2013-01-11
  • 2017-12-13
  • 2018-03-02
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多