Hadoop FileAlreadyExistsException：输出目录 hdfs://<namenode public dns>:9000/input 已经存在答案

【问题标题】：Hadoop FileAlreadyExistsException: Output directory hdfs://<namenode public dns>:9000/input already existsHadoop FileAlreadyExistsException：输出目录 hdfs://<namenode public dns>:9000/input 已经存在
【发布时间】：2017-02-23 09:55:03
【问题描述】：

我在完全分布式模式下设置了 Hadoop，其中包含 1 个主节点和 3 个从节点。我正在尝试执行一个名为 Tasks.jar 的 jar 文件，该文件将 arg[0] 作为输入目录，将 arg[1] 作为输出目录。

在我的 Hadoop 环境中，我在 /input 目录中有输入文件，但没有 /output 目录。

我使用hadoop fs -ls / 命令检查了上述内容

现在，当我尝试使用以下命令执行我的 jar 文件时：

hadoop jar Tasks.jar ProgrammingAssigment/Tasks /input /output'

我得到以下异常：

ubuntu@ip-172-31-5-213:~$ hadoop jar Tasks.jar ProgrammingAssignment/Tasks /input /output
16/10/14 02:26:23 INFO client.RMProxy: Connecting to ResourceManager at ec2-52-55-2-64.compute-1.amazonaws.com/172.31.5.213:8032
Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://ec2-52-55-2-64.compute-1.amazonaws.com:9000/input already exists
    at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:146)
    at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:266)
    at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:139)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287)
    at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1308)
    at ProgrammingAssignment.Tasks.main(Tasks.java:96)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

【问题讨论】：

展示Tasks.jar的主要方法

标签： java hadoop amazon-ec2 jar mapreduce

【解决方案1】：

堆栈跟踪显示为hdfs://ec2-52-55-2-64.compute-1.amazonaws.com:9000/input，在您的代码输出目录中提到/input，因此发生了上述异常。您可能需要更改输出目录或更改 hdfs 中的输入目录名称。

【讨论】：

我尝试更改名称，但我得到了同样的错误
更改 jar 文件中的输出目录。

【解决方案2】：

确保 /input 作为输入目录而不是输出目录传递。通过异常

org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs

/input 被视为您的输出目录。

【讨论】：