Hadoop - 错误：找到接口 org.apache.hadoop.mapreduce.TaskAttemptContext

Question

我正在使用 hadoop 来设计 mapreduce 作业。我决定创建一个自定义 InputFormat。 当我想在我的 Hortonworks Sandbox 上运行作业时，我收到了这个错误：

Error: Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected

根据论坛上的一些话题（如here），这是一个版本问题：在Hadoop 2.x中，TaskAttemptContext是一个接口，之前它是一个类。

这是我的 pom.xml 文件：

<dependencies>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.4</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.2.0</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-core</artifactId>
        <version>1.2.1</version>
    </dependency>



    <dependency>
        <groupId>jdk.tools</groupId>
        <artifactId>jdk.tools</artifactId>
        <version>${java.version}</version>
        <scope>system</scope>
        <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
    </dependency>
    <dependency>
        <groupId>org.apache.mrunit</groupId>
        <artifactId>mrunit</artifactId>
        <version>0.9.0-incubating</version>
        <classifier>hadoop1</classifier>
    </dependency>

</dependencies>

如果您有想法，感谢帮助我。

Answer 1

这可能意味着您针对比您运行的更早版本的 Hadoop 编译代码。

这可能与它有关......

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.2.0</version>
</dependency>

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-core</artifactId>
    <version>1.2.1</version>
</dependency>

这里有两个不同版本的 Hadoop。