【问题标题】:Where to find details for the API of Context in hadoop?哪里可以找到hadoop中Context的API的详细信息?
【发布时间】:2016-07-05 14:18:56
【问题描述】:

我编写了一些常规 Hadoop MapReduce 作业,因此仅基于给定 Apache Hadoop 源代码中的一些示例调用了context.write() 方法。但是这样的副本并不能帮助我更深入地理解 Hadoop API。

因此,最近我开始更仔细地阅读 Hadoop API 文档 (https://hadoop.apache.org/docs/r2.7.0/api/),并尝试找出 Context 中除了 context.write() 之外是否还有其他方法。例如,在teragen 示例中,使用了context.getCounter()

但令我惊讶的是,我在上面的链接中根本找不到 Context 类文档。

我在哪里可以找到 hadoop 中 Context 类的文档?

【问题讨论】:

    标签: hadoop mapreduce hadoop2


    【解决方案1】:

    如果您深入研究标准的Mapper class 源代码(大约第 106 行),您就可以开始弄清楚发生了什么。

    public abstract class Context
        implements MapContext<KEYIN,VALUEIN,KEYOUT,VALUEOUT> {
    }
    

    所以这只是一个abstract class,它实现了here (Javadoc link) 中的MapContext 接口。

    具体实现是MapContextImpl找到here

    看起来ContextFactory (source) 负责创建上下文的不同实现。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2023-03-31
      • 1970-01-01
      • 2023-03-16
      • 2021-03-14
      • 2018-12-01
      • 2017-03-22
      • 1970-01-01
      • 2013-04-09
      相关资源
      最近更新 更多