【发布时间】:2015-01-25 16:41:22
【问题描述】:
我是 Hadoop 的新手,我正在努力学习它并遇到了 InputFormat 的 2 个版本。
org/apache/hadoop/mapred/InputFormat
org/apache/hadoop/mapreduce/InputFormat
这两个api的解释似乎相同,但一个是接口,另一个是类。谁能帮我解释一下为什么 Hadoop 中有 2 个 API 具有相同的解释?
【问题讨论】:
我是 Hadoop 的新手,我正在努力学习它并遇到了 InputFormat 的 2 个版本。
org/apache/hadoop/mapred/InputFormat
org/apache/hadoop/mapreduce/InputFormat
这两个api的解释似乎相同,但一个是接口,另一个是类。谁能帮我解释一下为什么 Hadoop 中有 2 个 API 具有相同的解释?
【问题讨论】:
MapReduce 在 hadoop-0.23 中进行了彻底改造,称为 MapReduce 2.0 (MRv2) 或 YARN。
org/apache/hadoop/mapred/InputFormat指hadoop MRV1
org/apache/hadoop/mapreduce/InputFormat指hadoop MRV2
这两个库引用相同的功能。
MRV2 是对 MRV1 的重写,以兼容 YARN 架构。
【讨论】:
mapred是MR1,mapreduce是MR2封装系列。