【发布时间】:2013-01-30 23:48:45
【问题描述】:
我是 Hadoop 初学者,但在 Hadoop 1.1.1 中,我正在尝试执行 map -> reduce -> map -> reduce。我很难找到如何在 Java 中执行此操作的具体示例。我真的很好奇整个驱动方法会是什么样子。我目前正在使用org.apache.hadoop.mapreduce 库(我相信这是最新的代码库)。
另外,如果没有必要,我不想安装像 Oozie 这样的其他库。
【问题讨论】:
-
你的意思是要在reduce函数之后触发一个mapper,然后再为最后一个mapper触发一个reducer?如果是,为什么会这样?你想达到什么目的?
-
@Expressions_Galore 是的,我想是的。从我读过的内容来看,拥有多个映射器和减速器是很常见的,但对我来说如何做到这一点并不明显。
-
这是您想要实现的目标吗? stackoverflow.com/questions/11122832/…
-
不,他有 2 个独立的 mapreduce 作业。我的依赖。