【问题标题】:Chaining Hadoop MapReduce 1.1.1 Example链接 Hadoop MapReduce 1.1.1 示例
【发布时间】:2013-01-30 23:48:45
【问题描述】:

我是 Hadoop 初学者,但在 Hadoop 1.1.1 中,我正在尝试执行 map -> reduce -> map -> reduce。我很难找到如何在 Java 中执行此操作的具体示例。我真的很好奇整个驱动方法会是什么样子。我目前正在使用org.apache.hadoop.mapreduce 库(我相信这是最新的代码库)。

另外,如果没有必要,我不想安装像 Oozie 这样的其他库。

【问题讨论】:

  • 你的意思是要在reduce函数之后触发一个mapper,然后再为最后一个mapper触发一个reducer?如果是,为什么会这样?你想达到什么目的?
  • @Expressions_Galore 是的,我想是的。从我读过的内容来看,拥有多个映射器和减速器是很常见的,但对我来说如何做到这一点并不明显。
  • 这是您想要实现的目标吗? stackoverflow.com/questions/11122832/…
  • 不,他有 2 个独立的 mapreduce 作业。我的依赖。

标签: hadoop mapreduce


【解决方案1】:

我认为这可能对您有所帮助:http://blogs.msdn.com/b/avkashchauhan/archive/2012/03/29/how-to-chain-multiple-mapreduce-jobs-in-hadoop.aspx

您也可以根据您要实现的目标查看 ChainMapper(http://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/lib/ChainMapper.html)。不过,这只适用于一个减少。如果你想专门去 map -> reduce -> map -> reduce,我会选择我的第一个链接。

【讨论】:

  • 这很有帮助,谢谢。一些 JobConf 引用是旧 API 的一部分。但是,执行 new Job(),waitingForCompletion,然后 new Job() 再次正常工作。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2011-01-30
  • 1970-01-01
  • 2016-04-13
  • 2014-03-25
  • 2017-02-02
  • 1970-01-01
相关资源
最近更新 更多