【问题标题】:Implementing third phase called merge after Reduce phase在 Reduce 阶段之后实施称为合并的第三阶段
【发布时间】:2011-06-06 14:22:11
【问题描述】:

我需要添加第三个阶段 - 合并 - 合并单独的并行 Reduce 任务的输出。这使得可以执行连接和构建笛卡尔积之类的事情。谁能帮我怎么做??我检查了没有 Hadoop 0.21 API 来支持他的功能。

【问题讨论】:

    标签: hadoop new-operator reduce phase


    【解决方案1】:

    Hadoop 是一个 MapReduce(不是 MapReduceMerge!)框架,这不太可能改变。也就是说,您可以提交 Jira 或通过 http://getsatisfaction.com/cloudera/ 询问以获得官方立场。

    如果你需要加入,你应该尝试 Pig(我唯一有实际经验的,但还有其他的 - Hive,...)。 Pig 使连接变得非常简单。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2014-02-07
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2012-08-14
      • 1970-01-01
      • 2012-06-27
      • 1970-01-01
      相关资源
      最近更新 更多