【发布时间】:2011-06-06 14:22:11
【问题描述】:
我需要添加第三个阶段 - 合并 - 合并单独的并行 Reduce 任务的输出。这使得可以执行连接和构建笛卡尔积之类的事情。谁能帮我怎么做??我检查了没有 Hadoop 0.21 API 来支持他的功能。
【问题讨论】:
标签: hadoop new-operator reduce phase
我需要添加第三个阶段 - 合并 - 合并单独的并行 Reduce 任务的输出。这使得可以执行连接和构建笛卡尔积之类的事情。谁能帮我怎么做??我检查了没有 Hadoop 0.21 API 来支持他的功能。
【问题讨论】:
标签: hadoop new-operator reduce phase
Hadoop 是一个 MapReduce(不是 MapReduceMerge!)框架,这不太可能改变。也就是说,您可以提交 Jira 或通过 http://getsatisfaction.com/cloudera/ 询问以获得官方立场。
如果你需要加入,你应该尝试 Pig(我唯一有实际经验的,但还有其他的 - Hive,...)。 Pig 使连接变得非常简单。
【讨论】: