【问题标题】:Joins in MapReduce加入 MapReduce
【发布时间】:2013-08-23 11:22:05
【问题描述】:

在阅读 hadoop in action book 时,我遇到了几个关于减少连接的类,其中一些是 DataJoinMapperBase、TaggedMapOutput、DataJoinReducerBase。

但是当我通过谷歌搜索 hadoop 上的连接概念时,它们都不是基于上述指定的类。相反,它们是在实现自己的逻辑,并且许多是基于 MultipleInputs。

现在我的问题是,在 hadoop 上连接的更好方法是什么?可以做些什么来获得更好的结果?对此有什么建议吗?

【问题讨论】:

  • 你能举例说明你想要达到的目标吗?
  • 到目前为止,我想要两个表的内部连接

标签: hadoop mapreduce reduce mapper


【解决方案1】:

你可以试试Pangool 库,它使reduce side join 变得非常容易。映射侧连接只是内存查找。

【讨论】:

    猜你喜欢
    • 2015-02-04
    • 1970-01-01
    • 2011-12-29
    • 1970-01-01
    • 2012-08-01
    • 1970-01-01
    • 1970-01-01
    • 2011-12-27
    • 1970-01-01
    相关资源
    最近更新 更多