【问题标题】:HBase MapReduce ,Multi-table operationHBase MapReduce ,多表操作
【发布时间】:2014-03-25 08:43:12
【问题描述】:

有两个HBase Tables(table1, table2)作为输入源,使用MapReduce比较table1中的一列和table2中的一列,如果table1中的与table2中的相同,则输出到table3。

我们如何使用 MapReduce 解决问题? (Hadoop2.2.0+Hbase0.96.0)

【问题讨论】:

    标签: hadoop mapreduce hbase multi-table


    【解决方案1】:

    第一步 - 通过此链接了解 Hbase 表如何成为映射器的源:Hbase Table as Mapper source

    下一步要解决您的具体问题: 每个表都有 2 个映射器(即 2 个输入)。 您根据表中的值进行减少。您可能需要一个复杂的键或值来指定哪个表值来自 Reducer。在 reducer 中,如果值/键来自两个表,即两个映射器,那么您可以使用 Hbase API(上面的链接也解释了一个机器人)来写入表。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多