【问题标题】:Loading data into HBase将数据加载到 HBase
【发布时间】:2015-08-26 05:12:23
【问题描述】:

我的 mapreduce 的输出看起来像这样,因为键值 paris 有数千条记录

    aa      abraham azad
    aa      anand agarwal
    aa      ajinke arun
    aa      ajith agarwal
    bb      balu bhaskar
    bb      budde bheema
    bb      banasankari balu 

我想将这些记录加载到 hbase 中,如果要处理 aa 键,它应该处理所有具有 aa 的键。

【问题讨论】:

  • 您能详细说明您的问题吗?这里的过程是什么意思?查看您的数据样本,您可以将 aa 用作 hbase 中的行键,并将其值用作列值。
  • 我想把aa,bb作为hbase中唯一的行键,如果我们尝试更新,它将进入不同的版本。
  • 正确。对于具有多个值的唯一键“aa”,它将具有值。所以版本对你来说不够用?或者你有什么不同的要求?

标签: hadoop mapreduce hbase


【解决方案1】:

我假设您想要为您的表格设计提供解决方案,而不是代码。

由于每行的 Hbase 列名可能不同,因此您可以使用 aa,bb,cc 作为行键,每个名称作为列名。

看看this的文章,它解决了使用不同表格设计的类似问题并进行了比较。

此外,对于将此数据放入表中的代码,您可以根据您的情况使用here 解释的任何方法。 (我想一个简单的 Java 代码可以为您完成。)

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2012-12-31
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多