【问题标题】:Hbase how to count very big columnHbase如何计算很大的列
【发布时间】:2016-05-03 05:05:14
【问题描述】:

我在Hbase有一个很大的专栏,比如:columnfamilyName:sampleRawsampleRaw 列的数据大小可能是每行 20MB 甚至 50MB。现在我想计算表中有多少 sampleRaw 行。命令count不行,不能知道行有没有列sampleRaw。命令scan 太慢了,因为它试图打印出非常大的列sampleRaw

例如,我试过这个命令:

scan 'bigRaw',{COLUMNS=>['rawf':'sample']}

【问题讨论】:

  • 你能粘贴你的代码吗?
  • 我没有写代码,我只是使用 scan 'bigRaw',{COLUMNS=>['rawf':'sample']} 但是列太大而无法扫描,之后屏幕会崩溃一会儿。

标签: hbase


【解决方案1】:

如果您可以使用 java 客户端,您可以在列基 as you can see here 上尝试 KeyOnlyFilter,这样数据不会通过网络传输给您,并且它会像 shell "count" 命令一样快。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2013-12-01
    • 1970-01-01
    • 2014-10-28
    • 2017-06-12
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-02-08
    相关资源
    最近更新 更多