【问题标题】:HBase BulkLoad data recoveryHBase BulkLoad 数据恢复
【发布时间】:2017-07-31 20:50:50
【问题描述】:

由于 Bulkload 方法完全绕过写入路径,WAL 不会被写入 作为流程的一部分,如何恢复批量加载的数据以防万一 区域服务器故障/崩溃?

【问题讨论】:

    标签: hbase data-recovery wal


    【解决方案1】:

    HBase 将数据存储在 HFiles 中,HFiles 是不可变的,放在 HDFS 中,这已经是可靠的存储。通常,此类文件的最小大小约为 128mb。在创建 HFile 之前,HBase 在内存中积累了所需的数据量,为了在此过程中实现持久性,HBase 使用 WAL。在这种情况下,在批量加载中,您不需要 WAL,因为批量加载操作直接创建 HFiles,并且在告诉 HBase 将它们用作数据存储的一部分时。

    【讨论】:

    • yes.. 在 Bulkload 中,没有数据丢失的机会,因为它创建了 HFiles,并且完全跳过了“MemStore 已刷新并写入新的 HFiles”步骤。知道了。谢谢亚历山大!! :)
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-01-27
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多