【发布时间】:2017-07-31 20:50:50
【问题描述】:
由于 Bulkload 方法完全绕过写入路径,WAL 不会被写入 作为流程的一部分,如何恢复批量加载的数据以防万一 区域服务器故障/崩溃?
【问题讨论】:
标签: hbase data-recovery wal
由于 Bulkload 方法完全绕过写入路径,WAL 不会被写入 作为流程的一部分,如何恢复批量加载的数据以防万一 区域服务器故障/崩溃?
【问题讨论】:
标签: hbase data-recovery wal
HBase 将数据存储在 HFiles 中,HFiles 是不可变的,放在 HDFS 中,这已经是可靠的存储。通常,此类文件的最小大小约为 128mb。在创建 HFile 之前,HBase 在内存中积累了所需的数据量,为了在此过程中实现持久性,HBase 使用 WAL。在这种情况下,在批量加载中,您不需要 WAL,因为批量加载操作直接创建 HFiles,并且在告诉 HBase 将它们用作数据存储的一部分时。
【讨论】: