HBase logcleaner 不会删除 oldWALs 文件答案

【问题标题】：HBase logcleaner does not delete the oldWALs filesHBase logcleaner 不会删除 oldWALs 文件
【发布时间】：2021-03-22 11:46:40
【问题描述】：

在我的实验室中，HBase 存档预写日志，即 oldWALs 文件没有被删除，oldWALs 目录以 TB 为单位快速增长。

8.1 K    24.4 K  /hbase/.hbase-snapshot
0        0       /hbase/.hbck
0        0       /hbase/.tmp
3.6 K    10.7 K  /hbase/MasterProcWALs
900.3 M  7.1 G   /hbase/WALs
3.4 G    10.3 G  /hbase/archive
0        0       /hbase/corrupt
938.7 G  2.8 T   /hbase/data
42       84      /hbase/hbase.id
7        14      /hbase/hbase.version
4.9 T    4.9 T   /hbase/oldWALs
0        0       /hbase/staging

尝试使用以下选项进行清理；但没有运气。

更新的复制在 hbase master 上是错误的并重新启动
将 ttl 减少到 1 秒
没有同行
多次重启 HBase 组件。

【问题讨论】：

标签： hdfs hbase hadoop2 cloudera-cdh

【解决方案1】：

我尝试了以下属性，然后删除了大约 1 TB 的 oldWALs 文件。

hbase.cleaner.scan.dir.concurrent.size=1 (default is 0.25). 
hbase.oldwals.cleaner.thread.size=10 ( default is 2)

【讨论】：