【问题标题】:HBase oldWALs, pv2-(sequence number).log are not cleaned upHBase oldWALs, pv2-(sequence number).log 未清理
【发布时间】:2020-06-24 22:39:11
【问题描述】:

我想知道是否有人对以下问题有任何想法。

hdfs 上的 oldWALs 目录似乎只被部分清理了,(相当小的)pv2-(序列号).log 文件不断增加(每隔一小时左右添加一个文件)

什么主进程应该清理这些特定文件?那些 pv2 日志文件的目的是什么?因为我也看到一对 0bytes。

设置: hbase.master.logcleaner.ttl=60000 在hbase znode peers下的zookeeper中 -> empty 复制是假的

【问题讨论】:

    标签: hdfs hbase apache-zookeeper


    【解决方案1】:

    pv2-为前缀的文件是Procedure Framework (Pv2)的WAL文件。
    如果您的集群有很多这样的文件,这可能表明某些程序被卡住并持有相关的 WAL 文件(其中包含程序的“状态”)。
    您可以使用 HBase shell(list_procedures 命令)列出当前程序或查看主用户界面中的“程序和锁”页面。

    此外,HBase PV2 具有属性 hbase.procedure.store.wal.warn.threshold(默认值 10,取决于 HBase 版本),它配置 PV2 wal 的计数,之后 HBase 将使用以下文本记录警告:
    procedure WALs count={count_of_logs} above the warning threshold {threshold_value}. check running procedures to see if something is stuck

    【讨论】:

      猜你喜欢
      • 2015-04-27
      • 1970-01-01
      • 1970-01-01
      • 2012-01-22
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多