cloudera 垃圾检查点间隔配置答案

【问题标题】：cloudera trash checkpoint interval configurationcloudera 垃圾检查点间隔配置
【发布时间】：2017-01-27 01:08:11
【问题描述】：

Cloudera 允许我配置 fs.trash.interval。

但它不允许我配置 fs.trash.checkpoint.interval。

那么 hdfs 什么时候创建检查点？

这里有一个类似的问题没有回应： When does Hadoop Framework creates a checkpoint (expunge) to its "current" directory in trash?

【问题讨论】：

标签： hadoop hdfs cloudera

【解决方案1】：

Apache Hadoop 文档在左侧导航中包含指向各种 *-default.xml 文件的链接。这些文件包含所有配置属性的默认设置。

如果您单击 *-default.xml 链接，网站会以漂亮的表格显示它们。这是来自core-site.xml 讨论垃圾属性的原始 XML 版本。

<property>
  <name>fs.trash.interval</name>
  <value>0</value>
  <description>Number of minutes after which the checkpoint
  gets deleted.  If zero, the trash feature is disabled.
  This option may be configured both on the server and the
  client. If trash is disabled server side then the client
  side configuration is checked. If trash is enabled on the
  server side then the value configured on the server is
  used and the client configuration value is ignored.
  </description>
</property>

<property>
  <name>fs.trash.checkpoint.interval</name>
  <value>0</value>
  <description>Number of minutes between trash checkpoints.
  Should be smaller or equal to fs.trash.interval. If zero,
  the value is set to the value of fs.trash.interval.
  Every time the checkpointer runs it creates a new checkpoint 
  out of current and removes checkpoints created more than 
  fs.trash.interval minutes ago.
  </description>
</property>

根据此描述，如果您没有更改fs.trash.checkpoint.interval，那么它使用与fs.trash.interval 相同的值，这就是它创建垃圾检查点的频率。

fs.trash.checkpoint.interval 配置属性是在 Apache Hadoop 2.x 版本行中引入的。较早的版本不支持此配置属性，您可以认为该行为等同于使fs.trash.checkpoint.interval 等于fs.trash.interval。

【讨论】：

感谢您的回答。但是在 cloudera 发行版上没有定义 fs.trash.checkpoint.interval。所以我不明白检查点的创建方式？
@mvera，您是否可能正在运行基于 Apache Hadoop 1.x 而不是 2.x 的旧版 CDH？我添加了另一段解释 fs.trash.checkpoint.interval 配置属性是在 Apache Hadoop 2.x 中引入的，以及在 1.x 中的行为。如果您确信自己运行的版本支持 fs.trash.checkpoint.interval，那么这可能只是 CDH 通过 Cloudera Manager 等管理工具呈现给用户的问题。
我们使用最近的 cloudera 5.9 发行版。