hdfs 删除超过 7 天的目录

【问题标题】：hdfs remove directories older than 7 dayshdfs 删除超过 7 天的目录
【发布时间】：2016-05-27 15:28:21
【问题描述】：

我有存档目录结构，如 /archivedData/Mappings/Web/NOW/, 其中NOW 是当前日期： NOW=$(date +"%Y%m%d%H%M").

我必须从 hdfs 中删除超过 7 天的 NOW 目录。

【问题讨论】：

Finding directories older than N days in HDFS的可能重复

【解决方案1】：

这可以通过awk和date命令来实现，下面是shell脚本

#!/bin/bash
 hadoop fs -ls /archivedData/Mappings/Web/NOW/| while read path; 
 do
 dir_date=`echo $path | awk '{print $6}'`|cut -d'/' -f5
 purge_criteria=`date +"%Y%m%d%H%M" --date "7 days ago"`
        if [ $dir_date -lt $purge_criteria ]; then
            hadoop fs -rm $f
        fi
 done

【讨论】：