HDFS的垃圾回收机制

 

hadoop hdfs 垃圾回收机制

• 何为垃圾回收
  

  开启垃圾回收站 把删除的文件首先放置在回收站中 等待配置的时间结束 进行真正的数据删除

• 如何开始
  

  vim core-site.xml
  
  <property>
  <name>fs.trash.interval</name>
  <value>1440</value>
  </property>

• 把配置文件 scp给其他节点上
  

  scp -r /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml node-2:/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/
  
  scp -r /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml node-3:/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/

• 垃圾回收机制演示效果
  
  • 未开启
    

    [root@node-1 ~]# hadoop fs -rm /test/1.txt
    Deleted /test/1.txt

  • 开启
    

    hadoop fs -rm /test/1.txt
    19/07/18 16:18:17 INFO fs.TrashPolicyDefault: Moved: 'hdfs://node-1:8020/test/1.txt' to trash at: hdfs://node-1:8020/user/root/.Trash/Current/test/1.txt

    本质是把删除文件 首先移动一个指定的文件夹下面

  • 恢复删除的数据
    

    hadoop fs -mv /user/root/.Trash/Current/test/1.txt /test

  • 跳过垃圾回收 直接删除
    

    skipTrash 选项删除文件，该选项不会将文件发送到垃圾箱。它将从HDFS 中完全删除