hdfs的高级使用命令

目标:掌握HDFS对目录如何进行限制

HDFS文件限额配置

hdfs文件的限额配置允许我们以文件大小或者文件个数来限制某个目录下上传的文件数量或者文件内容总量,以便达到我们类似百度网盘网盘等限制每个用户允许上传的最大的文件的量

数量限额

hdfs dfs -mkdir -p /user/root/lisi #创建hdfs文件夹
hdfs dfsadmin -setQuota 2 lisi # 给该文件夹下面设置最多上传两个文件,上传文件,发现只能上传一个文件
hdfs dfsadmin -clrQuota /user/root/lisi # 清除文件数量限制

空间大小限额

#上传超过4Kb的文件大小上去提示文件超过限额
hdfs dfsadmin -setSpaceQuota 4k /user/root/lisi # 限制空间大小4KB
hdfs dfs -put /export/softwares/zookeeper-3.4.5-cdh5.14.0.tar.gz /user/root/lisi

hdfs dfsadmin -clrSpaceQuota /user/root/lisi #清除空间限额
hdfs dfs -put /export/softwares/zookeeper-3.4.5-cdh5.14.0.tar.gz /user/root/lisi
hdfs的高级使用命令和安全模式

查看hdfs文件限额数量
hdfs dfs -count -q -h /user/root/lisi
hdfs的高级使用命令和安全模式

课堂总结:
HDFS上的某一个特定的目录存储的数据副本 、数据量、文件的个数进行设置。
设置目录可以存储的文件的数量 hdfs dfsadmin -setQuota 100 lisi (文件夹本身算一个)
清空文件夹内数据良方的限制 hdfs dfsadmin -clrQuota /user/root/lisi
限制文件夹下存储的数据量 hdfs dfsadmin -setSpaceQuota 100M /user/root/lisi
清空文件夹数量的限制 hdfs dfsadmin -clrSpaceQuota /user/root/lisi
查看文件夹的限额数 hdfs dfs -count -q -h /user/root/lisi

hdfs的安全模式

目标:掌握什么是HDFS的安全模式,以及安全模式的作用
全模式是HDFS所处的一种特殊状态,在这种状态下,文件系统只接受读数据请求,而不接受删除、修改等变更请求。在NameNode主节点启动时,HDFS首先进入安全模式,DataNode在启动的时候会向namenode汇报可用的block等状态,当整个系统达到安全标准时,HDFS自动离开安全模式。
如果HDFS处于安全模式下,则文件block不能进行任何的副本复制操作,因此达到最小的副本数量要求是基于datanode启动时的状态来判定的,启动时不会再做任何复制(从而达到最小副本数量要求),hdfs集群刚启动的时候,默认30S钟的时间是处于安全期的,只有过了30S之后,集群脱离了安全期,然后才可以对集群进行操作

查看安全模式是否关闭
hdfs dfsadmin -safemode
hdfs的高级使用命令和安全模式
课堂总结:
安全模式是HDFS所处的一种特殊状态,在这种状态下,文件系统只接受读数据请求,而不接受删除、修改等变更请
求。
HDFS什么时候进入安全模式:在NameNode主节点启动时,HDFS首先进入安全模式
在安全模式下做了什么: DataNode在启动的时候会向namenode汇报可用的block等状态
查看hdfs在什么模式 hdfs dfsadmin -safemode get
进入hdfs安全模式 hdfs dfsadmin -safemode enter
退出hdfs安全模式 hdfs dfsadmin -safemode leave

相关文章:

  • 2022-12-23
  • 2021-11-25
  • 2021-11-07
  • 2021-09-25
  • 2022-12-23
  • 2021-04-08
  • 2021-12-15
  • 2022-02-12
猜你喜欢
  • 2021-05-25
  • 2021-10-27
  • 2021-08-30
  • 2022-01-19
  • 2021-07-10
相关资源
相似解决方案