hdfs jmxget vs hdfs fsck答案

【问题标题】：hdfs jmxget vs hdfs fsckhdfs jmxget vs hdfs fsck
【发布时间】：2018-02-12 14:57:12
【问题描述】：

我有 2 个名称节点和几个数据节点，但今天我刚刚看到我有一些损坏的块。

尴尬的是：

hdfs jmxget -server namenode02 -port 8006 | grep  CorruptBlocks

CorruptBlocks=27

当我检查 hdfs fsck / 时，我得到了：

Total size:    734930879995888 B (Total open files size: 537967073 B)
 Total dirs:    1501316
 Total files:   113743394
 Total symlinks:                0 (Files currently being written: 137)
 Total blocks (validated):      109063040 (avg. block size 6738587 B) (Total open file blocks (not validated): 133)
 Minimally replicated blocks:   109063040 (100.00001 %)
 Over-replicated blocks:        0 (0.0 %)
 Under-replicated blocks:       0 (0.0 %)
 Mis-replicated blocks:         0 (0.0 %)
 Default replication factor:    3
 Average block replication:     3.001944
 Corrupt blocks:                0
 Missing replicas:              0 (0.0 %)
 Number of data-nodes:          103
 Number of racks:               1
FSCK ended at Mon Feb 12 10:09:10 CET 2018 in 1608344 milliseconds

因此，使用 fsck 并没有什么不好的块。这个检查是怎么做的？

提前谢谢！

【问题讨论】：

标签： hadoop hdfs

【解决方案1】：

对于 hdfs jmx 命令，我们有来自 Hadoop 的块的整体状态，似乎其中很少有可能被损坏（不知道原因）。对于 fsck 命令，我们有文件的状态，由于副本号设置，它们是安全的。总结这是正常行为，这里没有异常。

【讨论】：