hdfs 如何删除过度复制的块

Question

例如，我使用复制因子 2 将文件写入 HDFS。我正在写入的节点现在具有文件的所有块。该文件所有块的其他副本分散在集群中的所有剩余节点周围。这是默认的 HDFS 策略。 如果我将文件的复制因子降低到 1，究竟会发生什么？ HDFS 如何决定从哪些节点删除哪些块？我希望它尝试从文件中块数最多的节点中删除块？

我为什么要问 - 如果是这样，那将是有道理的 - 它会减轻文件的处理。因为如果所有块只有一个副本，并且所有块都位于同一个节点上，那么由于数据传输到集群中的其他节点，使用 map-reduce 处理文件会更加困难。

Answer 1

当一个块变成over-replicated 时，name node 会选择一个副本来移除。 name node 宁愿不减少承载副本的机架数量，其次更愿意从data node 中删除可用磁盘空间最少的副本。这可能有助于重新平衡集群上的负载。

来源：The Architecture of Open Source Applications

Answer 2

HDFS 从不同节点随机删除过度复制的块，并重新平衡，这意味着它们不只是从当前节点删除。