Hadoop Distcp 是否在块级别复制？

Question

集群之间/集群内的 Distcp 是 Map-Reduce 作业。我的假设是，它在输入拆分级别复制文件，有助于提高复制性能，因为一个文件将由多个并行处理多个“片段”的映射器复制。 但是，当我浏览 Hadoop Distcp 的文档时，似乎 Distcp 只能在文件级别上工作。 请参考这里：hadoop.apache.org/docs/current/hadoop-distcp/DistCp.html

根据 distcp 文档，distcp 只会拆分文件列表，而不是文件本身，并将列表的分区交给映射器。

谁能说出这到底是如何工作的？

• 附加问题：如果一个文件只分配给一个映射器，映射器如何在它运行的一个节点上找到所有输入拆分？

Answer 1

对于~50G大小的单个文件，将触发1个映射任务来复制数据，因为文件是Distcp中粒度级别最细的。

引用documentation:

为什么在指定更多地图时 DistCp 运行速度不快？

在 目前，DistCp 的最小工作单元是文件。即一个文件 仅由一张地图处理。将映射的数量增加到一个值 超过文件数不会产生性能优势。这 启动的地图数量将等于文件的数量。

更新
文件的块位置是在 mapreduce 期间从 namenode 获得的。在 Distcp 上，如果可能，每个 Mapper 将在文件第一个块所在的节点上启动。在文件由多个拆分组成的情况下，如果在同一节点上不可用，则会从邻居中获取它们。