如何将输入文件划分为 MapReduce 的分片/文件

Question

所以我正在使用 Map Reduce 框架开发 wordcount 程序，我终于明白了它是如何工作的以及我需要实现什么。但是我很困惑如何将单个输入划分为不同的分片，然后使用线程为每个分片分配一个地图工作者。我知道您可以使用 Linux 命令 split 创建不同的文件，但我不明白如何从主文件中为每个文件分配一个 map worker

非常感谢

Answer 1

你没有。您使用的 InputFormat 会自动处理。