我是 Hadoop 的新手，我正在尝试弄清楚它是如何工作的。至于练习，我应该实现类似于 WordCount-Example 的东西。任务是读取几个文件，进行 WordCount 并为每个输入文件编写一个输出文件。 Hadoop 使用组合器并将 map-part 的输出打乱作为 reducer 的输入，然后写入一个输出文件（我猜是每个正在运行的实例）。我想知道是否可以为每个输入文件编写一个输出文件（所以保留 inputfile1 的单词并将结果写入 outputfile1 等等）。是否可以覆盖 Combiner-Class 或者是否有其他解决方案（我不确定这是否应该在 Hadoop-Task 中解决，但这是练习）。
谢谢...
【问题讨论】：
map.input.file 环境参数具有映射器正在处理的文件名。在映射器中获取此值并将其用作映射器的输出键，然后将单个文件中的所有 k/v 转到一个减速器。
映射器中的代码。顺便说一句，我正在使用旧的 MR API
@Override
public void configure(JobConf conf) {
this.conf = conf;
}
@Override.
public void map(................) throws IOException {
String filename = conf.get("map.input.file");
output.collect(new Text(filename), value);
}
并使用 MultipleOutputFormat，这允许为作业编写多个输出文件。文件名可以从输出的键和值派生出来。
【讨论】：
Hadoop 将数据“分块”成配置大小的块。默认为 64MB 块。您可能会看到这会导致您的方法出现问题；每个映射器可能只得到一个文件的一部分。如果文件小于 64MB（或配置的任何值），则每个映射器将仅获得 1 个文件。
我有一个非常相似的约束；我需要一组文件（链中前一个 reducer 的输出）完全由单个映射器处理。我在我的解决方案中使用
我让启动 MR 的进程写出文件的文件名以处理成单个文件。这些文件的写入位置是输入目录。由于每个文件小于 64MB，因此将为每个文件生成一个映射器。 map 进程将只被调用一次（因为文件中只有 1 个条目）。
然后我将传递给映射器的值打开，然后进行我需要做的任何映射。
由于 hadoop 试图对它如何执行 Map/Reduce 过程进行智能处理，因此可能需要指定要使用的 reducer 的数量，以便每个 mapper 转到单个 reducer。这可以通过mapred.reduce.tasks 配置进行设置。我通过job.setNumReduceTasks("mapred.reduce.tasks",[NUMBER OF FILES HERE]); 进行此操作
我的流程有一些额外的要求/限制可能使这个特定的解决方案很有吸引力；但对于 1:in 到 1:out 的示例；我已经完成了，上面已经列出了基础知识。
HTH
【讨论】：