Map reduce值列表顺序问题

Question

正如我们所知，Hadoop 使用每个键对值进行分组，并将它们发送到相同的 reduce 任务。 假设我在 hdfs 上的文件中有下一行。 第 1 行 线2 第 3 行 …… 亚麻布 在地图任务中，我打印文件名和行。 在减少我收到不同的订单。例如 key=> { line3, line1, line2,....} 现在，我有下一个问题。我想获取这个值列表，以便它们位于文件中， 作为 key =>{ line1, line2,...linen} 有什么办法吗？

Answer 1

如果您使用TextInputFormat，您将获得<LongWritable, Text> 作为映射器输入。 LongWritable 部分（或键）是文件中行的位置（不是行号，而是我认为从文件开头的位置）。您可以使用该部分来跟踪哪一行是第一行。例如，映射器可以将<Filename, TextPair(Position, Line)> 输出为输出，而不是像您现在所做的那样输出<Filename, Line>。然后，您可以根据 Pair 的第一部分（位置）对 reducer 获得的键进行排序，并且您应该以相同的顺序取回行。