使用 hadoop 获得 csv 文件的最大价值的更好方法是什么？

Question

我有一个巨大的 csv 文件，其中包含 4 个这样的信息：

DF Alice 20.4
MG Bob 30.4
MG Clara 14.3
SP Daniel 40.2
...

我写了一个 Hadoop map-reduce 代码来获取所有表的主要值：

映射器：

public class BolsaFamiliaMapper extends MapReduceBase implements
        Mapper<LongWritable, Text, Text, DoubleWritable> {

    public void map(LongWritable key, Text value, OutputCollector<Text,
        DoubleWritable> output, Reporter reporter) throws IOException { String
        valueString = value.toString();
        String[] SingleData = valueString.split("\t");
        output.collect(new Text("Biggest"), new
            DoubleWritable(Double.parseDouble(SingleData[2])));
    }
}

减速机：

public class BolsaFamiliaReducer extends MapReduceBase implements Reducer<Text,
       DoubleWritable, Text, DoubleWritable> {

    public void reduce(Text t_key, Iterator<DoubleWritable> values,
            OutputCollector<Text,DoubleWritable> output, Reporter reporter)
        throws IOException {
        Text key = t_key;
        double frequency = 0.0;
        while (values.hasNext()) {
            // replace type of value with the actual type of our value
            DoubleWritable value = (DoubleWritable) values.next();
            if (value.get() > frequency) {
                frequency = value.get();
            }
        }
        output.collect(key, new DoubleWritable(frequency));
    }
}

如果我理解得很好，reduce 执行将不会并行运行，因为我使用的键（“Biggest”）。

有没有更好的方法来获得这些主要价值？

我的另一个疑问是如何获得最大值的元组来检查 UF (SP)。是否可以在同一个 map-reduce 中？如果可能的话，我可以按 UF 对最大值进行分类吗？

我是map-reduce操作和hadoop的初学者，在其他论坛上找不到任何答案。

Answer 1

首先，我相信MapReduceBase 是一个已弃用的类，所以你正在学习过时的方法......

关于文章标题

使用 hadoop 获取 csv 文件的最大价值的更好方法是什么？

“更好”的方法是不要使用 Java MapReduce。其他工具（Pig、Hive、Spark 等）通常要好得多，尤其是对于这个简单的任务。

现在，至于从所有值中查找最大值 - 是的，您需要地图中的一个键，该键被强制放入单个 reducer，然后扫描所有关联值以查找最大值。您的代码似乎正在这样做。

关于第二个问题 - 您想在第一列分组。只需使用该列。

output.collect(new Text(SingleData[0]), new
        DoubleWritable(Double.parseDouble(SingleData[2])));

现在，理论上它应该比"Biggest" 键运行得更快，因为每个输出键都有很多减速器。

---

就值而言，MapReduce 通常会在您配置作业输出的任何位置将文件输出到 HDFS。 Reducer 类的output.collect 方法对此负责。