使用 map reduce 作业将 HDFS 文本文件转换为镶木地板格式

Question

我正在尝试使用 java 中的 map reduce 将 hdfs 文本文件转换为 Parquet 格式。老实说，我是这方面的初学者，无法找到任何直接参考。

转换应该是文本文件 --> avro ---> parquet..？

Answer 1

文本文件（无论是否在 HDFS 中）没有固有的文件格式。使用 Map/Reduce 时，您将需要一个 Avro Schema 和一个映射器函数来解析输入，以便您可以创建一个 Avro GenericRecord。

您的映射器类将如下所示。

public class TextToAvroParquetMapper
        extends Mapper<LongWritable, Text, Void, GenericRecord> {
    private GenericRecord myGenericRecord = new GenericData.Record(mySchema);

    @Override
    protected void map(LongWritable key, Text value, Context context) {
          // Parse the value yourself here,
          // calling "put" on the Avro GenericRecord,
          // once for each field.  The GenericRecord
          // object is reused for every map call.
          context.write(null, myGenericRecord);
    }
}

输入键/值对类型是 Hadoop 的 LongWritable 和 Text，输出键/值对类型是 Void（空键）和 Avro GenericRecord 本身。

在run方法中，照常设置Job配置，包括输入路径、输出路径、映射器类。将reduce任务的数量设置为0，因为这是一个map-only作业。

job.setNumReduceTasks(0);

将输出格式类设置为Parquet 的AvroParquetOutputFormat 类，这会将您创建的Avro GenericRecords 转换为Parquet 列格式。它需要知道你的Avro Schema。

job.setOutputFormatClass(AvroParquetOutputFormat.class);
AvroParquetOutputFormat.setSchema(job, myAvroSchema);

因为 AvroParquetOutputFormat 将 Avro GenericRecord 转换为 Parquet Group 对象，您需要将输出值类设置为 Group（并将输出键类设置为 Void，因为键将都是null)。

job.setOutputKeyClass(Void.class);
job.setOutputValueClass(Group.class);

是的，转换是文本文件 -> Avro -> Parquet。您的 map 方法控制从文本文件到 Avro 的转换，AvroParquetOutputFormat 处理从 Avro 到 Parquet 的转换。