PIG 不读取我的自定义 InputFormat

Question

我有一个自定义的MyInputFormat 来处理multi-lined inputs 的记录边界问题。但是当我将MyInputFormat 放入我的UDF 加载函数时。如下：

import org.apache.hadoop.mapreduce.InputFormat;
public class EccUDFLogLoader extends LoadFunc {
    @Override
    public InputFormat getInputFormat() {
        System.out.println("I am in getInputFormat function");
        return new MyInputFormat();
    }
}

import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
public class MyInputFormat extends TextInputFormat {
    public RecordReader createRecordReader(InputSplit inputSplit, JobConf jobConf) throws IOException {
        System.out.prinln("I am in createRecordReader");
        //MyRecordReader suppose to handle record boundary
        return new MyRecordReader((FileSplit)inputSplit, jobConf);
    }
}

对于每个映射器，它会打印出I am in getInputFormat function，但不会打印出I am in createRecordReader。我想知道是否有人可以提供有关如何将我的服装 MyInputFormat 连接到 PIG 的 UDF 加载器的提示？非常感谢。

我在 Amazon EMR 上使用 PIG。

Answer 1

您的签名与父类的签名不匹配（您缺少 Reporter 参数），试试这个：

@Override
public RecordReader<LongWritable, Text> getRecordReader(
        InputSplit inputSplit, JobConf jobConf, Reporter reporter)
             throws IOException {
  System.out.prinln("I am in createRecordReader");
  //MyRecordReader suppose to handle record boundary
  return new MyRecordReader((FileSplit)inputSplit, jobConf);
}

编辑抱歉，我之前没有发现这一点，正如您所指出的，您需要改用新的 API 签名：

@Override
public RecordReader<LongWritable, Text> 
      createRecordReader(InputSplit split,
             TaskAttemptContext context) {
  System.out.prinln("I am in createRecordReader");
  //MyRecordReader suppose to handle record boundary
  return new MyRecordReader((FileSplit)inputSplit, jobConf);
}

而您的 MyRecordReader 类需要扩展 org.apache.hadoop.mapreduce.RecordReader 类