在 Hadoop 中解析 CSV 文件

Question

Mapreduce 如何解析包含 80 列的 CSV 文件，并且对于 excel 格式的每一行，它会产生两到三行 CSV 格式的文件？在这种情况下，文本输入格式不起作用。在这种情况下键值输入格式是否有效？

Answer 1

您可以编写自己的 InoutFormat 和 RecordReader，它将读取多行并作为单个记录发送到您的 Mapper。