使用 Apache Pig 如何根据标题行从 CSV 中选择和存储列答案

【问题标题】：With Apache Pig how to select and store columns from a CSV according to header line使用 Apache Pig 如何根据标题行从 CSV 中选择和存储列
【发布时间】：2013-08-06 16:39:02
【问题描述】：

我有很多 CSV 文件，都带有标题行。这些文件看起来都相似：

name, gender, preference, ....
peter, m, soap, ...
paul, m, gel, ...
mary, f, soap, ...
.
.
.

但列位置和确切的标题名称可能会有些不同，例如。另一个文件可能如下所示：

"the preferences", "the name", "the gender",....
soap, peter, m, ...
gel, paul, m, ...
soap, mary, f, ...
.
.
.

我只想输出/存储标题包含单词“name”的列。这个专栏的定位我事先不知道，因为每个文件可以不一样。

所以，我需要将每个文件中的列与其标题名称相关联。我可以在 Pig 中执行此操作吗？

虽然我使用了两个FILTER 操作符（一个用于标头，一个用于数据），但是为此的数据不必读取两次吗？

【问题讨论】：

标签： performance header apache-pig

【解决方案1】：

在流式传输或存储功能中执行此操作可能会更容易。

查看 CSVExcelStorage 和 SKIP_INPUT_HEADER 的实现 - http://svn.apache.org/repos/asf/pig/trunk/contrib/piggybank/java/src/main/java/org/apache/pig/piggybank/storage/CSVExcelStorage.java

您可以读取文件的标题，找到“名称”字段的位置，然后只为文件中的所有其他记录返回该位置的字段。

您应该确保每个拆分都是单个文件，因为如果文件在任务之间拆分，则处理文件中不包含标题的部分的任务将无法检测到“名称”字段。

【讨论】：

感谢指向CSVExcelStorage 的指针。我想，写我自己的UDF是解决这个问题的关键。