以自定义格式将 apache pig 数据输出到文件

Question

我有一个制表符分隔的数据输入，由于数据大小，需要使用 Apache Pig 进行处理。 我已成功加载数据，甚至对其进行了分析，但我想以原始格式将输出存储到文件中，而不是存储元组。

Sample Input
A \t B
A \t B

Sample Output
A \t B
A \t B

而不是（A，B），（A，B）

 Store D into 'output' using PigStorage('\n')

问题出在哪里？

Answer 1

您已加载以制表符分隔的输入，但您正在将其写回 换行 (\n) 分隔。

试试：

Store D into 'output' using PigStorage('\t');

或

Store D into 'output' using PigStorage(); -- tab is the default delimiter

至于输出的具体格式，我建议你看一下 flatten [1] 操作符。

[1]http://pig.apache.org/docs/r0.7.0/piglatin_ref2.html#Flatten+Operator