如何使用 Pig 将分组记录存储到多个文件中？答案

【问题标题】：How to store grouped records into multiple files with Pig?如何使用 Pig 将分组记录存储到多个文件中？
【发布时间】：2012-02-16 15:52:51
【问题描述】：

加载和分组记录后，如何将这些分组记录存储到多个文件中，每组一个 (=userid)？

records = LOAD 'input' AS (userid:int, ...);
grouped_records = GROUP records BY userid;

我正在使用 Apache Pig 版本 0.8.1-cdh3u3（重新导出）

【问题讨论】：

【解决方案1】：

确实，Piggybank 处有一个 MultiStorage 类，它完全符合我的要求 - 它按指定属性（在我的示例中位于索引“0”处）分割记录：

STORE records INTO 'output' USING org.apache.pig.piggybank.storage.MultiStorage('output', '0', 'none', ',');

【讨论】：

【解决方案2】：

 A = LOAD 'mydata' USING PigStorage() as (a, b, c);  
 STORE A INTO '/my/home/output' USING MultiStorage('/my/home/output','0', 'bz2', '\\t');

参数：

参考：GrepCode

【讨论】：