使用相同的 Pig 脚本存储多个文件

Question

文件有数据：

A 12345
B 32122
C 23232

什么是只运行一次猪脚本并将第一个 record(A 12345) 存储在一个文件中的选项，second record(B 32122) 在第二个文件中，third(c 23232) 在第三个文件中。现在，如果我们运行 pig 脚本，它将为每个商店运行该作业。请让我知道选项。

Answer 1

使用 SPLIT 运算符根据某个表达式将关系的内容划分为两个或多个关系。根据表达式中所述的条件：

A tuple may be assigned to more than one relation.

A tuple may not be assigned to any relation.

例子

在此示例中，关系 A 被拆分为三个关系，X、Y 和 Z。

A = LOAD 'data' AS (f1:int,f2:int,f3:int);

DUMP A;                
(1,2,3)
(4,5,6)
(7,8,9)        

SPLIT A INTO X IF f1<7, Y IF f2==5, Z IF (f3<6 OR f3>6);

DUMP X;
(1,2,3)
(4,5,6)

DUMP Y;
(4,5,6)

DUMP Z;
(1,2,3)
(7,8,9)

然后根据您的文件名存储 X、Y、Z

我的目标是读取文件并根据标准将记录写入不同的文件它将适合您的问题。

Answer 2

其实猪不是为此而生的。但是，如果您想这样做，则必须编写自定义存储功能。将不得不编写一些扩展 StoreFunc 类的类。更进一步，它必须使用多个输出，因为您想存储在 3 个不同的文件中。

自定义存储功能请参考https://pig.apache.org/docs/r0.7.0/udf.html#Store+Functions。

否则在 pig 中，一个 store 命令将只存储一个别名，只存储在一个文件中。

这样的需求最好写JAVA MR。

Answer 3

您可以尝试使用 MultiStorage() 选项，它将在 piggybank jar 中提供。您需要下载 pig-0.11.1.jar 并将其设置在您的类路径中。

示例：
input.txt

A 12345
B 32122
C 23232

PigScript：

A = LOAD 'input.txt' USING PigStorage(' ') AS (f1,f2);
STORE A INTO 'output' USING org.apache.pig.piggybank.storage.MultiStorage('output', '0');

现在输出文件夹包含 3 个目录 A、B、C 和 文件名（A-0,000 、B-0,000 和 C-0,000 ） 包含实际值
输出$ ls

A       B       C       _SUCCESS

输出$ cat A/A-0,000

A   12345

输出$ cat B/B-0,000

B   32122

输出$ cat C/C-0,000

C   23232