PIG：研究许多文件

Question

我是 PIG 的新手，我有一个问题。不知道有没有可能。

首先，我有一个文件：

?(A, B, C, D) :- File1(A), File2(B), File3(C), File4(A, B), File5 (A, C), File6(C, B) , 文件 7(A, D)。

我必须在 PIG 中创建一个脚本，获取这个文件，然后，对于每个条目，研究文件中的参数 ...

比如这个，脚本要在File1中找到参数A，在File2中找到B，File3C ...

但我不知道有多少文件。它们只能有 1 个或 2 个参数。

我可以轻松加载这些文件，它们都有 2 列。

对于每个文件{

A = 使用 PigStorage (':') 加载 'FileX' 作为 (Col1:chararray, Col2:chararray);

B = 按 Col1 == X AND Col2== Y 过滤 A；

使用 PigStorage(' ') 将 B 存储到“结果”中；

}

这种类型的代码可能吗？

在第二种方式中，我想用相同的参数重新组合文件： 对于 File1、File5 和 File7 通过一个组，或者什么... 避免重复相同的过滤。 我做了很多测试，但我没有发现任何有用的东西。 谢谢你:)

Answer 1

这种类型的代码可能吗？

不，Pig 只是一个数据流，没有控制流。

Pig Latin 是一种数据流语言。不同于通用编程 语言，它不包括控制流结构，例如 if 和 为了。 ref.

您可以将 Pig 脚本嵌入 python java 或 java-script 脚本以启用流控制，请参阅here。

Answer 2

你可能在这里有一个shell脚本和pig的组合。

你的猪脚本应该看起来像

A = load '$inputfile' using PigStorage (':') as (Col1:chararray, Col2:chararray);
B = filter A by Col1 == X AND Col2== Y;
STORE B INTO 'result' using PigStorage(' ');

然后你从 shell 调用这个 pig 脚本

你可以做一个

for a in `hadoop fs cat <firstfile> | awk -F "," '{print $0}'`
do
pig -f script.pig -param inputfile=$a
done