如何引用pig输出中的列答案

【问题标题】：How to refer to the columns in pig output如何引用pig输出中的列
【发布时间】：2013-11-07 19:53:46
【问题描述】：

我有一个包含以下值的数据文件：

A 1
B 2
C 3
C 3

我写了以下猪脚本。

A = load 'users.txt' as (usr: int, nod: int);
B = GROUP A BY usr;
C = FOREACH B GENERATE group,COUNT(A);

现在，我想使用输出 C 并进一步处理它。如何引用 C 中的值/列？我尝试转储数据，但它们以键值对的形式出现？我是否需要将此输出写入文件，再次加载并处理？

谢谢， TM

【问题讨论】：

【解决方案1】：

在以下列方式创建列时为其命名：

C = FOREACH B GENERATE group as usr,COUNT(A) as countA;

然后可以通过这些名称来引用它们，如下例所示：

D = FOREACH C GENERATE usr, countA;

【讨论】：

【解决方案2】：

如果为列命名很麻烦，例如，如果您有大量列，您还可以通过零索引列号来引用列。与 Davis Broda 发布的代码等效的代码如下所示：

 C = FOREACH B GENERATE group,COUNT(A);
 D = FOREACH C GENERATE $0, $1;

【讨论】：

虽然这是真的，但我不能足够强烈地反对这种做法。它导致难以维护的不可读代码。始终命名您的字段。如果您经常使用的数据源中有很多字段，请创建一个宏来为您命名。
我当然同意。但这仍然有有价值的用例，因为有时您不会编写脚本/软件来维护。有时您只想回答一个关于数据的快速问题。如果您正在编写应该可维护的 Pig，我建议首先使用像 Avro 这样的序列化框架，而不是使用 Pig 特定的命名宏。