【问题标题】:Field count in PIGPIG 中的字段计数
【发布时间】:2014-03-05 22:43:44
【问题描述】:

有什么方法可以找到关系中可用的字段或列的数量?

例如:

a = load 'input' using PigStorage(',') as (a1,a2,a3);

b = load 'input2' using PigStorage(',') as (b1,b2,b3);

C = join a by a1, b by b1;

现在结果“c”中有六列。有没有办法通过代码检查结果中的列数。

谢谢,

卡莱

【问题讨论】:

  • 我能想到的最好的办法是在 Pig 之外进行 DESCRIBE C; 计数(即手动手动)。

标签: hadoop apache-pig


【解决方案1】:

PIG 不提供任何有意计算列的方法,但使用 pig 中字段计数的方法之一是首先存储文件,然后计算文件中的分隔符数。

示例:-(使用的分隔符是“|”)

%declare COUNT hadoop fs -cat //trihadn01/user/ykale/warranty_recs | head -1| tr '|' '\n'|wc -l;

然后在猪需要的地方使用这个变量 - COUNT。

注意-请不要错过语句末尾和变量名(计数)后面的'`'符号

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-01-18
    • 1970-01-01
    相关资源
    最近更新 更多