在 Pig 中执行 JOIN 然后 FILTER 后出现“无效的标量投影”错误答案

【问题标题】："Invalid scalar projection" error after doing a JOIN and then FILTER in Pig在 Pig 中执行 JOIN 然后 FILTER 后出现“无效的标量投影”错误
【发布时间】：2014-07-14 23:09:00
【问题描述】：

我正在使用Pig 0.12.1。为什么我在通过LEFT OUTER 执行JOIN 后FILTER 出现错误？

这是一个修改过的例子：

A = LOAD '$file1' USING PigStorage('\t') AS (idA:int, manufacturer:chararray);
B = LOAD '$file2' USING PigStorage('\t') AS (idB:int, price:float);
C = JOIN A BY idA LEFT OUTER, B BY idB;
D = FILTER C BY price > 2.0;

为什么我在D 上收到此“无效标量投影”错误：

ERROR pig.PigServer: exception during parsing: Error during parsing. Pig script failed to parse:
Invalid scalar projection: D

【问题讨论】：

标签： hadoop mapreduce apache-pig

【解决方案1】：

试试这个，您可以通过以下方式访问价格列，

D = FILTER C BY $3 > 2.0;
or
D = FILTER C BY B::price > 2.0;

【讨论】：

【解决方案2】：

尝试考虑关系中的任何NULLs。

D = FILTER C BY price > 2.0 AND price is not null;

【讨论】：