PIG TRIM 和 UPPER

Question

我是 Hadoop 编程的新手，在 pig 中寻求帮助。我有来自simple.txt 格式的数据为, 分隔符。我有两个用例。我想在所有列上执行ltrim(rtrim())，然后针对选定字段转到UPPER。

这是我的脚本：

party = Load '/party_test_pig.txt' USING PigStorage(',') AS(....);
Trim_party = FOREACH Upper_party GENERATE TRIM(*);
Upper_party = FOREACH party GENERATE UPPER(col1), UPPER(col2), UPPER(col3);

Upper_party:大写后，我想查看所有列，而不仅仅是更改为大写的列。

Trim_party:做了一些研究并发现，要修剪所有列，我必须编写一个 UDF。我可以做Trim_party = FOREACH Upper_party GENERATE TRIM(col1)...TRIM(coln);，但我觉得这不是一种有效的方法并且很耗时。

有没有其他方法，我可以在不为 Trim 编写 UDF 的情况下使这个脚本工作？

提前致谢。

Answer 1

如果您提供数据样本会更容易。据我了解，我会这样做：

-- Load each line as one string with TextLoader
A = LOAD '/user/guest/Pig/20151112.PigTest.txt' USING TextLoader() AS (line:CHARARRAY);
-- Apply TRIM and UPPER transformation, it will keep spaces that are inside your strings
B = FOREACH A GENERATE UPPER(line) AS lineUP;
-- Split lines with your delimiter
C = FOREACH B GENERATE FLATTEN(STRSPLIT(lineUP, ',')) AS (col1:CHARARRAY, ... ,coln:CHARARRAY);
-- Select the columns you need
D = FOREACH C GENERATE TRIM(col1) AS col1T, ..., TRIM(coln) AS colnT;