pig中的数据处理，标签分开

Question

我对 Pig 非常陌生，因此在尝试在 Pig 中执行非常基本的处理时遇到了一些问题。

1- 使用 Pig 加载该文件

2- 编写一个处理逻辑来根据 Date 过滤记录，例如，这些行有 2 列 col_1 和 col_2 （假设列是 chararray ），我只需要获取 col_1 和之间有 1 天差异的记录col_2.

3- 最后将过滤后的记录存储在 Hive 表中。

输入文件（制表符分隔）：-

2016-01-01T16:31:40.000+01:00   2016-01-02T16:31:40.000+01:00
2017-01-01T16:31:40.000+01:00   2017-01-02T16:31:40.000+01:00

当我尝试时

 A = LOAD '/user/inp.txt' USING  PigStorage('\t') as (col_1:chararray,col_2:chararray);

我得到的结果如下：- 转储 A；

(,2016-01-03T19:28:58.000+01:00,2016-01-02T16:31:40.000+01:00)
(,2017-01-03T19:28:58.000+01:00,2017-01-02T16:31:40.000+01:00)

不确定为什么？ 请有人帮助我解决如何解析制表符分隔的文件以及如何将该 chararray 转换为 Date 并根据 Day 差异进行过滤？

谢谢

Answer 1

使用ToDate 将列转换为日期时间对象并使用DaysBetween。这应该给出差异，如果差异 == 1 则过滤。最后将其加载到 hive。

A = LOAD '/user/inp.txt' USING  PigStorage('\t') as (col_1:chararray,col_2:chararray);
B = FOREACH A GENERATE DaysBetween(ToDate(col_1,'yyyy-MM-dd HH:mm:ss'),ToDate(col_2,'yyyy-MM-dd HH:mm:ss')) as day_diff;
C = FILTER B BY (day_diff == 1);
STORE C INTO 'your_hive_partition' USING org.apache.hive.hcatalog.pig.HCatStorer();