Apache Pig 如何在加载功能中加入白名单或黑名单？

Question

我想知道是否可以在 Pig 的加载功能中维护白名单或黑名单。假设我正在执行以下操作：

AllData = LOAD '/path/to/dir/CAT*' USING AvroStorage();

这将加载所有以 CAT 前缀开头的文件。

e.g. CAT1, CAT2, CAT3, CAT4, CAT5, CAT6

我想知道是否可以维护一个黑名单以过滤掉假设CAT2, CAT3 或维护一个仅保留CAT1, CAT4, CAT5, CAT6 的白名单。谢谢！

Answer 1

您可以通过在大括号中列出所有文件名后缀来创建白名单，例如：

AllData = LOAD '/path/to/dir/CAT{1,4,5,6}' USING AvroStorage();