Apache PIG - 如何更改文件的标准输出名称“part-r-00000”？

Question

我有一个 .pig 脚本，它创建一个包含一些计算数据的文件。 我希望输出文件名为“result.txt”，而不是无意义的标准输出名称“part-r-00000”。

我的 .pig 脚本中的最后一个条目是

使用 PigStorage() 将 C 存储到“结果”中；

因此，“result”是 HDFS 中应该存储 result.txt 的文件夹的名称。

我该怎么做？

Answer 1

part-r-XXXXX 并非毫无意义，具体取决于您打算如何使用它们。如果您需要将此 pig 脚本的结果加载到另一个 pig 脚本中，您可以这样做：

A = LOAD 'result' USING PigStorage() AS (...) ;

LOAD 可以将目录作为输入，并将加载该目录中的每个文件。

如果您需要将输出（本地）作为单个文本文件处理，那么 PIG 没有任何内置功能可以完成此操作。您需要编写一个脚本来从 hdfs 中提取结果并将所有 part-r-XXXXX 文件连接在一起。