【发布时间】：2017-10-30 01:53:12
【问题描述】：
它在我的云上占用了 600GB 空间，而我的代码仍在运行。想知道这是否可以删除。
【问题讨论】：
-
它会杀死正在运行的作业，并且您正在运行的作业会在这样做时失败
标签： logging hdfs apache-pig microsoft-distributed-file-system
【发布时间】：2017-10-30 01:53:12
【问题描述】：
不，你不应该这样做。根据我的理解，pig 的临时文件是中间映射器文件，reducer 将在下一步中使用它们。您可以压缩中间文件以节省空间，而不是删除它
使用 gzip，您将获得更好的压缩率 (96-99%)，但速度会降低 4%。
-Dpig.tmpfilecompression=true
-Dpig.tmpfilecompression.codec=gz
您可以在 pig 文档中查看更多调优选项。
【讨论】：