火花 RDD saveAsTextFile gzip

【问题标题】：spark RDD saveAsTextFile gzip火花 RDD saveAsTextFile gzip
【发布时间】：2019-04-27 02:29:24
【问题描述】：

是否可以将 spark rdd 文本文件另存为 gzip？

我可以以某种方式运行它：combPrdGrp3.repartition(10).saveAsTextFile("Combined") 并将其保存为 gzip 文件吗？

【问题讨论】：

我认为您需要传入自定义的OutputFormat，并在其上设置setOutputCompressorClass。可能需要为此使用saveAsNewAPIHadoopFile。

【解决方案1】：

使用

import org.apache.hadoop.io.compress.GzipCodec
combPrdGrp3.repartition(10).saveAsTextFile("Combined", classOf[GzipCodec])

或

sc.hadoopConfiguration.setClass(FileOutputFormat.COMPRESS_CODEC, classOf[GzipCodec], classOf[CompressionCodec])

【讨论】：