用火花将一个大的csv分成多个csv

Question

我想用 spark 在 hdfs 中写一个大数据帧（150 go）。所以我做了：

df.coalesce(10).write.option("header",true).option("delimiter",";").csv("hdfsPath")

我希望每个输出 10 个 15 个分区的 csv 但我得到了一个包含所有数据的 csv 文件，我发现合并不起作用。 有什么办法解决这个问题吗？

Answer 1

在 coalesce 的 Spark 文档之后引用：

如果请求的分区数较多，则保持当前分区数。

您需要按照 nehaev 的建议使用 repartition。