Spark partitionBy |按列值而不是 columnName={value} 保存

Question

我使用的是scala和spark，我的spark版本是2.4.3

我的数据框看起来像这样，还有其他列我没有放置并且不相关。

+-----------+---------+---------+
|ts_utc_yyyy|ts_utc_MM|ts_utc_dd|
+-----------+---------+---------+
|2019       |01       |20       |
|2019       |01       |13       |
|2019       |01       |12       |
|2019       |01       |19       |
|2019       |01       |19       |
+-----------+---------+---------+

基本上我想以分桶格式存储数据，例如

2019/01/12/数据

2019/01/13/数据

2019/01/19/数据

2019/01/20/数据

我正在使用以下代码 sn-p

  df.write
  .partitionBy("ts_utc_yyyy","ts_utc_MM","ts_utc_dd")
    .format("csv")
    .save(outputPath)

但问题是它与下面的列名一起存储。

ts_utc_yyyy=2019/ts_utc_MM=01/ts_utc_dd=12/数据

ts_utc_yyyy=2019/ts_utc_MM=01/ts_utc_dd=13/数据

ts_utc_yyyy=2019/ts_utc_MM=01/ts_utc_dd=19/数据

ts_utc_yyyy=2019/ts_utc_MM=01/ts_utc_dd=20/数据

如果文件夹名称中没有列名，如何保存？

谢谢。

Answer 1

这是预期的行为。 Spark 使用 Hive 分区，因此它使用此约定进行写入，从而启用分区发现、过滤和修剪。简而言之，它通过确保读取最少的数据量来优化您的查询。

Spark 并不是真正为您需要的输出而设计的。解决此问题的最简单方法是创建一个下游任务，该任务将通过在等号上拆分来简单地重命名目录。