在 Parquet Partitioned Dir 结构中读取不同的模式

Question

我在使用 spark 编写的 hdfs 上有以下分区镶木地板数据：

year
 |---Month
      |----monthlydata.parquet
      |----Day
            |---dailydata.parquet

现在，当我从年份路径读取 df 时，触发读取 dailydata.parquet。我如何从所有分区中读取每月数据。我尝试使用设置选项 mergeSchema = true 会出错。

Answer 1

我会敦促您停止执行以下操作：

year
 |---Month
      |----monthlydata.parquet
      |----Day
            |---dailydata.parquet

当您从year/month/ 甚至只是year/ 阅读时，您不仅会收到monthlydata.parquet，还会收到dailydata.parquet。对于您遇到的错误，我不能说太多（请发布），但我的谦虚建议是分离 HDFS 中的路径，因为您已经在复制数据：

dailies
 |---year
     |---Month
          |----Day
                |---dailydata.parquet
monthlies
 |---year
     |---Month
          |----monthlydata.parquet

您将它们保存在同一个目录中是有原因的吗？

但是，如果您坚持使用这种结构，请使用以下内容：

schema = "dailydata1"
val dfList = dates.map { case (month, day) =>
  Try(sqlContext.read.parquet(s"/hdfs/table/month=$month/day=$day/$schema.parquet"))
}
val dfUnion = dfList.collect { case Success(v) => v }.reduce { (a, b) =>
  a.unionAll(b)
}

您可以在dailydata1、dailydata2 等之间切换schema。