Spark 从不同的模式目录读取数据帧

Question

我的 spark 程序必须从一个目录中读取，这个目录有不同模式的数据

目录/subdir1/文件
1,10，外星人
1,11，鲍勃

目录/subdir2/文件
2，蓝色，123，芝加哥
2,red, 34, 达拉斯

大约 50 个不同架构的目录。

我的 spark 作业必须从所有这些目录中读取数据并生成一个合并这些文件的文件，如下所示

1、10、外星人；
1, 11, 鲍勃;
2、蓝色、123、芝加哥；
2、red、34、达拉斯；

Spark 数据框要求所有目录中的架构都相同。有什么方法可以读取所有这些不同架构的文件并使用 spark 合并到单个文件中

Answer 1

对于镶木地板和不同的架构，我知道有 2 种策略

1. 如果架构兼容，您可以使用 mergeSchema

   spark.read.option("mergeSchema", "true").parquet("Dir/")
   

文档：https://spark.apache.org/docs/latest/sql-programming-guide.html#partition-discovery

1. 如果列是不兼容的类型，您需要读取单个目录，那么您需要将它们转换为 jsonRDD

   df.toJSON
   

然后联合所有的jsonRDD

   df.toJSON.union(df2.toJSON)

然后转换回镶木地板

   spark.read.json(finalJsonRDD)