在 azure databricks 中读取包含带有镶木地板文件的子文件夹的文件夹时出错

Question

我正在阅读 azure databricks 中 adls 中的一个文件夹，其中包含包含 parquet 文件的子文件夹。

路径 - base_folder/文件名/

filename 有 2020、2021 等子文件夹，这些文件夹又有月和日的子文件夹。

所以实际 parquet 文件的路径类似于 - base_folder/filename/2020/12/01/part11111.parquet。

如果我提供基本文件夹路径，我会遇到以下错误。

我也尝试过下面的命令，但它显示相同的错误。 Unable to infer schema for Parquet. It must be specified manually

请帮助我读取一个数据帧中所有子文件夹中的所有 parquet 文件。

Answer 1

• 您的第一个错误：Unable to infer schema for Parquet 通常发生在您尝试将空目录读取为镶木地板时。您可以在路径中指定*，它将通过子目录，请看这里：Reading parquet files from multiple directories in Pyspark。

• 第二个错误：您使用的是 Scala API，而您提供的示例是 Python 中的。 DataFrameReader API 不同。参考：Scala - DataFrameReader - Python - DataFrameReader

尝试：

spark.read.format("parquet").load(landingFolder)

此处指定： Generic Load/Save Functions