从目录读取镶木地板文件时，pyspark不保存

Question

我正在尝试将大量 parquet 文件从一个目录加载到 pyspark，然后将它们保存到另一个目录。

我的代码如下：

df = spark.read.parquet('input_folder') \
  .write \
  .parquet('output_folder')

我收到大量错误列表，从：

发生异常：Py4JJavaError 调用时发生错误 o30.parquet.

当我尝试使用一个文件时 - 一切都很好：

df = spark.read.parquet('input_folder/file1.parquet') \
  .write \
  .parquet('output_folder')

计数记录工作正常：

df = spark.read.parquet('input_folder') \
  .count()

可能是什么原因？

Answer 1

原因是第一个 parquet 文件是空的。希望它可以帮助某人。