pyspark写入csv中的行数差异

Question

我有一个要写入 HDFS 的 pyspark 数据帧。我正在使用以下命令： df.write.mode("overwrite").option("header", "true").option("sep", "|").csv(outfile, compression="bzip2")

我正在观察一件奇怪的事情。数据框有 366,000 行，我使用 df.count() 函数获得。但是，write 命令的输出只有 72、557 行（wc -l 命令）。理想情况下，每一行都应该在输出中有对应的行。我一直用的write命令有什么问题吗？

Answer 1

事实证明，有些行的所有元素都为空。这导致了行数的差异。

并且这些行是空的，因为在读取数据框时，我传递了一个手动定义的模式。不遵循架构的行作为空行插入到数据框中。