read parquet 时 read.partitions optin 有什么用

Question

我发现下面的代码段可以使用 pyspark 读取 parquet 文件。

df = spark.read.format('parquet').option("read.partitions", "6").load(pq_loc)

但我找不到任何关于 option("read.partitions", "6") 的参考资料。这个选项有什么用？有没有什么地方可以找到所有可用的从镶木地板上阅读的选项？

Answer 1

您可以参考下面的文档使用 pyspark 读取parquet 文件。

https://spark.apache.org/docs/latest/sql-data-sources-parquet.html

option一般用于具体说明你要如何读取文件，这里"read.partitions", "6"表示你要分6个部分读取文件。