编写 Parquet 文件时如何指定分区数？答案

【问题标题】：How to specify number of partitions when writing a Parquet file?编写 Parquet 文件时如何指定分区数？
【发布时间】：2023-03-28 02:42:01
【问题描述】：

parquet_writer.write_table(表)

这一行写入一个文件。文档说：这将创建一个 Parquet 文件。在实践中，Parquet 数据集可能包含许多目录中的许多文件。我们可以使用 read_table 读取单个文件：

PyArrow 有没有办法以目录的形式创建一个 parquet 文件，其中包含多个部分文件，例如：

ls -lrt permit-inspections-recent.parquet  
...  14:53 part-00001-bd5d902d-fac9-4e03-b63e-6a8dfc4060b6.snappy.parquet  
...  14:53 part-00000-bd5d902d-fac9-4e03-b63e-6a8dfc4060b6.snappy.parquet

问候，
亚什

【问题讨论】：

标签： parquet pyarrow

【解决方案1】：

您需要告诉 Arrow 如何对数据进行分区。这是通过partition_cols 参数完成的。见这里：https://arrow.apache.org/docs/python/generated/pyarrow.parquet.write_to_dataset.html

【讨论】：