如何使用 pyarrow 查询镶木地板文件

【问题标题】：How to query on parquet files using pyarrow如何使用 pyarrow 查询镶木地板文件
【发布时间】：2021-12-06 02:24:52
【问题描述】：

我有一个包含 35 列的镶木地板文件，我必须使用 pyarrow 检查列中是否存在特定值。有人知道该怎么做吗？

【问题讨论】：

【解决方案1】：

dataset 文档中的示例可能有用：

类似：

dataset = ds.dataset(base / "parquet_dataset", format="parquet")
dataset.to_table(columns=['a'], filter=ds.field('a') >= 7).to_table

【讨论】：