如何在 Python 中读取 gzipped parquet 文件

Question

我需要打开一个 gzipped 文件，里面有一个 parquet 文件，里面有一些数据。我在尝试打印/读取文件中的内容时遇到了很多麻烦。我尝试了以下方法：

with gzip.open("myFile.parquet.gzip", "rb") as f:
    data = f.read()

这似乎不起作用，因为我收到一个错误，即我的文件 id 不是 gz 文件。谢谢！

Answer 1

你可以使用pandas模块中的read_parquet函数：

1. 安装pandas和pyarrow：

pip install pandas pyarrow

1. 使用返回DataFrame的read_parquet：

data = read_parquet("myFile.parquet.gzip")
print(data.count()) # example of operation on the returned DataFrame