如何使用python将按日期文件夹分区的镶木地板文件从s3读取到数据帧？

Question

使用 python，我应该去 cwp 文件夹并进入 date 文件夹并读取 parquet 文件。 我在 s3 中有这个文件夹结构。

示例 s3 路径：

存储桶名称 = lla.analytics.dev

路径 = bigdata/dna/fixed/cwp/dt=YYYY-MM-DD/file.parquet

s3://lla.analytics.dev/bigdata/dna/fixed/cwp/dt=2021-11-24/file.parquet
                                             dt=2021-11-25/file.parquet
                                             dt=2021-11-26/file.parquet
                                             ........................
                                             ........................
                                             dt=YYYY-MM-DD/file.parquet

我应该访问最近的日期文件夹并将文件从 s3 读入数据帧

Answer 1

我看到你有 pyarrow 标记。如果您想使用 pyarrow（免责声明，我使用 pyarrow），您应该可以这样做：

import pyarrow.fs as fs
import pyarrow.dataset as ds

s3, path = fs.FileSystem.from_uri("s3://lla.analytics.dev/bigdata/dna/fixed/cwp")
dataset = ds.dataset(path, partitioning='hive', filesystem=s3, format='parquet')
table = dataset.to_table()

在 pyarrow 的 filesystem docs 和 tabular dataset 文档中有更多详细信息。 pyarrow cookbook 上也有这方面的食谱。