如何使用 pyspark 从 S3 存储桶中的最新文件中获取日期

Question

我得到了在 PySpark 中的要求，我需要从 s3 中的文件中获取最新日期。

如何使用 Pyspark 代码获取日期？

s3文件路径，示例：

"s3://bucketname/folderpath/2021/10/10/file.parquet, s3://bucketname/folderpath/2021/10/08/file.parquet, s3://bucketname/folderpath/2021/10/05/file.parquet, s3://bucketname/folderpath/2021/10/02/file.parquet"

输出：从 S3 获取最新的文件日期路径，并从路径中选择日期并分配给变量。

示例：

• 最新路径：s3://bucketname/folderpath/2021/10/10/file.parquet
• 日期变量：date = 20211010

Answer 1

file_paths = sc\
               .wholeTextFiles("s3://bucketname/folderpath/*/*/*/*.parquet")\
               .map(lambda x: x[0]).collect()

most_recent_file = max(file_paths)

Date_variable = most_recent_file.split("/")[4] + \
                most_recent_file.split("/")[5] + \
                most_recent_file.split("/")[6]

print(Date_variable)

Out: '20211010'