rclone - 如何列出 AWS S3 存储桶中包含最新文件的目录？

Question

我目前正在使用 rclone 访问 AWS S3 数据，由于我不使用任何一个，所以我不是专家。

我正在访问公共存储桶unidata-nexrad-level2-chunks，我正在查看 1000 个文件夹。要查看这些，我使用 Windows 命令提示符并输入：

rclone lsf chunks:unidata-nexrad-level2-chunks/KEWX

只有一个文件夹在任何时候都写入了实时数据，这就是我需要找到的那个。我如何确定哪一个是我需要的？我可以检查一下哪个文件夹有最新的数据。但是我该怎么做呢？

我的命令的输出如下所示：

1/
10/
11/
12/
13/
14/
15/
16/
17/
18/
19/
2/
20/
21/
22/
23/
... ... ... (to 1000)

如何查找最新数据的写入位置？由于一次只有一个文件夹，我希望它会很简单。

编辑：我意识到我需要一种方法来列出最新文件（连同它的文件夹#），而不是列出所有 999 个目录中可能的每个文件和时间戳。我正在开始一项赏金，并且允许我在不费力地完成所有任务的情况下做到这一点的正确答案将获得赏金。如果列出所有 999 个文件夹中的所有内容需要 20 分钟，那是没有用的，因为到那时下一个文件夹将处于活动状态。

Answer 1

如果您想知道 特定 文件夹和 very latest 文件，您应该编写自己的脚本来检索 所有对象的列表，然后找出哪个是最新的以及它在哪个存储桶中。这是一个执行此操作的 Python 脚本：

import boto3

s3_resource = boto3.resource('s3')

objects = s3_resource.Bucket('unidata-nexrad-level2-chunks').objects.filter(Prefix='KEWX/')

date_key_list = [(object.last_modified, object.key) for object in objects]

print(len(date_key_list)) # How many objects?

date_key_list.sort(reverse=True)

print(date_key_list[0][1])

输出：

43727
KEWX/125/20200912-071306-065-I

遍历这 43,700 个对象需要一段时间！