有没有办法并行化 boto3 的 list_objects_v2 方法？

Question

我目前在我们的 s3 存储桶中有一个位置，需要在最繁忙的时间每小时归档多达 600 万个文件。当前的逻辑如下所示：

def get_responses(bucket, prefix):
    """
        This method will get the file information for a given directory on s3.
        Args:
            bucket (str): name of s3 bucket
            prefix (str): directory within s3 bucket
        Returns:
            list of json responses from S3
    """
    client = boto3.client(
        "s3", aws_access_key_id=S3_ACCESS_KEY,
        aws_secret_access_key=S3_SECRET_KEY)
    continuation_token = None
    responses = []
    # List objects within the given directory until the response is truncated
    while True:
        list_kwargs = dict(
            Bucket=bucket, Prefix=prefix, MaxKeys=1000)
        # Add continuation token if not None
        if continuation_token:
            list_kwargs['ContinuationToken'] = continuation_token
        response = client.list_objects_v2(**list_kwargs)
        # Add valid reponses and update continuation token
        if 'Contents' in response:
            responses += response['Contents']
        # Exit while loop if at the end of the objects
        if not response.get('IsTruncated'):
            break
        continuation_token = response.get('NextContinuationToken')

    return responses

如您所见，这一次迭代超过 1000 个文件，这是 list_objects_v2 的当前限制。在最坏的情况下，这大约需要半个小时，并且会减慢整个工作的速度，而这部分工作最好在一个小时内运行。有没有办法将其并行化，以便您可以一次在每个线程上列出 1000 个文件？

（所有文件都在一个前缀下，不能拆分）

Answer 1

如果有 N 个唯一前缀，那么也许您可以使用现有的 Python 多处理/多线程功能进行 N 个独立调用，最后汇总结果。

如果所有对象都具有相同的前缀，我不确定您是否可以并行列出子集，因为您不会提前知道 NextContinuationToken。但你也许可以编造一些独特的前缀......

如果所有对象都具有相同的前缀，例如dogs/，则可以列出子前缀，例如dogs/a、dogs/b、dogs/c。等对终止文件名的所有可能的第一个字母执行此操作。前缀不必以正斜杠结尾，例如dogs/。如果您需要超过 26 个前缀（假设它们是小写的），那么您可以使用前 2 个字母扩展到 dogs/aa、dogs/ab 等。

另外，如果您有 N 个唯一前缀，请查看 Netflix Metaflow 项目，该项目声称提供并行 S3 操作支持，包括路径列表：

列出 S3 中的下一级路径。如果指定了多个键，列表将并行完成。