【问题标题】:Download all objects from S3 Bucket and send content to SQS从 S3 Bucket 下载所有对象并将内容发送到 SQS
【发布时间】:2018-10-24 07:56:32
【问题描述】:

我正在使用 python boto3 来获取存储桶中的所有对象,但它返回的是键而不是内容

我有一个从 SQS 读取消息的服务(重复的消息也存在于 s3 存储桶中)并执行一些操作。由于一些故障和 sqs 14 天政策,我丢失了一些 sqs 消息。

文件有json数据,每个文件4-8kb不等。

现在我想将所有对象从 s3 重新驱动到 SQS。

有没有办法获取所有文件的内容,然后将它们传输到 SQS ?

【问题讨论】:

  • “将它们转移到 SQS”是什么意思?为什么要将对象的内容放入 SQS 中——它们是文本文件、图像还是二进制文件?如果它们是大物体怎么办?随时编辑您的问题以提供更多信息,我们将能够提供更好的建议。
  • 我使用 s3 作为 sqs 消息的备份。由于 sqs poller 服务的一些故障和停机,sqs 消息丢失,现在我想将消息从 s3 重新驱动到队列
  • 哦!在这种情况下,您将不得不自己编写一些东西,可能与您最初存储它的方式相同。没有将数据从 S3 移动到 SQS 的自动化方法。

标签: amazon-s3 boto3 amazon-sqs


【解决方案1】:

John Rotenstein的评论变成答案:

有没有办法获取所有文件的内容,然后将它们传输到 SQS ?

没有。您将不得不自己编写一些东西,可能与您最初存储它的方式相同。没有将数据从 S3 移动到 SQS 的自动化方法

【讨论】:

    猜你喜欢
    • 2021-05-07
    • 2019-03-28
    • 2017-08-30
    • 2013-12-06
    • 2021-12-07
    • 1970-01-01
    • 2011-10-19
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多