【问题标题】:How to send chunks of data to AWS如何将数据块发送到 AWS
【发布时间】:2015-03-22 00:35:57
【问题描述】:

基于sqs.sendMessagenode documentation您现在可以发送最大为 256KB(262,144 字节)的大型有效负载消息”,所以我的消息恰好是比这个尺寸还大!在这种情况下,最好的解决方案是什么?无论如何要发送数据块吗?

谢谢

【问题讨论】:

    标签: javascript node.js amazon-web-services express amazon-sqs


    【解决方案1】:

    没有解决方案可以让您超过 sqs 消息的最大消息大小 256k,但您可以将对象(无论它是什么)存储在例如 s3(或数据库)中,并仅使用 SQS 进行排队作为解决方案的一部分,将某种指针作为 SQS 中消息的一部分,然后作为 Q 处理的一部分,根据需要从 s3 或数据库中检索额外数据。

    【讨论】:

    • 使用 S3 作为大数据的后备存储(同时在主数据集中保留指向数据的指针)是一种常见模式 - 我做了类似的回答 here
    【解决方案2】:

    我建议看看sns-sqs-big-payload 中实现的解决方法

    简而言之,这个包的想法是当它超出了在 S3 中存储消息内容的限制时。

    【讨论】:

      猜你喜欢
      • 2018-01-15
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2023-04-01
      相关资源
      最近更新 更多