【问题标题】:How does Amazon S3 scale multiple and large file uploads?Amazon S3 如何扩展多个大文件上传?
【发布时间】:2017-07-20 06:42:55
【问题描述】:

我正在使用 AWS Python SDK 将对象放入 Amazon S3 存储中。

假设我连续上传 100 个不同的文件(大小从 MB 到 GB 不等),Amazon S3 如何处理这种情况?

是否需要等待每个请求成功,还是可以连续上传,由S3内部处理?

如果 S3 处理这种情况,它是否有任何内置机制,如队列或并行处理?

【问题讨论】:

    标签: amazon-web-services amazon-s3


    【解决方案1】:

    Amazon S3 是一个高度可扩展的分布式系统,每秒可处理数百万个事务。它被非常大的服务使用,使其承受的负载比您的要求大得多。例如,在欧洲,它用于存储 DropBox 用户的数据。

    Amazon S3 可以处理您的并行请求,因此您无需在请求之间等待,也无需排队请求。可能偶尔会出现短暂的网络错误,因此您的应用程序应检测错误消息并酌情重试。

    最大的限制可能是您的 Internet 带宽(或分配给 Amazon EC2 实例的带宽)。

    底线:别担心。很大。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2018-10-09
      • 1970-01-01
      • 2020-08-14
      • 2014-05-07
      • 2018-04-12
      • 1970-01-01
      相关资源
      最近更新 更多