【发布时间】:2017-07-20 06:42:55
【问题描述】:
我正在使用 AWS Python SDK 将对象放入 Amazon S3 存储中。
假设我连续上传 100 个不同的文件(大小从 MB 到 GB 不等),Amazon S3 如何处理这种情况?
是否需要等待每个请求成功,还是可以连续上传,由S3内部处理?
如果 S3 处理这种情况,它是否有任何内置机制,如队列或并行处理?
【问题讨论】:
标签: amazon-web-services amazon-s3
我正在使用 AWS Python SDK 将对象放入 Amazon S3 存储中。
假设我连续上传 100 个不同的文件(大小从 MB 到 GB 不等),Amazon S3 如何处理这种情况?
是否需要等待每个请求成功,还是可以连续上传,由S3内部处理?
如果 S3 处理这种情况,它是否有任何内置机制,如队列或并行处理?
【问题讨论】:
标签: amazon-web-services amazon-s3
Amazon S3 是一个高度可扩展的分布式系统,每秒可处理数百万个事务。它被非常大的服务使用,使其承受的负载比您的要求大得多。例如,在欧洲,它用于存储 DropBox 用户的数据。
Amazon S3 可以处理您的并行请求,因此您无需在请求之间等待,也无需排队请求。可能偶尔会出现短暂的网络错误,因此您的应用程序应检测错误消息并酌情重试。
最大的限制可能是您的 Internet 带宽(或分配给 Amazon EC2 实例的带宽)。
底线:别担心。很大。
【讨论】: