【问题标题】:How to improve slow uploading to Amazon S3如何改善慢速上传到 Amazon S3
【发布时间】:2020-01-18 16:07:37
【问题描述】:

我正在转换网站以将用户提交的照片和视频直接上传到 Amazon S3,而不是本地服务器。

当我使用小图像文件时,它似乎很好......但现在我尝试使用超过 1MB 的大图像,上传速度太慢且无法使用。

克服这个问题的常用策略是什么?像 YouTube 这样的网站会先上传到他们的本地服务器,然后再转移到 Google Cloud 上吗?如果我有成千上万的用户同时上传,我的本地服务器将无法存储这么多文件,因此我在意识到它有多慢之前就转移到了 S3。

有什么建议吗?

【问题讨论】:

  • “像 YouTube 这样的网站会先上传到他们的本地服务器,然后再转移到 Google Cloud 上吗?”任何以 YouTube 规模运营的人所做的几乎肯定与您的情况无关;他们能够构建他们的整个网络基础设施以完美地适应他们的用例。 GCP 基本上是他们出租多余的硬件,而 YT 的后端几乎肯定在行使 GCP 客户无法使用的功能和服务。
  • 你上传的怎么样了?您使用什么工具或 API?东西上传有多快?您希望他们上传多快?在大多数情况下,S3 上传是我从没想过会成为瓶颈的事情之一(忽略小文件,或者 S3 不适合的情况)。没有更多细节,我们只能猜测您认为上传缓慢的原因。

标签: amazon-web-services amazon-s3


【解决方案1】:

我会采取以下步骤:

  • 在您的 S3 存储桶上启用 Transfer Acceleration

  • 将您的应用程序更改为分多个部分上传文件,使用 S3 Multipart Upload,并使用多线程一次上传多个部分。

【讨论】:

  • 为什么需要多部分?如果不是来自客户端的多部分,加速是否仍然有效?
  • @zumzum Multipart 和 Transfer Acceleration 不相关。分段上传通常更快,因为它可以充分利用您的可用上传带宽。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2022-06-17
  • 2011-07-24
  • 2015-09-21
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2019-11-25
相关资源
最近更新 更多