【问题标题】:S3 objects without prefix performance没有前缀性能的 S3 对象
【发布时间】:2019-05-13 08:19:20
【问题描述】:

我正在尝试找出使用随机键且没有“前缀”的存储对象是否会给我每个对象 5500 Get/sec 的 S3 最大性能,或者因为我没有前缀所有没有前缀的对象都属于“无前缀”类别并共享 5500 个限制。

示例:以下对象直接存储在桶中

njfoia74G.obj
njfoia74G.obj
njfoia74G.obj

我会为每个对象获得 5500 Get/Sec,还是他们共享?

S3 文档表明 ky 不是前缀的一部分,因此不确定如何计算这些对象的吞吐量。

https://docs.aws.amazon.com/AmazonS3/latest/dev/UsingMetadata.html#object-keys

有没有人做过基准测试或有文档可以回答这个问题?

【问题讨论】:

  • 如果它们直接存储在存储桶中,那么它们将共享 5500 次获取请求限制。

标签: amazon-web-services amazon-s3


【解决方案1】:

来自Request Rate and Performance Guidelines - Amazon Simple Storage Service

您的应用程序可以在存储桶中每个前缀每秒至少完成 3,500 个 PUT/POST/DELETE 和 5,500 个 GET 请求。

存储桶的根实际上是一个空前缀,因此根中的所有对象都将共享该限制。

顺便说一句,很少有系统会接近这些体积。如果您有数百万用户(每小时产生超过 1000 万次请求),那么一定要实施一些推荐的技术。但是绝大多数网站永远不需要担心它。

【讨论】:

  • 感谢您的回答,我想我应该开始考虑添加前缀,因为我很快就会在下一个高峰达到 ~4500GET/sec,所以我最好计划明年的高峰流量超过 5500 .
猜你喜欢
  • 1970-01-01
  • 2013-03-10
  • 2014-09-23
  • 2021-08-06
  • 2021-12-07
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2021-04-05
相关资源
最近更新 更多