【问题标题】:Compress billions of files in S3 bucket压缩 S3 存储桶中的数十亿个文件
【发布时间】:2021-05-23 22:24:12
【问题描述】:

我们在 S3 (>1B) 中有很多文件,我想压缩这些文件以降低存储成本。 有什么简单有效的方法来做到这一点?

谢谢

亚历克斯

【问题讨论】:

  • S3 Batch 可能就是您要找的。​​span>
  • 您的目标仅仅是降低成本吗?你熟悉Object Storage Classes – Amazon S3吗?您可以降低存储成本,但需要权衡耐用性和访问速度。例如,Glacier Deep Archive 存储类可以将存储成本降低 95%,但不能立即访问数据。这比压缩文件要简单得多。你能告诉我们更多关于这些文件是如何使用的吗?
  • @JohnRotenstein 是的,存储成本是这里的主要驱动力。但我需要保持数据可访问。
  • @Dunedan 你的意思是使用 S3 批处理和自定义 Lamda,这将压缩文件?

标签: amazon-web-services amazon-s3 gzip brotli zstd


【解决方案1】:

Amazon S3 无法压缩您的数据。

您需要编写一个程序来在 Amazon EC2 实例上运行

  • 下载对象
  • 压缩它们
  • 将文件上传回 S3

另一种方法是使用存储类:

  • 如果不经常访问数据,请使用 S3 标准 - 不经常访问 - 只要每月访问数据少于一次,就可以立即使用并且更便宜
  • 冰川要便宜很多,但需要一些时间来恢复(恢复速度与成本有关)

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2019-07-18
    • 2016-01-11
    • 1970-01-01
    • 1970-01-01
    • 2021-12-03
    • 2021-08-10
    • 2023-03-29
    • 2018-08-25
    相关资源
    最近更新 更多