AWS S3 Gzip 极慢

Question

我在 S3 实例上有一个 200GB 的大文件，我正在考虑将它移动到我的本地做一些工作。我的想法是先 gzip 文件，然后 scp 到我的本地机器，以减少 S3 的 IO 成本并节省一些时间。

但是，S3 中的 gzip 步骤需要很长时间。 我的想法是S3实际上是一个大磁盘，不知何故，数据实际上是流回EC2，然后又回到S3，IO花费了太多时间。

我想知道如何解决这个问题。

Answer 1

S3 并不是一个真正的大磁盘。有些层可以使它看起来像一个，但它最终不会作为一个运行。使用磁盘读取和写入块，使用 s3 读取/写入整个对象。

我猜你正在尝试使用 s3fs 来执行此操作，它会在对文件执行任何操作之前将文件复制到本地（到 /tmp）。