chmod/chown 在 EC2 上使用 S3FS 存储的文件很慢

【问题标题】：chmod/chown is slow on files stored using S3FS on EC2chmod/chown 在 EC2 上使用 S3FS 存储的文件很慢
【发布时间】：2021-05-10 18:37:17
【问题描述】：

我有一个安装了 s3fs 的 EC2 服务器。

我注意到，如果我尝试更改权限或所有者，需要 40 多秒到 1 分钟。

$ ls -ltr directory
-rwxrwxrwx 1 apache apache 6444069321 Feb  6 15:54 big.zip
-rwxrwxrwx 1 apache apache 6444069321 Feb  6 16:12 big_1.zip
$date
Sat  6 Feb 17:30:43 UTC 2021
$ chown apache:apache big.zip
$ date
Sat  6 Feb 17:31:07 UTC 2021

但如果我在 Linux 服务器上执行相同操作，则更新它需要几分之一秒。请让我知道加快速度的建议。

【问题讨论】：

检查您的 S3 存储桶是否与您的 EC2 服务器位于同一本地化/区域

标签： linux amazon-s3 amazon-ec2 chown s3fs

【解决方案1】：

S3FS 尝试使 S3-Bucket 显示为本地文件系统的一部分，就好像它是常规块存储一样，它不是。

S3 是对象存储，这意味着如果要编辑对象的部分内容或对象上的元数据，则需要覆盖整个对象，这在时间上很昂贵。

您更改存储在 S3 中的文件的所有者将转换为 S3 中 object metadata 中的更改。对象元数据是不可变的，这意味着需要重新上传整个对象并附加新的元数据。

这与基于块存储的常规文件系统的工作方式根本不同。在这种情况下，它只需将单个块（通常大约 4KB-16KB）写入设置位时更改的磁盘。使用 S3，您需要重新上传整个对象。

这是 S3FS 是 leaky abstraction 的情况。

如果您需要在多个 EC2 实例之间共享存储，弹性文件系统 (EFS) 是一个更好的选择，您应该考虑一下。你描述的操作会快很多。

【讨论】：