【问题标题】:s3fs - Maximum file size limits3fs - 最大文件大小限制
【发布时间】:2020-04-30 14:56:27
【问题描述】:

我需要一些关于 s3fs 的解释,因为在实施之后我遇到了一些棘手的问题。

  1. 使用默认设置创建存储桶后如何检查存储桶设置?命令是什么,或者我们应该参考哪个文件?
  2. 在使用默认设置装载存储桶时,我们在创建/上传最大超过 20 MB 的文件时遇到问题。尽管那里有足够的磁盘空间,但此问题仍然存在。当我们将选项:multipart_size 更改为超过 10(如 20,30)时,我们会增加这个限制,但问题是我们不知道这个计算规则。你能举个例子,以便我们处理吗?

【问题讨论】:

  • 请分享您使用的 s3fs 版本以及写入大文件时出现的错误。通过 s3fs -d -f 包含调试日志也可能很有用。在这种情况下,最终通过 GitHub 提交问题可能比 * 更好。
  • S3FS 版本:V1.79(commit:unknown) with GnuTLS(gcrypt) 挂载命令:# s3fs -o url= OK 操作:#dd if=/ dev/zero of=upload_test10 bs=15971520 count=1 错误操作:# dd if=/dev/zero of=upload_test10 bs=45971520 count=1 dd:关闭输出文件“upload_test10”:不允许操作@AndrewGaul
  • 请升级到最新版本1.86。 1.79 已经 5 岁了,有很多很久以前就修复的错误。

标签: amazon-s3 s3fs


【解决方案1】:

s3fs 对大于固定大小(默认为 20 MB)的文件使用分段上传。您正在使用的对象存储似乎不支持这一点,您可以在调试日志中进行验证。您应该可以通过 -o nomultipart 标志解决此问题。

【讨论】: