用于在 S3 中缓存数百万个文件的 AWS 存储网关答案

【问题标题】：AWS Storage gateway for caching millions of files in S3用于在 S3 中缓存数百万个文件的 AWS 存储网关
【发布时间】：2018-11-29 02:13:27
【问题描述】：

我们有一个用例，我们需要从 Java 应用程序访问几乎数百万个文件。目前我们将它们存储在 EBS 卷中。这是一个昂贵的选择（因为我们现在已经达到 15TB）所以我们正在寻找 S3 作为文件存储。我们可以承受延迟。

一种选择是使用 s3fs 挂载 S3 并访问文件。但我正在探索 AWS 存储网关的选项，如果它可以提供更好的缓存和更快的访问。我们在 s3fs 方面遇到了很多问题，因此一直在寻找替代方案。

【问题讨论】：

您是否评估过sc1 EBS 卷是否适用于您的用例？在多 TB 大小时，它们具有令人印象深刻的性能，但成本仅为 gp2 的 25%。那么你就只有普通的磁盘了。
这是一个很好的建议。我将在这方面进行更多探索。从成本来看，S3 和 sc1 的 16TB 存储成本大致相同

【解决方案1】：

尽可能避免使用 s3fs，因为它只是模拟文件系统，并且可能会遇到利用率高的问题。

最佳解决方案是让您的应用程序通过 S3 API 调用直接从 Amazon 访问文件，而不是假装 S3 是一个文件系统。这对于大型应用程序非常有效，并且您不会有管理/维护开销，因为您的应用程序直接与 S3 通信。你应该认真考虑这个选项。

如果您确实需要通过文件系统访问文件，请考虑使用AWS Storage Gateway – File Gateway，它可以将 S3 存储呈现为 NFS 共享。

【讨论】：

谢谢约翰。我们当前的架构期望文件位于文件系统类型的挂载中，因此正在寻找仅将文件从 EBS 移动到 s3 而不更改 java 代码的选项。如果我可以通过存储网关获得它，那么它很好。我会牢记 s3 api 以备将来增强。