使用已安装的 AWS S3 驱动器与已安装的 EBS 驱动器相比，存在哪些限制？

Question

我想将 AWS S3 存储用于可从 Web 访问并由在我的 amazon-linux EC2 上本地运行的搜索引擎索引的文件。我想使用 S3 而不是更“传统”的 EBS 驱动器，因为无限的存储容量会随着我添加更多文件而扩展——这意味着我不需要安装额外的 EBS 驱动器，因为这些数据超过了 1TB（最大 EBS驱动器大小）。

我正在使用S3FS 安装驱动器。

该系统在安装多个 EBS 驱动器并将文件存储在该驱动器方面有哪些限制？访问时间是否会有相当大的延迟，特别是在使用我的搜索引擎从已安装的 S3 驱动器中索引数百万个文件时？我会在这台机器上使用脚本访问和操作这些文件时遇到其他问题吗？

我想知道，因为 S3 似乎更适合长期存储/备份和向网站提供文件。

Answer 1

EBS 是“传统的”，因为它具有高性能和低延迟，适用于例如数据库。如果您只是存储一堆文件，那么 S3 将是好的且可扩展的。由于延迟的轻微增加，索引可能会变慢，但如果您的索引器可以并行化其索引，那么它应该无关紧要。您可能希望使用 EBS 卷来存储索引本身，或者将索引保存在 RAM 中，否则延迟会对您的应用程序造成一定的伤害……但这取决于您的用例。做一些实验。