我有一个 Spring Boot 应用程序，它在启动时会下载大约 300 MB 的数据并将其保存到路径 /app/local/mydata。目前，我只有一个带有单个节点的开发环境，这不是问题。但是，一旦我创建了一个（比如说）10 个节点的 prod 实例，每个节点单独下载相同的 300 MB 数据会浪费数据带宽。这会给从中下载数据的服务带来很大压力。而且数据流入/流出 EC2 会产生成本。
我可以使用 touchfile 构建一个逻辑，以确保只有一个盒子下载数据，而其他盒子则等到下载完成。但是，我不知道在哪里下载这些数据，以便其他节点也可以读取。
有什么建议吗？
【问题讨论】：
标签： amazon-web-services amazon-ec2 spring-boot share amazon-elastic-beanstalk
如果您想将其保存在文件中，请将其下载到 S3，但听起来您可能需要将数据放入数据库 (RDS) 或缓存在 Redis (ElastiCache) 中。
我不确定“touchfile”是什么，但我认为您的意思是某种文件锁定机制。我不认为这是跨多个服务器进行协调的最佳选择。我可能会使用具有一致读取和条件写入的 DynamoDB 表作为分布式锁定机制。
您下载的数据多久更改一次？也许您可以安排一个 Lambda 函数来定期刷新数据并更新数据库或其他什么？
一般来说，你需要停止考虑使用网络服务器的本地文件系统来处理这类事情。
【讨论】：
@ScheduledSpring注解每3小时触发一次下载。 'touchfile' 技巧确实是你所理解的。我同意这不是一个好方法。我喜欢你使用 S3 的建议。是否可以像从 Java FileSystem 那样对它进行写入和读取？如果没有，那么我会遇到问题，因为我正在使用的库将数据下载到FileSystem。很遗憾，我无法修改库。
@Scheduled 意味着作业将在每台Web 服务器上运行。因此，现在您必须处理并发问题，并且还要担心 Elastic Beanstalk 缩减操作会杀死可能正在下载数据的服务器。如果是我，我根本不会在 Elastic Beanstalk 上运行计划作业。