Spring RESTful Web 服务 - 大容量数据处理

Question

我正在尝试构建一个 Spring/Spring Boot-RESTful Web 服务，

1. 它接受一个 CSV 文件，每行有 100 万行/40 列作为输入（来自基于 Angular 的前端），并且将是一个同步调用。在进入其他屏幕之前，必须通知用户上传状态。所以，等待时间不能超过几分钟（比如 5 分钟）。

2. 这些行中的每一行都必须根据 DB 中的内容进行验证，如果发现有效，则将其插入 DB。简而言之，每一行都可以是一个单独的独立事务。

您能否建议实现这一点的最佳方法是什么？

当前的遗留系统在存储过程中实现了相同的功能，这使得解决方案与 DB 紧密耦合，如果需要更改 RDBMS，这将是一个问题。

1. 在异步 Web 服务调用中处理这 100 万个数据块（比如 20k）的任何方法？

2. 春季批次？

3. 存储过程能否比上述两个选项更合适、性能更好（猜不出来！）？

您能否提供一些至少与存储过程一样好的方法以及如何根据建议的解决方案进行水平扩展。

Answer 1

您的三个建议选项走在了正确的轨道上。很遗憾，您的问题的答案是，这取决于。

以上任何一种方法都适合您。我个人更喜欢 Spring Batch，因为我发现编程模型简单直观。

Spring Batch Processing Guide

---

另一种方法是使用Messaging 来并行处理行：

1. 控制器收到包含大量数据的 CSV 文件
2. 将数据拆分成更小的部分并发送到临时消息队列
3. 多个工作节点接收消息并处理它们
4. 监控临时队列的大小并相应地更新用户（完成百分比）

---

简而言之，您对自己领域的了解最终将引导您找到适合您业务的最佳解决方案。