【问题标题】:Springboot batch parallel processing (Using annotation)Springboot批处理并行处理(使用注解)
【发布时间】:2018-01-08 23:38:04
【问题描述】:

我想处理数百万条记录,目前我正在 Spring Boot 批处理中使用。单线程工作正常,但我想通过实现并行处理来提高整个进程的速度。这是否可以在不改变读写顺序的情况下实现?

例如:

假设我将提供输入文本文件 1000 个学生详细信息,其中学生编号从 1 到 1000。我想引入创建 10 个线程(每个线程 100 个学生)的并行进程并进行一些操作。处理完所有学生后,我应该根据输入文件生成文本文件输出。

这里的输出文件也需要遵循相同的顺序,学号从1到1000虽然它同时使用多个线程。

【问题讨论】:

    标签: spring spring-boot parallel-processing spring-batch


    【解决方案1】:

    预处理所有键并按照您希望返回它们的顺序创建一个 HashMap (studentkey, studentResponse) 和一个 Collection (ArrayList (studentReponse))。集合中的学生响应与地图中的相同 studentResponse 实例。然后进行并行调用,根据正在处理的键更新地图中 studentReponse 实例的内容。该集合也将更新,因为它具有相同的实例。现在处理集合以创建您的文本文件。

    【讨论】:

      猜你喜欢
      • 2014-12-03
      • 2021-11-08
      • 1970-01-01
      • 1970-01-01
      • 2021-12-15
      • 1970-01-01
      • 1970-01-01
      • 2016-01-03
      • 2011-06-04
      相关资源
      最近更新 更多