【问题标题】:Spring Batch with Cutom connection具有自定义连接的 Spring Batch
【发布时间】:2017-07-03 07:07:47
【问题描述】:

我们正在使用spring批处理分区开发项目。我们的要求是我们将上传文件并验证文件中的每条记录,如果所有记录都完美,那么只会存储在数据库中。为此

我们使用 Spring 批量分区 1. ItemReader,CustomItemProcessor 和 CustomWriter.In ItemReader 将读取数据,CustomItemProcessor 将最终验证数据 CustomItemWriter 将持久化preparedStatement 中的所有数据。一旦所有过程完成最终将提交数据,如何在一个连接中做多个线程

【问题讨论】:

    标签: spring


    【解决方案1】:

    您应该正在阅读 csv 文件!您可能可以通过两种方式做到这一点:

    1. 使用并行流:将每条记录映射到一个对象中,使用 Java8 并行流 API 您可以实现这一点
    2. NIO:使用非阻塞 IO 可以更快地实现这一点。

    这篇文章可能会有所帮助:How to read all lines of a file in parallel in Java 8

    【讨论】:

    • 我只在 spring 批处理分区中使用 csv 我分成 5 个分区,所以模拟这 5 个线程将从 csv 读取数据并在准备好的语句中设置添加批处理。最后我将提交连接.这是好方法还是我可以使用的任何其他方法?
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-03-12
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多