spring data 如何在事务方法中清理持久化的实体？

Question

我需要通过休眠使用 spring 数据来接收和保存大量数据。我们的服务器分配的 RAM 不足以同时保存所有实体。我们肯定会得到 OutOfMemory 错误。

所以我们需要分批保存数据，这是显而易见的。此外，我们需要使用@Transactional 来确保所有数据都持久化或非持久化，以防出现单个错误。

所以，问题是：@Transactional 方法期间的弹簧数据是否将实体存储在 RAM 中，或者垃圾收集器可以访问已刷新的实体？

那么，使用 Spring Data 处理大量数据的最佳方法是什么？也许弹簧数据不是解决此类问题的正确方法。

Answer 1

@Transactional 方法期间的弹簧数据是否会继续将实体存储在 被刷新的 RAM 或实体可被垃圾访问 收藏家？

实体将继续存储在 RAM 中（即entityManager），直到事务提交/回滚或 entityManager 被清除。这意味着实体只有在事务提交/回滚或 entityManager.clear() 被调用。

那么，处理大量数据的最佳方法是什么？ 春季数据？

防止OOM的一般策略是批量加载和处理数据。在每个批次结束时，您应该刷新并清除entityManager，以便entityManager 可以为CG 释放其托管实体。一般的代码流程应该是这样的：

@Component
public class BatchProcessor {

    //Spring will ensure this entityManager is the same as the one that start transaction due to  @Transactional
    @PersistenceContext
    private EntityManager em;

    @Autowired
    private FooRepository fooRepository;

    @Transactional
    public void startProcess(){

        processBatch(1,100);
        processBatch(101,200);
        processBatch(201,300);
        //blablabla

    }

    private void processBatch(int fromFooId , int toFooId){
        List<Foo> foos =  fooRepository.findFooIdBetween(fromFooId, toFooId);
        for(Foo foo :foos){
            //process a foo
        }

        /*****************************
        The reason to flush is send the update SQL to DB . 
        Otherwise ,the update will lost if we clear the entity manager 
        afterward.
        ******************************/
        em.flush();
        em.clear();
    }
} 

请注意，这种做法只是为了防止 OOM，而不是为了实现高性能。因此，如果您不关心性能，您可以放心地使用此策略。