使用 Spring Data JPA Stream 获取数据

Question

下面是我的控制器

public class TestController {

@PersistenceContext
EntityManager entityManager;

@Autowired
ProductAltRepository productAltRepository;

@GetMapping("/findAll")
@Transactional(readOnly = true)
public void findAll() {

    Stream<ProductAltRelEntity> productAltRelEntities = productAltRepository.findAllProductAlts();
    List<ProductAltRelEntity> productAlts = Lists.newArrayList();
    productAltRelEntities.forEach(x -> {
        productAlts.add(x);
        entityManager.detach(x);
    });
    }

这里是存储库

@Repository
@Transactional
public interface ProductAltRepository
        extends JpaRepository<ProductAltRelEntity, Long>, JpaSpecificationExecutor<ProductAltRelEntity>{
@QueryHints(value = { @QueryHint(name = HINT_FETCH_SIZE, value = "" + Integer.MIN_VALUE),
            @QueryHint(name = HINT_CACHEABLE, value = "false"), @QueryHint(name = HINT_READONLY, value = "true"), })
    @Query("SELECT p FROM ProductAltRelEntity p")
    public Stream<ProductAltRelEntity> findAllProductAlts();
}

要求是findAll()，分页给OOM，所以想用Stream，结果出现异常。

    [WARN] org.hibernate.engine.jdbc.spi.SqlExceptionHelper - SQL Error: 17068, SQLState: 99999

2019-11-15 12:30:31.468 错误 7484 --- [nio-8082-exec-1] o.h.engine.jdbc.spi.SqlExceptionHelper：调用中的参数无效：setFetchSize [错误] org.hibernate.engine.jdbc.spi.SqlExceptionHelper - 调用中的参数无效：setFetchSize 2019-11-15 12:30:31.793 错误 7484 --- [nio-8082-exec-1] c.s.e.d.d.e.GlobalExceptionHandler：未处理的异常： org.springframework.orm.jpa.JpaSystemException：无法使用滚动执行查询；嵌套异常是 org.hibernate.exception.GenericJDBCException：无法使用滚动执行查询 原因：org.hibernate.exception.GenericJDBCException：无法使用滚动执行查询 原因：java.sql.SQLException：调用中的参数无效：setFetchSize

Answer 1

读取错误日志，您需要将流式代码放在 try 块中，即

try(Stream<ProductAltRelEntity> productAltRelEntities = productAltRepository.findAllProductAlts()){
    List<ProductAltRelEntity> productAlts = Lists.newArrayList();
    productAltRelEntities.forEach(x -> {
        productAlts.add(x);
        entityManager.detach(x);
    });
} catch(Exception ex) {ex.printStackTrace();}

我注意到的另一件事是，您不需要将 @Transactional 放入 ProductAltRepository，因为您已经将它放入了 TestController。

为了流式传输结果，我们需要满足三个条件：

Forward-only resultset
Read-only statement
Fetch-size set to Integer.MIN_VALUE

Spring Data 似乎已经设置了Forward-only，所以我们不必对此做任何特别的事情。您的代码示例已经在 TestController 中有 @Transactional(readOnly = true) 注释，足以满足第二个条件，因此 @QueryHint(name = HINT_READONLY, value = "true") 没有用。 fetch-size 似乎很有用。

以下是我的一个项目的摘录：

import org.springframework.data.jpa.repository.JpaRepository;
import org.springframework.data.jpa.repository.JpaSpecificationExecutor;
import org.springframework.data.jpa.repository.Query;
import static org.hibernate.jpa.QueryHints.HINT_FETCH_SIZE;

public interface IssueRepo extends JpaRepository<Issue, Long>, JpaSpecificationExecutor<Issue> {    
    
    @QueryHints(value = @QueryHint(name = HINT_FETCH_SIZE, value = "" + Integer.MIN_VALUE))
        @Query("select t from Issue t ")
        Stream<Issue> getAll();
    }

控制器

public class ManageIssue {
@GetMapping("all/issues")
    @Transactional(readOnly = true)
    public String getAll() {
        System.out.println("Processing Streams ...");
        try(Stream<Issue> issuesList = issueRepo.getAll()){
        
        issuesList.forEach(issue -> {
             System.out.println(issue.getId()+" Issue "+issue.getTitle());
            });
        } catch(Exception ex) {ex.printStackTrace();}
        return "All";
    }
}

Answer 2

在 Medium 中查看您的 source article。

我认为文章中给出的方法与您的方法大不相同。您应该首先打开 Stateless Session。我不认为使用 spring-data 中提供的findAll() 会使用它，因为它会从数据库中获取所有记录。

修复这将是一个好的开始。

BUG 可能的根本原因：

我看到您使用的是@QueryHints，您的HINT_FETCH_SIZE 不正确。它不能与 Integer.MIN_VALUE 一起使用，因为它的值等于 -2^31，这是一个负值。

Answer 3

让 JPA 帮助您进行分页，为什么要付出这么多额外的努力？

 Page<ProductAltRelEntity> productAltRelEntity= productAltRepository
                    .findAll(PageRequest.of(page - 1, 10, Sort.by("createdon").descending()));