如何使用spring jdbc模板从具有数百万条记录的表中获取数据

Question

我正在尝试使用 spring jdbc 模板获取数据。 该表有数百万条记录。

使用下面的代码需要无限的时间，最后我停止运行代码。

private static final String CLIENTDATA_QUERY = "select logtime, clientip, clientagent, uri from client_data";
public List<ClientDataModel> readFromClientDataDB() {
//      jdbcTemplate.setFetchSize(1000);
        List<ClientDataModel> clientData = jdbcTemplate.query(CLIENTDATA_QUERY, new RowMapper<ClientDataModel>() {

            @Override
            public ClientDataModel mapRow(ResultSet rs, int rowNum) throws SQLException {
                ClientDataModel model = new ClientDataModel();
                model.setLogtime(rs.getString("logtime"));
                model.setClientIP(rs.getString("clientip"));
                model.setClientAgent(rs.getString("clientagent"));
//              model.setUri(rs.getString("uri"));
                return model;
            }
        });

        System.out.println("Client Data Size :" + clientData.size());
        return clientData;
    }

请有人建议我如何以最有效的方式从大表中检索记录。

需要获取所有记录，然后开始执行进一步逻辑的代码。这是在服务器端。

Answer 1

不要使用返回列表的方法，而是使用RowCallBackHandler. 您也可以在查询中使用分页。

JDBCTemplate 需要以对象的形式读取从数据库中检索到的所有数据，在保存大型结果集时会消耗大量内存。 Spring Batch 在这种情况下是更好的解决方案。