Postgresql - 超过 3000 个值的 IN 子句优化

Question

我有一个应用程序，用户将上传一个包含超过 10,000 行的 excel 文件（.xlsx 或 .csv），其中包含要在数据库中查找的值的单列“partId”

我将读取 excel 值并将其存储在列表对象中，并将列表作为参数传递给 Spring Boot JPA 存储库 find 方法，该方法在内部构建 IN 子句查询：

                // Read excel file
                stream = new   ByteArrayInputStream(file.getBytes());
                wb = WorkbookFactory.create(stream);
                org.apache.poi.ss.usermodel.Sheet sheet = wb.getSheetAt(wb.getActiveSheetIndex());
                
                Iterator<Row> rowIterator = sheet.rowIterator();
                
                while(rowIterator.hasNext()) {
                    Row row = rowIterator.next();
                    Cell cell = row.getCell(0);
                    System.out.println(cell.getStringCellValue());
                    vinList.add(cell.getStringCellValue());
                }
                
                //JPA repository method that I used
                  findByPartIdInAndSecondaryId(List<String> partIds);

我阅读了很多文章并在上述情况下遇到了相同的情况，即使用 IN 查询对于庞大的数据列表是低效的。

如何优化上述场景或编写新的优化查询？

另外，请告诉我是否有比上述代码sn-p更优化的读取excel文件的方式

这会很有帮助！！提前致谢！

Answer 1

如果列表真的很大，你永远不会像闪电一样快。

我看到了几个选项：

1. 正如您在问题中提到的那样，发送带有大量 IN 列表的查询。

2. 构造一个带有大 VALUES 子句的连接语句：

   SELECT ... FROM mytable
      JOIN (VALUES (42), (101), (43), ...) AS tmp(col)
         ON mytable.id = tmp.col;
   

3. 使用这些值创建一个临时表并与之连接：

   BEGIN;
   CREATE TEMP TABLE tmp(col bigint) ON COMMIT DROP;
   

   然后

   COPY tmp FROM STDIN; -- if Spring supports COPY
   

   或

   INSERT INTO tmp VALUES (42), (101), (43), ...; -- if not
   

   然后

   ANALYZE tmp;  -- for good statistics
   SELECT ... FROM mytable
      JOIN tmp ON mytable.id = tmp.col;
   COMMIT;  -- drops the temporary table
   

哪一个最快最好根据您的案例反复试验来确定；我不认为可以说其中一种方法总是胜过其他方法。

一些注意事项：

• 解决方案 1. 和 2. 可能会产生非常大的语句，而解决方案 3. 可以分成更小的块。

• 解决方案 3. 很可能会更慢，除非列表真的很大。