如何有效地将数据从 CSV 加载到数据库中？

Question

我有一个包含数据的 CSV/TSV 文件，并希望将该 CSV 数据加载到数据库中。我正在使用 Java 或 Python 和 PostgreSQL 来做到这一点（我无法改变它）。

问题在于，对于每一行，我都会进行一次 INSERT 查询，如果我说 600.000 行，它的效率就不高了。有没有更有效的方法？

我想知道我是否可以获取更多行并只创建一个大查询并在我的数据库上执行它，但我不确定这是否有帮助，或者我应该将数据分成 100 块并执行 100查询？

Answer 1

如果 CSV 文件与copy from stdin 要求的格式兼容，那么最有效的方法是使用CopyManager API。

参见this answer 或this answer 示例代码。

---

如果您的输入文件与 Postgres 的复制命令不兼容，您需要自己编写 INSERT。但是你可以通过使用 JDBC 批处理来加快这个过程：

类似的东西：

PreparedStatement insert = connection.prepareStatement("insert into ...");
int batchSize = 1000;
int batchRow = 0;
// iterate over the lines from the file
while (...) {
   ... parse the line, extract the columns ...
   insert.setInt(1, ...);
   insert.setString(2, ...);
   insert.setXXX(...);
   insert.addBatch();
   batchRow ++;
   if (batchRow == batchSize) {
     insert.executeBatch();
     batchRow = 0);
   }
}
insert.executeBatch();

在您的JDBC URL 中使用reWriteBatchedInserts=true 将进一步提高性能。

Answer 2

假设服务器可以直接访问该文件，您可以尝试使用COPY FROM 命令。如果您的 CSV 格式不正确，将其转录为 COPY 命令将处理的内容（例如，在复制到服务器可以访问的位置时）可能会更快。