【发布时间】:2021-07-23 15:04:21
【问题描述】:
我需要在 PostgreSQL 数据库中插入 3-4 百万行。这将是静态查找数据。
在生产过程中,我们有各种暂存环境。我已经在 Stack Overflow 上看到了关于我们如何在不使用 Flyway 的情况下做到这一点的所有答案,但是在处理如此数量的数据时,有没有人有使用 Flyway 的经验?是不是首发? Flyway完美解决了我们面临的所有问题。
Internet 搜索并没有为此提供太多帮助,所以我猜测 Flyway 并不适合处理如此大量的数据,但如果有人尝试过以及他们发现了什么,我会很感兴趣。如果这甚至可以远程实现,我们应该如何按大小划分导入文件以进行优化?
【问题讨论】:
-
你需要支持PostgreSQL以外的其他数据库吗?
-
不只是 PostgreSQL
-
您可以拥有一个 CSV 文件并使用
COPY加载它。 -
与我们的开发团队一起调查此事。我会看看我能为你得到什么样的答案。
-
数据从何而来? Java 迁移可能比 SQL 迁移更容易 - flywaydb.org/documentation/concepts/… - Java 代码从外部源读取,构造适当的 INSERT 并执行它(使用 jdbcTemplate 字段),而不是构建大量 SQL INSERT声明。
标签: postgresql import flyway