【问题标题】:Flyway with multi million rows数百万行的飞行路线
【发布时间】:2021-07-23 15:04:21
【问题描述】:

我需要在 PostgreSQL 数据库中插入 3-4 百万行。这将是静态查找数据。

在生产过程中,我们有各种暂存环境。我已经在 Stack Overflow 上看到了关于我们如何在不使用 Flyway 的情况下做到这一点的所有答案,但是在处理如此数量的数据时,有没有人有使用 Flyway 的经验?是不是首发? Flyway完美解决了我们面临的所有问题。

Internet 搜索并没有为此提供太多帮助,所以我猜测 Flyway 并不适合处理如此大量的数据,但如果有人尝试过以及他们发现了什么,我会很感兴趣。如果这甚至可以远程实现,我们应该如何按大小划分导入文件以进行优化?

【问题讨论】:

  • 你需要支持PostgreSQL以外的其他数据库吗?
  • 不只是 PostgreSQL
  • 您可以拥有一个 CSV 文件并使用 COPY 加载它。
  • 与我们的开发团队一起调查此事。我会看看我能为你得到什么样的答案。
  • 数据从何而来? Java 迁移可能比 SQL 迁移更容易 - flywaydb.org/documentation/concepts/… - Java 代码从外部源读取,构造适当的 INSERT 并执行它(使用 jdbcTemplate 字段),而不是构建大量 SQL INSERT声明。

标签: postgresql import flyway


【解决方案1】:

实际上,它最终记录了大约 300 万条记录。我们将文件分成每个文件 100,000 条记录,因此大约有 30 个文件。 Flyway 对此完全没有问题,运行脚本需要 30 秒左右。

我们不确定我们是否会使用 flyway 来保持记录最新,但对于启动数据来说,它是完美的解决方案

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2020-10-09
    • 1970-01-01
    • 2019-07-22
    • 2017-02-12
    • 2011-01-04
    • 2010-11-22
    • 2013-11-27
    相关资源
    最近更新 更多