【问题标题】:Does Postgres bulk inserts with copy from a query slow the db down?Postgres 使用来自查询的副本进行批量插入会减慢数据库的速度吗?
【发布时间】:2019-03-10 12:29:43
【问题描述】:

所以我想做一个电子邮件队列,比如说 插入messages_to_send(电子邮件,名字,姓氏,message_text) 从 list=99 的订阅者中选择电子邮件、名字、姓氏、'hello'

所以像这样,但说我想做 100k 行,或者有一天可能有一百万行。 似乎 COPY 命令会执行得更好。我不想锁定 messages_to_send 表或减慢数据库的其余部分。速度不是一个大问题,我只是希望它最终进入那里,另一个过程会处理这些问题。我对 postgres 不太熟悉,也许 COPY 很好,我从阅读中无法分辨。

【问题讨论】:

  • 可能是我看错了COPY,肯定是文件或程序。我想我只需要从选择中进行大量插入。也许我可以放一个光标,一次做 10k 左右。我不知道什么是安全限制。我在 Aurora AWS 仅供参考
  • 那么一次插入的安全数量可能是1000?

标签: postgresql bulkinsert


【解决方案1】:

所以我想出的是一次插入 1000 个(我看到有人发帖更安全),专门为队列创建一个表并搜索并在发送后发送到另一个表。确保桌子被清理了很多。我想如果我真的想扩大规模,我会将该表放在与 postgres 不同类型的数据库中,但现在它应该对我有好处。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-11-16
    • 2012-03-07
    • 1970-01-01
    • 2013-04-16
    • 1970-01-01
    相关资源
    最近更新 更多