【问题标题】:Is it possible to dump/copy PostgreSQL table while new data is inserted into it?插入新数据时是否可以转储/复制 PostgreSQL 表?
【发布时间】:2019-10-06 14:53:52
【问题描述】:

我已经建立了一个 PostgreSQL 数据库(版本 11.2),其中我有一个表,其中以半定期间隔(15-30 分钟)插入新条目。插入是使用带有 SQLAlchemy 和 Pandas 的 python 脚本和df.to_sql() 命令完成的。现有数据库非常大,复制/转储它很可能需要超过 30 分钟。

运行CREATE TABLE new_table AS TABLE old_table; 会中断数据插入过程吗?如果是,有没有其他方法可以做到这一点而不会被打断?

数据库在 Red Hat Enterprise 服务器 7.6 版上运行。我拥有整个数据库的管理员权限,可以使用 PuTTy + psql -U username -d my_database 访问它,如果有影响的话,也可以从 pgAdmin 访问它。我还没有尝试过任何东西,因为害怕打断收集过程。

【问题讨论】:

  • 你试过df.to_sql(if_exists='append'),这需要Long吗?

标签: python pandas postgresql sqlalchemy psycopg2


【解决方案1】:

Postgresql 中的事务任何单一的、全有或全无的操作。一个事务被称为原子事务:从其他事务的角度来看,它要么完全发生,要么根本不发生。

到目前为止,由打开的事务所做的更新对其他事务是不可见的,直到事务完成,因此所有更新同时变得可见。事务只有在使用 @ 提交后才变得真实(或对其他事务可见) 987654323@命令。

您的第一个插入命令可能只会锁定当前正在插入的那些行。这些行仅在插入事务完成并提交后才可用。

回答你的问题:

1) 将运行 CREATE TABLE new_table AS TABLE old_table;打断 数据插入过程?

没有。一点也不。

2) 如果是,有没有其他方法可以不中断?

由第一个问题回答。

这里的场景是 create table 命令只会复制当前未被任何事务锁定的数据。因此,对于插入命令,这将 (大部分) 仅是当前插入的行。创建表将复制插入事务之前的所有数据。

您可以通过如下插入命令检查锁:

select * from pg_stat_activity;

这将输出类似的东西。

-[ RECORD 2 ]----+--------------------------------
datid            | 73103
datname          | database
procpid          | 28477
sess_id          | 16424
usesysid         | 10
usename          | user
current_query    | insert .....
waiting          | f
query_start      | 2019-05-20 06:10:21.126825+00
backend_start    | 2019-05-20 05:43:51.600017+00
client_addr      | 0.0.0.0
client_port      | 
application_name | 
xact_start       | 

由此我们可以确定此进程创建的锁为:

select * from pg_locks where pid = 28477;

您可以在同一张表上更新、删除、插入多个事务,而不会相互阻塞 - 前提是每个事务处理不同的行。只有当第二个插入尝试插入与第一个相同的主键(或唯一键)值时,两个插入才会相互阻塞。如果您不希望任何锁影响您的查询,您可以使用 WITH NOLOCK,但请谨慎使用。

更多信息:
https://www.postgresql.org/docs/9.1/explicit-locking.html
https://www.postgresql.org/docs/9.1/transaction-iso.html

【讨论】:

  • Nihal Sangeeth 的答案正是我一直在寻找的答案。尼哈尔,感谢您提供广泛而明确的答案。我想在不中断数据插入的情况下获得表的“中间”副本。在我的用例中,复制过程开始后没有获得新条目的副本不是问题。至于 PV8 的建议:谢谢您的回答,但问题不在于df.to_sql() 或任何其他特定命令。我的问题主要是关于了解是否可以在为同一个表提供新条目时复制表。
猜你喜欢
  • 2021-08-05
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2010-10-27
  • 2020-12-10
  • 2023-03-28
  • 2021-04-22
  • 1970-01-01
相关资源
最近更新 更多