如何确保对被替换的表进行同步 DDL 操作？

Question

我有多个进程不断刷新 Redshift 中的数据。他们启动一个事务，创建一个新表，COPY 将 S3 中的所有数据放到新表中，然后删除旧表并将新表重命名为旧表。

伪代码：

start transaction;
create table foo_temp;
copy into foo_temp from S3;
drop table foo;
rename table foo_temp to foo;
commit;

我有几十个表以这种方式更新。这很好用，但我希望多个进程执行这些表更新以实现冗余目的并确保数据相当新鲜（不同的进程可以同时更新不同表的数据）。

除非一个进程尝试刷新另一个进程正在处理的表，否则它工作正常。在这种情况下，第二个进程被第一个进程阻塞，直到它提交，当它提交时，第二个进程得到错误：

错误：表 12345 被并发事务删除

我有没有一种简单的方法可以保证我的只有一个进程正在刷新表，这样第二个进程就不会陷入这种情况？

我考虑为我的每个真实表创建一个特殊的锁定表。在处理伴随的真实表之前，该进程将LOCK 特殊锁定表。我认为这可行，但我想避免为我的每个表创建一个特殊的锁表。

Answer 1

您需要保护读者不被看到，这样做：

• 开始交易
• 将主表重命名为 old_main_table
• 将 tmp 表重命名为主表
• 提交
• 删除表 old_main_table

康恩 #1 康恩 #2 -------------- ------------------------------------ ------ > 创建表格栏 (id int,id2 int,id3 int); 创建表 > 开始； 开始 > 开始； 开始 > 更改表栏重命名为 bar2； 更改表 > 从栏中选择 *； > 创建表格栏 (id int,id2 int,id3 int,id4 int); 创建表 > 提交；删除表栏2； 犯罪 编号 | id2 | id3 -+-----+-- (0 行) > 提交； 犯罪 删除表