目前我有很多表，我必须更新它们所持有的信息，有时每天或每周更新一次。到目前为止，我一直在通过 DROP TABLE IF EXIST some_schema.some_table_name; 和 CREATE TABLE some_schema.some_table_name AS ( SELECT ... FROM ... WHERE ...); 的组合来做到这一点，我想知道什么是“最佳实践”或这样做的正确方法。
我听说 Redshift 中的 INSERT 操作非常昂贵，所以我一直在避免使用它，但也许将 TRUNCATE 与 INSERT 一起使用比删除和创建要好。
如何确认哪个选项更好？
我看过 Redshift 文档中的 this 文章，但我不确定这是否是最佳选择，因为我不仅可以删除记录，还可以保留和插入记录。
【问题讨论】：
标签： sql amazon-redshift
如果您希望完全擦除表格并替换数据，那么您遵循的一般模式很好。但是，您应该做一些事情来让事情变得更安全/更好。
有 3 种模式可以做到这一点，其中一种显然是性能最低的。它们是删除/插入、截断/插入和删除/插入。从性能的角度来看，这些删除/创建/插入不是您想要做的。此过程使表中的所有行无效（而不是删除它们）并添加新的有效行。这会使桌子的大小增加一倍，浪费空间，并且需要吸尘。这种方法的唯一优点是它没有其他方法的缺点，但这仅在某些情况下很重要。只有在必要时才采用这种方法。
截断/插入速度很快，并保持与原始表相同的表 ID。因为 truncate 对表的块进行操作（取消链接），所以速度很快，但在管理所有块链接时会有一些小的开销。由于表定义未更改，所有 DDL 都保持定义，依赖视图可以继续指向表。 truncate 的缺点是它会强制 COMMIT 发生，这意味着在用新数据重新填充表之前，数据库的其他用户可以看到一个空表。这可能会在这些窗口期间导致不正确的结果。不好。
最后是删除/创建/插入。在理想情况下，这种方法比截断略快（非常轻微，仅适用于大表）。它只是扔掉旧块。设置新表（同名）有一些额外的成本，因此除非表很大，否则截断和删除的速度大致相同。由于 Drop 可以在事务块内，因此第三方不会看到空表（如果操作正确）。这种方法的缺点是旧表和新表是完全不同的表（不同的 oid）——它们只是碰巧有相同的名称。这意味着任何依赖（常规）视图也需要被删除和重新创建。此外，由于该表正在“消失”，因此在表的所有使用完成之前，事务的提交无法完成。当有人在他们的板凳上留下交易并回家过夜时，这将成为一个大问题。由于需要重新创建表，因此您的进程需要知道表的完整且正确的 DDL。
希望这能让您了解何时使用这些不同的方法。我看到在您当前的代码中可能会更好的两件事 - 1）您没有使用事务块（据我所知），因此有一个窗口当其他人看到表不存在或为空时。这对您可能很重要，也可能不重要，但请注意。 2）“创建表为”没有以高性能结构定义表的 DDL（并且可能不正确）。您应该始终完全指定您的永久表。 Sort 和 Dist 键与 varchar 长度、数据类型等一样重要。这是一个等待引爆的定时炸弹。
根据请求提供删除/创建/插入示例：
正如我所提到的，这种方法可能会出现锁依赖问题，因此我喜欢对这条路径使用“交换和删除”方法。这使得新信息在“交换”时对用户可见，因此即使“丢弃”被阻止，事情也会按时发布。这并不能消除锁定风险，因为锁定仍然可以阻止进程（会话）完成，它只是使新数据在您追捕罪犯时可见（发布）。
（请注意，要正确执行事务，您需要确保没有将额外的 COMMIT 插入到进程中。这可能发生在配置为“自动提交”模式的工作台上。）
Create table new_table ( ... ) ...; -- make the new table but with a different name (and unique from other tables) than the existing table
Insert into new_table ... ; -- put the desired data into the new table
Analyze new_table; -- to ensure metadata is up to date
Begin; -- start transaction
Alter table perm_table rename to old_table; -- rename existing table
Alter table new_table rename to perm_table; -- complete the swap
Commit; -- publish the new data for all to see but transactions still using the original data can keep doing so
Drop table old_table; -- remove the old data to free up space
Commit;
这个过程只是一个例子。有时您希望将旧版本的表保留一段时间（历史记录/错误恢复），以便为旧数据添加日期标记并有一个单独的过程来释放空间。这也有助于防止杂散锁阻塞工作——只有清理过程才会停止。您还可以在流程中重新创建视图，以便在同一事务中更新这些视图。以此类推。
【讨论】：
我认为您将需要使用更新命令。我知道下垂表是一个冒险的举动，因为您可能会丢失数据库中的所有数据。
Update some_table_name s set
s.Id="whatever you want to update",
s.Name="whatever you want to update",
s.LastName="whatever you want to update",
s.OtherTableColumn="whatever you want to update"
From
some_table_name s
在上面的代码中，我假设您的表格包含列（1-Id、2-Name、3-LastName、4-OtherTableColumn）。如果您有更多或更少的列，那么我会相应地调整。
我还会为此（以及每个表）编写一个更新程序，因此如果您需要频繁更新，您只需使用该程序即可；我认为它更快。以下是我的程序：
Create Proc sp_UpdateSome_table_name
@Id int,
@name nvarchar(255),
@lastname nvarchar(255),
@OtherTableColumn int
AS
BEGIN
Update s some_table_name
s.Name="whatever you want to update",
s.LastName="whatever you want to update",
s.OtherTableColumn="whatever you want to update"
From
some_table_name s
Where
s.Id=@Id
END
您希望确保表中的每一列都在过程中使用正确的数据类型进行了定义。例如，我在上面假设@Id 是 int，Name 是 nvarchar(255) 等。如果你想让自己在更新时不要在某些表列中输入任何数据（允许 null），那么在数据类型之后你可以写 Null；例如如果你写@Id int Null，那么你可以更新为null；但如果您不确定这是什么，请暂时忽略这句话。
一旦你确定上面的段落是好的（数据类型是正确的），然后选择整个过程然后执行（F5）。这将存储此过程。
然后我会在每次你想更新你的表格时编写如下所示的过程：
Exec sp_UpdateSome_table_name 1,John,Smith,77
如果您突出显示上述命令并执行 (f5) 它，它将更新 Id=1 的表，并将其命名为 John、姓氏 Smith 和其他列 77，而不是之前的列。如果 Id=1 的表中没有数据，则可以执行。
请记住，代码的最后一行可能没有逗号。上面的代码写的很正确，只是指出来，因为你可能习惯用逗号。
【讨论】：