Amazon redshift 大表 VACUUM REINDEX 问题

Question

我的表有 500GB 大，有 8 亿多行，按 4 个键交错排序。 其中一个键有很大的偏差 680+。运行 VACUUM REINDEX 需要很长时间，每十亿行大约需要 5 个小时。

当我跟踪真空进度时，它会显示以下内容：

SELECT * FROM svv_vacuum_progress;
         table_name          |                                        status                                        | time_remaining_estimate 
-----------------------------+--------------------------------------------------------------------------------------+-------------------------
 my_table_name               | Vacuum my_table_name sort (partition: 1761 remaining rows: 7330776383)               | 0m 0s

我想知道它需要多长时间才能完成，因为它也没有给出任何时间估计。它当前正在处理的分区 1761... 是否有可能知道某个表中有多少个分区？请注意，这些似乎是 Redshift 中的一些存储级别较低层的分区。

Answer 1

这些天来，建议您不要使用交错排序。

排序算法给 VACUUM 操作带来了巨大的负担，而交错排序的好处只适用于非常小的用例。

我建议您将 WHERE 子句中最常用的字段更改为复合排序。

最有效的排序是那些涉及始终递增的日期字段的排序。例如，想象这样一种情况，将行添加到带有事务日期的表中。所有新行的日期都大于前一行。在这种情况下，实际上不需要 VACUUM，因为数据已经根据 Date 字段进行了排序。

另外，请注意 500 GB 实际上是很多数据。做任何重新排列数据量的事情都需要时间。

Answer 2

如果您的 Vacuum 运行缓慢，则可能是集群上没有足够的空间。我建议您在进行真空时暂时将节点数量增加一倍。

您可能还想考虑更改架构的设置方式。值得仔细阅读这个红移提示列表，看看您是否可以更改任何内容： https://www.dativa.com/optimizing-amazon-redshift-predictive-data-analytics/

Answer 3

我们恢复到上一阶段的方式是删除表，并从备份快照中的预真空索引时间恢复它。