Redshift 表的大小和风格

Question

对 Redshift 中的“表格大小”一词感到困惑。

我们有： svv_table_info.size "以 1MB 块为单位的表大小"

svv_table_info.pct_used “已用可用空间的百分比”

...所以我认为由于排序键等原因，很多“大小”都是空白空间

然后我们有这个.. https://aws.amazon.com/premiumsupport/knowledge-center/redshift-cluster-storage-space/

.. 使用术语“最小”表大小。 但是我在任何地方都找不到它们在现实世界中的含义的解释？如果配置最佳，这是理论上的最小值吗？

最终我需要找出原始有形数据的基本大小，而不需要任何开销。

那么是的，将它存储在 Redshift 中实际需要多少磁盘空间。

因此，如果我从我们的本地数据库中取出 1TB 并将其推入 Redshift，我希望看到类似 1TB（数据）和 1.2TB（数据 + Redshift 开销）的数据。

希望有人能帮忙澄清一下？？？？

Answer 1

Redshift 将数据存储在 1MB 块中，并且块与切片和列相关联。因此，如果我的集群中有 2 个切片和一个包含 4 列（加上 3 个系统列以构成 7）的表，分布为 EVEN，至少包含 2 行，那么我的表将最少占用 2 X 7 X 1MB 的空间（14MB磁盘上）。这就是那篇文章的全部内容。

现在，如果我在此表中再插入 2 行，Redshift 将为该数据创建新块。所以现在我的 4 行数据占用了 28MB 的空间。但是，如果我对表进行清理，则浪费的空间将被回收，并且表大小将恢复到 14MB。 （是的，这有点过于简单了，但试图让概念得到理解）

根据经验，一个 1MB 的块通常可以容纳 100,000 到 2,000,000 行的压缩数据。 （是的，这取决于数据不是怪物 varchars）所以对于我们上面的表，我可以继续添加行（和清理）而不增加磁盘上的表大小，直到我在表中获得几十万行（每片）。 Redshift 在存储大块数据时非常有效，但在存储小块数据时效率非常低。

Redshift 对数据大小的了解是它在磁盘上占用了多少块（跨所有节点、切片和列）。如果数据以不同的方式存储（不是在块中，压缩或未压缩），您的数据会有多大，这不是被跟踪的数据。正如 John 所指出的，对于大型表，Redshift 存储数据的效率高于大多数其他数据库（使用压缩时）。

Answer 2

您无法将现有数据库大小转换为 Redshift 中表的大小。这是因为：

• 列单独存储
• 最小块大小为 1MB
• Redshift 中的数据经过压缩，因此根据数据类型和选择的压缩类型，它可以占用更少的空间

考虑到压缩，Redshift 中的数据可能小于原始（未压缩）数据源。但是，除非您过去传输过类似的数据并应用类似的比率，否则您无法真正提前计算。