用于频繁更改表结构的 ETL

Question

场景：

我有一个维护交易数据的源。他们有大约 900 列，并且根据新业务的要求，他们添加了额外的列。

我们是一个 BI 团队，我们只提取报告所需的大约 200 列。但是当新业务启动/需要新分析时，有时用户会找我们并要求我们从源中提取额外的列。

当前设计：

我们还为未来的列创建了一个包含额外列的表。 我们正在维护一个 400 列的表，其中包含未来的列名，如 str_01、str_02....、numer_01、numer_02...date_01、date_02...等。

我们有一个映射表，它映射表中的列和源表中的列。使用这个映射表，我们从源中提取数据。

问题：

最近，我们的表已达到 400 列的限制，我们将无法加入任何新列。我们可以实施的一种方法是修改表以将列增加到 500（或 600），但我正在寻找其他解决方案，了解如何为这些场景实施 ETL/设计表结构。

Answer 1

我想您的附加列是度量，而不是维度。因此，您可以将维度保留在各个列中，并将它们包含在排序键中，并将度量存储在 JSON 中，以便在需要时访问它们。此外，如果您可以区分常用度量与偶尔度量，您可以将常用度量存储在列中，将偶尔使用的度量存储在 JSON 中。 Redshift 原生支持提取给定键的值，您还可以设置 Python UDF 以进行更复杂的处理。