使用包含 NULL 外键的维度/事实表防止无效 JOIN

Question

目标

我们正在尝试制作便于任何人使用的事实和维度表。许多现代 BI 系统促进探索和实验，我们希望所有技能水平的人都能取得成功。

问题

我们的数据有大量 NULLable 外键 ID。这会导致几乎每个数据库中出现意外行为。在Snowflake（我们的数据仓库）中，JOINing on NULL 会导致CROSS JOIN，这非常非常糟糕。

可能的方法

每个JOIN都需要格外小心
这可以通过两种方式完成，但它们都很容易搞砸或错过......

1. 在JOINs 中使用COALESCE(nullable, '--SOMETHING_INVALID--')
2. 在JOINs 的ON 子句中检查NULL

将NULL id 替换为默认值
如果我们默认使用有效的东西，这将以未知的方式扭曲报告。如果我们默认某些无效的东西，我们将以第二种且难以追踪的方式破坏参照完整性。

SELECT
  customer_id,
  -- Some default "id" that wont cause a collision
  COALESCE(location_id, '9999999999') AS location_id,
  ...
FROM
  crm.customers

将所有 NULL 值添加到每个表中
这有点笨拙，但是...JOINs 将始终有效。

问题

所有这些都有缺点。

• 有没有更好/更清洁的东西？
• dbt 是否有工具或实用程序可以提供帮助？

Answer 1

我认为一个好的方法是在每个表格的顶部创建视图。 在这些视图中，您可以清理数据，例如处理 NULL 值，然后仅将视图用于 JOINing 以及您需要执行的任何其他下游报告/处理。

编辑以下对我的评论的回复， 您可以将记录添加到“未指定”和/或“未知”的每个维度（例如位置）中，例如Location_ID 为 -1 或 999999999 然后，您需要将包含 NULL 值的表（在此示例中参考 Location）更新为您想要的值（-1 或 999999999）。 然后，您可以将这些值设置为默认值，以使用这些键处理表上的任何新插入/更新。 然后您可以强制执行参照完整性。