带有 Kimball 的星型模式和数据集市的数据湖答案

【问题标题】：Data Lake with Kimball's Star Schema and Data Mart带有 Kimball 的星型模式和数据集市的数据湖
【发布时间】：2021-01-01 23:03:44
【问题描述】：

目标

我对术语有点困惑：我已经基于 Kimball 的数据建模方法构建了 Data Lake（不是 DW），现在不确定是否可以使用 Data Mart 定义来命名我的 MPP 数据库层。

我的假设是您仍然需要维度建模和星型架构来处理中型组织报告，原因与 this article 相同。

问题

在the following architecture 将 Synapse 称为数据集市是否正确（见下图）？
我可以说我没有 DW（即使我有 Star Schema），而是我有 Data Lake + Data Mart(s)？
我是否应该根据业务/报告子域（多个数据集市）将 Synapse 拆分为多个模式？

架构细节

更具体地说，在我的情况下：

2-3) ADLS + Databricks 形成数据湖。所有 ETL 和星型模式构建都发生在数据湖层。所有的逻辑座位在这里。它仍然在原始层具有结构化和非结构化数据，使用廉价的 ADLS 存储，缺乏治理，拥有 ML，并且将来会有流式传输。另一方面，我们在所有 DL 区域中都有 schema-on-write，除了 raw，我们有预先建模的表（在这个过程中有很多需求变化）。 我称它为 Data Lake 是否正确？

4.) Synapse 用作 ETL/Lake 结果的微小投影/模型，以加快报告响应时间。这里几乎为零逻辑，很少聚合。只有最终模型加载到 Synapse。数据不按业务子域拆分，我们只是将所有内容加载到单个 DATAMART 模式中。 这是个好方法吗？

【问题讨论】：

标签： database-design architecture data-warehouse databricks data-lake

【解决方案1】：

首先，我不会太拘泥于定义，因为这些术语有很多（稍微）不同的定义。但是，鉴于此，我将给出这些术语的高级定义如下：

数据湖：这是您加载到数据存储中的源数据，您可以开始分析它。它的结构通常与源系统中的结构相同（即它是“原始”数据），另外还可以选择一些审计列来显示数据的来源、加载时间等。一些数据湖有多个层，例如原始数据层，然后是数据已被清理、标准化等的受管控数据层 - 但仍与原始数据层中的结构基本相同
数据仓库：这是您的所有事实表和维度表（以及桥等其他表）的 Kimball 模型。它将根据数据湖中存在的数据构建
数据集市：这是一个源自您的数据仓库的主题区域。这可能是一个逻辑定义（例如，销售集市是销售事实表和相关维度），也可能是物理化的，例如从事实及其维度生成的单个宽表。您如何定义数据集市通常取决于谁/什么在使用它们以及它们的要求是什么。例如，您可以有多个销售数据集市，全部基于同一个销售明星，因为您有多个工具更喜欢使用以特定方式结构化的数据

希望这有帮助吗？

【讨论】：

所以由于您的回答，Databricks = Data Lake + Data Warehouse，而 Synapse = Data Mart(s)，对吧？我认为它是正确的，只是在 Databricks 两者都有点困惑，谷歌通常提出“DL vs DW”而不是“DL + DW”
我很困惑，因为看起来很多人认为数据湖是数据仓库发展的下一步。例如，databricks.com/discover/data-lakes/history。这篇文章是否意味着他们也将 Star Schema 视为数据湖？
好吧，我想我已经找到了将 DL 和 DW 合并在一起的概念：Databricks 将其称为 Lakehouse databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html。更多的是关于 DL 中的类似 DW 的功能，但我认为这意味着你在 DL 中进入维度并成为 DW。
我会专注于确保您的数据存储解决方案满足您的要求，而不是关注不同的人如何定义不同的术语（请记住，他们经常有东西要卖给您！）。如果您有最适合星型模式的工具，那么您需要构建星型模式；如果您有最适合原始数据的工具（例如 AI/ML），那么您需要提供这些工具。只要一切正常，您就可以随意调用所有这些不同的区域
确定 Lakehouse 或 Data Hub 经常被用作 rebrending 或仅仅意味着已经发布了一组新功能。我为术语烦恼的原因 - 我需要了解 Youtube 高级别会议和文章。