【问题标题】:SSIS staging truncate warehouseSSIS 暂存截断仓库
【发布时间】:2021-03-06 23:08:08
【问题描述】:

每天我们以 excel 格式获取数据,我们将数据加载到暂存中,然后转到 SSIS 包 并以excel作为连接管理器并执行转换并将数据移动到仓库。 既然我们只是从 excel 中获取数据,那么为什么要创建一个阶段并截断它, 既然我们以 excel 作为源代码,并且每个操作都在其中完成?有人可以请 解释实时场景?我看过很多网站,无法理解这个概念是什么 暂存,来源(excel),查找目标(仓库) 既然一切都只做 SSIS 包,为什么要创建到舞台?

【问题讨论】:

  • 您的源 (Excel) 文件是否包含之前已加载到仓库中的数据行?基本上,您会根据 DW 中的行跟踪更改吗?
  • Excel 根本不够可靠,无法直接插入决赛桌。事实上,这种情况很少发生——分期模式很常见
  • 暂存环境还允许您将转换逻辑封装在存储过程中,无需更改 SSIS 包即可对其进行修改。这也降低了 SSIS 包的复杂性,只专注于导入数据和运行存储过程。在较大的项目中,使用这样的模式可以节省大量时间。

标签: ssis lookup truncate staging warehouse


【解决方案1】:

暂存区主要用于快速从其数据源中提取数据,最大限度地减少源的影响。数据加载到暂存区后,暂存区用于组合来自多个数据源的数据、转换、验证、数据清理。

您可以使用staging design pattern

  • 增量负载
  • 截断插入
  • 使用带有 HashBytes 的分隔符进行更改检测

您可以了解Package design pattern for loading a data warehouse

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-08-14
    • 2011-09-22
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-06-29
    相关资源
    最近更新 更多