【问题标题】:SSIS Incremental Load-15 minsSSIS 增量加载 - 15 分钟
【发布时间】:2020-07-21 20:19:10
【问题描述】:

我有 2 张桌子。源表来自链接服务器,目标表来自另一台服务器。 我希望我的数据加载以下列方式发生:

  1. 每天晚上我都安排了一个作业来执行完整转储,即截断表并将所有数据从源加载到目标。
  2. 每 15 分钟执行一次增量加载,因为数据会以秒为单位被摄取到源中。我也需要在目的地上复制相同的内容。

到目前为止,对于增量负载,我已经创建了存储在存储过程中的脚本,但为了将来的目的,我们希望在这种情况下实现 SSIS。

脚本以以下方式运行: 我有一个 Inserted_Date 列,在此列的基础上,我取该列的最大值并删除所有大于或等于 Max(Inserted_Date) 的行并将所有相似的值从源插入到目标。该作业每 15 分钟运行一次。

如何在 SSIS 中实现类似的场景?

我在 SSIS 上使用了查找和使用 ID 列的条件拆分,但是我正在使用的这些表有很多行,所以查找占用了很多时间,这不是要实施的正确解决方案我的场景。

有什么方法可以让我也将 Max(Inserted_Date) 逻辑纳入 SSIS 解决方案。我的最终目标是删除使用脚本的方法并使用 SSIS 复制相同的方法。

【问题讨论】:

  • 您的问题是什么?你什么都不问(你的“问题”中没有一个“?”)。
  • 您将按照与存储过程完全相同的方式进行操作。只是用不同的方式来设置和应用变量。
  • @Larnu 有什么方法可以使用最大日期功能实现 SSIS 增量加载。
  • @KeithL 你能指导一些配置相同的步骤吗?
  • @VidyaNambiar Larnu 会简单地回答“是”这个问题。我们希望通过发布您尝试过的内容来做出一定程度的努力,并帮助就如何更好地实施您尝试过的内容提出建议。这种要求真的是要求我们全力以赴。

标签: sql tsql ssis oledb lookup


【解决方案1】:

这是一般的控制流程:

这里有很多内容,但您可能需要学习如何从执行 SQL 等设置变量。

【讨论】:

    猜你喜欢
    • 2015-07-26
    • 1970-01-01
    • 2013-11-16
    • 1970-01-01
    • 2018-11-03
    • 1970-01-01
    • 2011-10-20
    • 2023-04-08
    • 2019-05-11
    相关资源
    最近更新 更多