【发布时间】:2020-07-21 20:19:10
【问题描述】:
我有 2 张桌子。源表来自链接服务器,目标表来自另一台服务器。 我希望我的数据加载以下列方式发生:
- 每天晚上我都安排了一个作业来执行完整转储,即截断表并将所有数据从源加载到目标。
- 每 15 分钟执行一次增量加载,因为数据会以秒为单位被摄取到源中。我也需要在目的地上复制相同的内容。
到目前为止,对于增量负载,我已经创建了存储在存储过程中的脚本,但为了将来的目的,我们希望在这种情况下实现 SSIS。
脚本以以下方式运行: 我有一个 Inserted_Date 列,在此列的基础上,我取该列的最大值并删除所有大于或等于 Max(Inserted_Date) 的行并将所有相似的值从源插入到目标。该作业每 15 分钟运行一次。
如何在 SSIS 中实现类似的场景?
我在 SSIS 上使用了查找和使用 ID 列的条件拆分,但是我正在使用的这些表有很多行,所以查找占用了很多时间,这不是要实施的正确解决方案我的场景。
有什么方法可以让我也将 Max(Inserted_Date) 逻辑纳入 SSIS 解决方案。我的最终目标是删除使用脚本的方法并使用 SSIS 复制相同的方法。
【问题讨论】:
-
您的问题是什么?你什么都不问(你的“问题”中没有一个“?”)。
-
您将按照与存储过程完全相同的方式进行操作。只是用不同的方式来设置和应用变量。
-
@Larnu 有什么方法可以使用最大日期功能实现 SSIS 增量加载。
-
@KeithL 你能指导一些配置相同的步骤吗?
-
@VidyaNambiar Larnu 会简单地回答“是”这个问题。我们希望通过发布您尝试过的内容来做出一定程度的努力,并帮助就如何更好地实施您尝试过的内容提出建议。这种要求真的是要求我们全力以赴。
标签: sql tsql ssis oledb lookup