【发布时间】:2018-07-17 03:23:24
【问题描述】:
我构建了一个 SSIS 包,它查看源表并将此数据推送到 Azure 中的数据仓库。到目前为止,它添加了不在仓库中但在源表中的条目。我对如何执行此包的更新部分感到困惑,其中数据仓库包含与源表相同的条目,但需要更新以反映对源表所做的更改。
对于 OLE DB 连接,目标高级编辑器的“自定义选项”部分中有一个“SQL”参数。 ado.net 目的地高级编辑器没有这种能力。更新这些条目的正确方法是什么?
我进行了广泛的搜索,但找不到明确的答案。如果这是一个简单的解决方案,请原谅我的错误。
【问题讨论】:
-
您会发现 ELT 方法的效率要高得多,例如效率提高 10 倍。 ELT = 从源中提取,直接加载到临时表,然后使用 T-SQL 进行转换。如果您只是将这两个源加载到临时表中,则可以用 T-SQL 替换其余的源。如果您开始处理大数据量,那么这种方法并没有减少它。排序和 OLEDB 命令只是不能针对大型数据集进行扩展......它们确实需要永远(不必要)
-
我将重新调整我的计划并尝试一下,10 倍的效率听起来很棒。我的数据集还不是很大,但它们正在到达那里。
标签: sql sql-server azure ssis